niedziela, 9 kwietnia 2017

[DSP2017] 12# Holowizja - rzut piłką w pokoju

Weekend, najwyższy czas już coś napisać. Mam na tapecie jeszcze co najmniej parę koncepcji związanych z HoloLens czy Unity, które chciałbym tutaj w najbliższym czasie wypróbować. Nie ukrywam, że z fizycznymi okularami tych rzeczy byłoby więcej i mogłyby być jeszcze ciekawsze jak choćby  na blogu https://mtaulty.com/ prosto z UK. Tym niemniej podziałamy wszędzie tam, gdzie będzie to możliwe.

Dziś przyszło mi do głowy, by porzucać sobie piłką po pokoju. W Unity możemy związać siłę z wybranym przedmiotem, nie musi to być grawitacja, o której kiedyś już wspominałem.

Na warsztat wziąłem scenę z HoloVision7, która zamieniła się dziś w HoloVision9. Jednak zanim do tego doszło miałem problem z załadowaniem projektu do Unity, zresztą nie tylko tego. Stało się to pobraniu moich źródeł z githuba. Przy każdym skrypcie w inspektorze pojawił się żołty trójkąt informujący o jego niezaładowaniu. Koniec końców zrobiłem sobie na boku nowy projekt w Unity, zaimportowałem do niego HoloToolkit (dla kompatybilności HoloToolkit-Unity-v1.5.5.0.unitypackage, ale wiem jest już nowszy) i okazało się, że w pobranych z githuba źródłach nie było wszystkich plików z HoloToolkit (plugin dla x64 i x86), a także plików *.rsp w katalogu Assets. Po ich przegraniu mogłem dalej działać.

Kamera na scenie otrzymała wcześniej używany już skrypt SetGlobalListener, a także nowy o nazwie ThrowBall, który został przedstawiony poniżej:

public class ThrowBall : MonoBehaviour, IInputClickHandler
{
    public float ForceMagnitude = 300f;   

    public void OnInputClicked(InputEventData eventData)
    {
        Throw();
    }

    private void Throw()
    {
        var ball = GameObject.CreatePrimitive(PrimitiveType.Sphere);
        ball.transform.localScale = new Vector3(0.1f, 0.1f, 0.1f);

        var rigidBody = ball.AddComponent<Rigidbody>();
        rigidBody.mass = 0.5f;
        rigidBody.position = transform.position;

        var transformForward = transform.forward;
        transformForward = Quaternion.AngleAxis(-10, transform.right) * transformForward;

        rigidBody.AddForce(transformForward * ForceMagnitude);
    }
}

Każde “kliknięcie” użytkownika (air tap) powoduje wyrzucanie piłki. Tworzony jest dynamicznie obiekt typu sfera, do którego dodawany jest element rigid body. Do niego przykładamy siłę o określonej wartości i kierunku. Piłka ma masę i może się zderzać z innymi przedmiotami lub ścianami pokoju.

Zamiast sześcianu i kuli stworzyłem trzy sześciany, tak że na dwóch stoi trzeci. Do każdego z nich także dodałem rigid body. Niestety sześciany po uruchomieniu aplikacji spadały w nicość zanim siatka pokoju się rysowała. W związku z tym opadnięcie sześcianów na podłogę wyzwalam 10 sekund po starcie.  Do każdego z nich przypiąłem taki skrypt:

public class GravityAfterSeconds: MonoBehaviour
{

    void Start()
    {
        StartCoroutine(Shoot());
    }

    IEnumerator Shoot()
    {

        yield return new WaitForSeconds(10);
        OnShoot();
    }

    public void OnShoot()
    {
        if (!this.GetComponent<Rigidbody>())
        {
            var rigidbody = this.gameObject.AddComponent<Rigidbody>();
            rigidbody.collisionDetectionMode = CollisionDetectionMode.Continuous;
        }
    }
}

Aha, zapomniałem dodać, że zmieniłem sobie czerwony materiał siatki pokoju na zielony, ale nie jest to bardzo istotne w tym scenariuszu. Na “dzień dobry” otrzymujemy widok:

Capture7

Klikam (prawy przycisk myszy lub Enter na emulatorze), wylatuje kula, uderza w “misterną” konstrukcję sześcianów, która się rozpada. Oto co z niej pozostało:

Capture8

Można uznać to za pierwszy mały krok w kierunku gry opartej o strzelanie. Nie wykluczam, że będzie jakaś kontunuacja tego wątku. Bo kto nie chciałby postrzelać sobie do postaci wychodzących ze ścian pokoju?

Do następnego razu.

środa, 5 kwietnia 2017

[DSP2017] 11# Mixed Reality Portal w Windows 10 Creators Update

Lżejszej tonacji trzymać się będziemy także dziś. W telegraficznym skrócie opowiem o rzeczywistości rozszerzonej w nadchodzącym Windows 10 Creators Update oznaczonym jako wersja 1703 (na PC premiera updatu 11 kwietnia , jako ręczna instalacja od 5). Jako Windows Insider jadę na najnowszym buildzie 15063.14.

Otóż od builda 15048 dostępne jest coś takiego jak Mixed Reality Portal. Jest to aplikacja, która po dołączeniu okularów (nie tylko HoloLens) ma pozwolić na podgląd widoku w czasie rzeczywistym, oferuje też tryb symulacji nie wymagający żadnych fizycznych urządzeń. Tryb symulacji ma jedną przewagę na HoloLens emulatorem - wykonuje się bezpośrednio w sesji desktopowego Windows 10, a nie jako maszyna wirtualna. Ma też pewne wady, o czym później. Kilka przydatnych linków:

Do szybkiego “zanurzenia się” w Mixed Reality Portal polecam poniższy filmik:

Wszystko git, ale własnych projektów wyeksportowanych z Unity do Visual Studio i ztargetowanych w manifeście na “Windows.Holographic” nie jestem wstanie wgrać na swój laptop z Windows 10. Jak zmienię target na Windows.Universal to aplikacja się wgra, ale nie uruchomi. Inna sprawa że symulator mi działa, ale moja nienajnowsza maszyna z Windows 10 nie została zaklasyfikowana przez instalator Mixed Reality Portal jako zdolna do wyświetlania mixed reality (podobnie jak autorowi ostatniego linka podanego powyżej wyskoczył mi krzyżyk przy karty graficznej i gniazdku USB 3.0, które… posiadam). Może to ma jakiś wpływ na brak możliwości wgrywania projektów targetowanych na Windows.Holographic? Ale nie wiem czy się powinny wgrywać, nie jest to nigdzie dokładnie opisane. Dokumentacja do symulatora Microsoft wspomina tylko ogólnie, że trzeba wgrać na lokalną maszynę Windows zamiast na emulator HoloLens. Inna jeszcze sprawa, że nie wgrałem jeszcze najnowszego Windows 15063 SDK (jakby to coś zmieniło to zaktualizuję tego posta). Póki co odpaliłem w Mixed Reality Portal swoją dość dawną już aplikację uniwersalną na Windows 10 do wyszukiwania klipów wideo na YouTube i ich pobierania:

mp1

Mam nadzieję że pomimo wskazania pewnych problemów zachęciłem do aktualizacji Windows 10 do najnowszej wersji. Przy odpowiedniej karcie i jakichś okularach do rozszerzonej rzeczywistości naprawdę można będzie popłynąć. To tyle na dziś. Widzimy się za parę dni.

sobota, 1 kwietnia 2017

[DSP2017] 10# Współdzielenie holowizji

Zwykle stawiam na ciężkie, mocno techniczne granie. Dziś będzie nieco krócej i lżej, mniej technicznie, z uwagi na pewne utrudnienia w emulacji. Zagadnienie, które nakreślę jest jednak bardzo interesujące i na pewno warto być świadomym możliwości HoloLens w tym zakresie. Niewykluczone zresztą, że kiedyś powrócę do tego tematu, bardziej uzbrojony.

O ile wizja kojarzy się nam zwykle z doznaniami jednostki, o tyle HoloLens pozwala także na wspólne przeżywanie wizji przez grupę użytkowników, która niekoniecznie musi być w jednym pokoju (wystarczy połączenie internetowe).

Zamieszczam krótkie podsumowanie do tutoriala Holograms 240: Sharing holograms, z którym zapoznałem się i częściowo zacząłem wykonywać. Pokazuje on dość wyczerpująco kilka funkcjonalności w zakresie współdzielenia:

1#  Kilka osób może widzieć to samo. Pierwsza osoba coś pokaże, inne osoby dołączają się później do sesji i mogą to zobaczyć. Na komputerze uruchamiany jest sharing service z HoloToolkit, który jest dostępny w sieci pod wskazanym adresem IP i na określonym porcie. Każdy z użytkowników wgrywa na swoją parę okularów aplikację, która zna namiary na wspomniany serwis.

image

Chłopak i dziewczyna z przyszłości –Smile

2# Poszczególne osoby z grupy współdzielącej wizję mogą być w niej reprezentowane jako avatary, związane z położeniem głowy. Avatary można sobie wybierać, a także je wyłączać.

image

Impreza u znajomych z przyszłości cz.1 –Smile

3# Grupa może wykonywać operację, której nie wykona pojedyncza jednostka. Przykładowo można wspólnie coś umieścić (np. w środku między dwiema osobami) lub zmienić (np. jak wszyscy staną w koło, to coś dodatkowo się pojawi)

image

Wspólne nakrywanie stolika –Smile

#4 Hologramy widziane przez grupę mogą oddziaływać z prawdziwymi elementami pokoju np. ścianami, meblami czy innymi osobami. Jakoś to mnie nawet nie dziwi, po wcześniejszych eksperymentach z mapowaniem przestrzennym dla pojedynczego użytkownika.

image

Impreza u znajomych z przyszłości cz.2

Wszystko dobrze, a co jeśli nie mamy fizycznych okularów albo mamy tylko jedną parę? Przy pomocy emulatora jesteśmy w stanie przetestować tę funkcjonalność, ale potrzebne są do tego trzy komputery. Na jednym odpalamy sharing service, na dwóch pozostałych Visual Studio i emulatory HoloLens z aplikacją. Nie jest możliwe, by na jednym komputerze był serwis i emulator. Więcej o tym można poczytać na forum HoloLens w wątkach Hologram sharing i Sharing Holograms in Hololens emulator. Nie pisze o tym na pierwszych stronach gazet –Smile

Nie dysponuję trzema PC-tami, a z uwagi na to, że emulator ma dość wysokie wymagania nie będę na razie też eksperymentować z maszynami wirtualnymi, zresztą o takim rozwiązaniu na forum nikt nie pisał.

Do zobaczenia następnym razem.

czwartek, 30 marca 2017

[DSP2017] 9# Holowizja - choć pomaluj mój świat na żółto i na niebiesko…

Dziś małe uzupełnienie poprzedniego odcinka. Pokażę krótko, jak pokolorować ściany, podłogę i sufit pokoju i bynajmniej nie mam tu na myśli pracy malarza… bo stanie się to tylko w naszej głowie z HoloLens.

Do sceny z  HoloVision7  dodaję game obiekt o nazwie SpatialProcessing, a do niego skrypty z HoloToolkit o nazwach SurfaceMeshesToPlanes i RemoveSurfaceVertices oraz skrypt PlaySpaceManager z Holograms 230: Spatial mapping (z zakomentowaną linią

SpaceCollectionManager.Instance.GenerateItemsInWorld(horizontal, vertical);

odpowiedzialną za umieszczanie obiektów na scenie)

R0

W SurfaceMeshesToPlanes wybieramy w Surface Plane Prefab komponent SurfacePlane. Z kolei w inspektorze tego ostatniego ustawiamy materiały dla ścian, sufitu, podłogi, stołu pokoju.

image

Materiały dla nich możemy zdefiniować sami albo dla testu wykorzystać z Holograms 230: Spatial mapping.

Generalnie chodzi o to by przetworzyć zmapowaną przestrzeń, wykryć w niej podłogę, ściany, sufit czy stół, a potem je pokolorować.

Oto co wynurzyło się przed moimi oczami (po przejściu przez ścianę cofając się do tyłu z początkowego punktu, który był zdaje się w jakimś pustościanie).

R6

Scena dostępna na github jako HoloVision8.

Chciałem jeszcze umieścić bez ingerencji użytkownika na ścianie jakiś przedmiot, ale okazało się to niezbyt proste. Owszem Holograms 230: Spatial mapping dostarcza skrypty, które to robią, ale zależą one od starszej początkowej wersji Holo toolkitu. W nowym HoloToolkicie odnajdziemy natomiast skrypt TapToPlace, który przypięty do obiektu sprawi, że gdy najedziemy na niego kursorem i naciśniemy, to obiekt będzie podążał za kursorem osadzając się na siatce pokoju. W testowej scenie toolkitu nawet to działa, na mojej scenie póki co nie uzyskałem tego efektu. Inna sprawa, że samo renderowanie tej siatki, a potem wykrywanie ścian i kolorowanie nie działa natychmiast, a losowo w emulatorze może wyświetlić się scena bez pokoju…

Cześć, do następnego zwariowanego odcinka –Smile

sobota, 25 marca 2017

[DSP2017] 8# Holowizja - gdy zwykły pokój przestaje być zwykłym pokojem…

A gdyby pokój, w którym siedzę lub stoję, przestał być zwykłym pokojem i wzbogacić go o elementy nowe, na które oddziałują te dotychczasowe prawdziwe ?

HoloLens dzięki mapowaniu przestrzennemu (spatial mapping) może spełnić takie życzenie. Dziś przejdziemy drogę dla absolutnie początkujących w tym zakresie. Zobaczymy dobrze znany już nam sześcian i kulę w powietrzu, które po umieszczeniu na nich kursora i wypowiedzeniu magicznego “Shoot down” spadną z pewnym łoskotem na podłogę pokoju, po drodze być może odbijając się od innych przedmiotów.

Room1

W pokazanym pokoju “zestrzelony” słowem sześcian spadł za czarną bryłę i straciłem go z oczu w tej perspektywie, natomiast “zestrzelona” kula odbiła się kilka razy i dotoczyła się do lewego kąta podłogi.

Room2

A teraz już do rzeczy i po kolei, jak takie coś osiągnąć i skąd ta czerwona siatka, o której jeszcze nic nie wspomniałem.

Na bazie poprzedniego przykładu HoloVision6 przygotowałem wyjściową scenę, do której dodamy przestrzenne mapowanie. Usunąłem zieloną płaszczyznę pod sześcianem i kulą. Kierując się większym komfortem, wyłączyłem sobie jęczące audio source na sześcianie (odznaczyłem checka), choć nie było to konieczne. W Edit > Project Settings > Player w sekcji Publishing Settings upewniamy się, czy SpatialPerception jest zaznaczone.

Teraz sprawa kluczowa. W Unity przeciągamy z Assets  HoloToolkit/SpatialMapping/Prefabs/SpatialMapping.prefab do Hierarchy na główny poziom. Zaznaczamy opcję Draw Visual Meshes. W Spatial Mapping Manager w Surface Material ustawiamy Wireframe (na screenie poniżej jest RedWireframe, ale o tym nieco później).

Room3

Jakbyśmy mieli fizyczne urządzenie, to otaczający nas pokój zostałby zmapowany za pomocą siatki podzielonej na trójkąty. Emulator nie pozostawia nas jednak całkowicie bez szans i oferuje kilka predefiniowanych pokojów, które można do niego załadować.

image

Po odpaleniu na emulatorze zobaczymy już białą siatkę pokoju.

Skanowanie prawdziwego pokoju za każdym razem jest nieco czasochłonną i skomplikowaną czynnością. Zeskanowany model można w Device Portal zapisać do pliku. Wchodzimy na zakładkę 3D View. Pod Spatial mapping naciskamy przycisk Update, co spodowoduje pokazanie się modelu. Następnie naciskamy przycisk Save.

 Room7

HoloToolkit także dostarcza przykładową siatkę pokoju. Znajdziemy ją w Assets w HoloToolkit/SpatialMapping/Tests/Meshes/SRMesh.obj. Jak przeciągniemy ją na pole Room Model skryptu Object Surface Observer w inspektorze SpatialMapping, to będzie prezentowana zamiast pokoju dostarczanego na żywo (czy też wybranego do załadowania w emulatorze).

Co nam to daje w stosunku do wcześniejszego ładowania przykładowego pokoju wprost z emulatora?  Otóż teraz już w Unity mogę podejrzeć tę siatkę przechodząc w tryb podglądu za pomocą przycisku play na górze.

Room4

Aha, czemu jest ona u mnie czerwona? Biała wydawała mi się zbyt banalna i przygotowałem sobie materiał o nazwie RedWireframe w Assets/Materials na podstawie kopii Wireframe dostarczanego przez HoloToolkit (w HoloToolkit/SpatialMapping/Materials). W inspektorze RedWireframe ustawiłem Wire color na czerwony. Następnie w inspektorze SpatialMapping w polu Surface Material ustawiłem ten materiał (skrypt Spatial Mapping Manager).

Siatkę pokoju w Unity zobaczyć możemy również na scenie. Wystarczy będąc w trybie podglądu przejść do zakładki Scene.

Room5

Przedstawioną tutaj scenę z siatką i bryłami w powietrzu udostępniłem jako HoloVision7 na github.

To oczywiście nie jest wszystko, co można osiągnąć w mapowaniu przestrzennym w HoloLens. Jak zawsze wskażę tu tutoriale z Holo Academy: Holograms 101E: Introduction with Emulator (ostatnia sekcja) oraz Holograms 230: Spatial mapping. Zmapowany pokój można sobie pokolorować, wykryć w nim ściany, podłogę i sufit, coś sobie na nich poumieszczać (programowo lub pozwolić na to samemu użytkownikowi naszej aplikacji). Uwzględnienie chowania się przedmiotów za inne przedmioty też jest istotne, można niewidoczne ich części prezentować w odmienny sposób np. jako siatkę. Sprawia to wrażenie jakbyśmy mieli Rentgen w oczach.

Kolejny równie awangardowy i niczym nieograniczony odcinek rodzi się już w mojej głowie. A zatem do następnego razu!

poniedziałek, 20 marca 2017

[DSP2017] 7# Holowizja - mroczne dźwięki z horroru w przestrzeni 3D

Dźwięk przestrzenny jest niezbędny, by wizja w HoloLens wydawała się realna. I to będzie nasz temat na dziś.

Weźmy ostatni projekt HoloVision5. Dodamy do niego dźwięk skojarzony z sześcianem oraz dźwięk następujący po upadku sześcianu lub kuli na płaszczyznę.

Jak włączyć dźwięk przestrzenny? Po pierwsze w Edit –> Project Settings –> Audio ustawiamy Spatializer Plugin na MS HRTF Spatializer.

image

Darmowe pliki audio można pobrać np. z Unity Store. Czasami przypadek rodzi inspirację. Tak też było teraz, natrafiłem na pakiety z muzyką z horroru i stąd projekt oraz tytuł posta taki, a nie inny. Z pakietu Horror Ambient Sounds Pack wziąłem dwa pliki:  Horror Ambient Sounds Pack/Ambient Sounds/Horror Atmosphere/Ambience Mid.wav (demoniczne tło) oraz Horror Ambient Sounds Pack/Other/Scare.wav (echoistyczne uderzenie). Zaimportowałem je w Unity do nowo utworzonego folderu Resources w Assets.

Niech sześcian będzie nawiedzony. W tym celu na Cube przeciągam  Ambience Mid z Assets/Resources. W inspektorze dla Cube pojawił się nowy element o nazwie Audio Source. Dokonujemy jego konfiguracji:

1. Zaznaczamy opcje Spatialize oraz Loop

2. Spatial Blend ustawiamy na 1 (lub suwakiem przesuwamy do pozycji 3D)

3. W 3D Sound Settings zmniejszam Doppler Level (efekt Dopplera to zjawisko z lekcji fizyki by odbiór dźwięku przez nas był taki jak w realu, przy pomocy HoloLens możnaby je demonstrować uczniom, co może kiedyś nastąpi jak ceny spadną?) na 0.1 oraz Max Distance na 20.

Końcowe ustawienia można zobaczyć poniżej.

Win1

Teraz pora na wzbogacenie zderzenia upadającego sześcianu czy kuli z “trawą”. Aby to osiągnąć w Assets/Scripts tworzę nowy skrypt o nazwie ItemSounds i przeciągam go do inspektorów Cube i Sphere. Jego zadanie polega na odnalezieniu w Resources drugiego audio o nazwie Scare oraz odpalenie w momencie kolizji. Realizuje to poniższy prosty kod:

using UnityEngine;

public class ItemSounds : MonoBehaviour
{

    AudioSource audioSource = null;   
   
    void Start()
    {       
        audioSource = gameObject.AddComponent<AudioSource>();
        audioSource.playOnAwake = false;
        audioSource.spatialize = true;
        audioSource.spatialBlend = 1.0f;
        audioSource.dopplerLevel = 0.0f;
        audioSource.rolloffMode = AudioRolloffMode.Logarithmic;
        audioSource.maxDistance = 20f;
        audioSource.clip = Resources.Load<AudioClip>("Scare");       
    }

    void OnCollisionEnter(Collision collision)
    {       
        if (collision.relativeVelocity.magnitude >= 0.1f)
        {           
            audioSource.Play();
        }
    }
}

Eksportujemy do Visual Studio jak zawsze. Odpalamy. Zakładamy na uszy słuchawki. Chociaż scena wygląda tak samo jak ostatnio,

image

to już nasz odbiór całości jest inny z powodu dźwięku, który wywołuje uczucia jakbyśmy się znajdowali na cmentarzu o północy (potraktujmy to jako luźną interpretację częstej scenerii ostatnio dość znanego vloga).

db937ba25f71878ac570e9650737539c_full

Zacznijmy się przemieszczać. Jak się cofniemy to dźwięk stanie się cichszy. Jak się zbliżymy ponownie do “nawiedzonego sześcianu” to dźwięki ulegną wzmocnieniu. Jeśli sześcian nam zniknie z pola widzenia, a będzie z naszej prawej strony, to usłyszymy dźwięki w prawym uchu. Nasz umysł umiejscowi go po prawej stronie nawet jeśli go nie widzimy. Oczywiście analogicznie jest z lewej. W miarę przesuwania dźwięk może się nam przelać z prawego ucha, przez centrum głowy (przód lub tył), do ucha lewego…

Nakierujmy teraz kursor na sześcian lub kulę. Powiedzmy “Shoot down”. W momencie uderzenia o “trawę” usłyszymy pewien łoskot podbudowany echem niczym we śnie…

Całość tradycyjnie już dostępna jako HoloVision6 na github. Zapraszam do odsłuchu, przy czym na własne ryzyko. Jest naprawdę mrocznie…

Czy to wszystkie możliwości przestrzennego dźwięku w HoloLens? Nie!  Tradycyjnie już wspomnę o Holograms 101E: Introduction with Emulator oraz Holograms 220: Spatial sound z Holo akademii. O ile w pierwszym jest niewiele więcej niż dziś pokazałem, o tyle drugi pokazuje jak tworzyć interakcje dźwięku z rzeczywistym światem (którego efektem jest np. zanikanie) czy dodawać efekty do własnego głosu. W Holo toolkicie możemy znaleźć z kolei przydatne skrypty w folderze SpatialSound oraz przykładową scenę AudioOcclusionTest, gdzie zmienia się słyszany przez nas dźwięk w zależności od tego, czy od źródła oddziela nas ściana.

Do następnego razu. Cześć.

środa, 15 marca 2017

[DSP2017] 6# Holowizja - strzały słowem i… reset

Mieliśmy już sterowanie hologramem za pomocą spojrzenia i gestów z użyciem dłoni. Dziś pora na komendy wydawane głosowo.

Tradycyjnie już najpierw pobawiłem się tutorialami Holograms 101E: Introduction with Emulator (w zakresie głosu) oraz Holograms 212: Voice. Szkoda jedynie że bazują na początkowej wersji Holo toolkita, ale poza tym są najprawdę niezłe. W pierwszym mamy wydawanie komend głosowych przedmiotom z focusem (na które się wpatrujemy), jak również komend ogólnych do wszystkiego. W drugim momentami mamy już niemal odlot. Zaczyna się od zmiany ikony kursora na mikrofon i wyświetlania komend w celach informacyjnych, a potem trafiamy na… nagrywanie naszego głosu do zegarka kosmity (niczym jak do szafy w filmie “Miś”), dyktowanie tekstu czy otworzenie plecaka i kolorowaniu przedmiotów w powietrzu za pomocą komend zdefiniowanych w oparciu o reguły gramatyki. Co prawda techniczne możliwości w zakresie głosu osobom obeznanym w aplikacjach uniwersalnych Windows 10 mogą wydać się nawet dość typowe, ale scenaria i muzyka robią już swoje…

Emulator wspiera mikrofon, więc zabawa dostępna dla każdego. Przystępując do praktyki popatrzyłem sobie na testowe sceny do input-u w najnowszym Holo toolkicie. Znalazłem tam komendy wykonywane przez wskazane przedmioty (focus lub zaznaczenie) oraz komendy ogólne.

Przerobiłem poprzedni projekt HoloVision4 na obecny HoloVision5 w następujący sposób:

1. Przesunąłem sześcian na bok i dodałem kulę (sferę). Dodałem też dodatkowe “game” obiekty w celach grupujących i/lub do trzymania skryptów. Hierarchia sceny przedstawia się teraz następująco:

image

2.  Do obiektu SpeechInputSource dodałem skrypt SpeechInputSource (z HoloToolkit/Input/Scripts/Voice) i zdefiniowałem na nim dwie komendy głosowe “Shoot Down” oraz “Reset All”. Pierwsza spowoduje upadek wskazanego przedmiotu na płaszczyznę (poprzez dodanie do niego grawitacji jak ostatnio), druga zaś będzie skierowana ogólnie i ma powodować przywrócenie sceny do początkowego stanu.

image

3.  Do obiektu Items (trzymającego w sobie sześcian i kulę) dodaję skrypt SetGlobalListener (z HoloToolkit/Input/Scripts/SetGlobalListener) oraz nowo stworzony, własny skrypt ItemGlobalKeywords (w Assets/Scripts).

image

Skrypt ItemGlobalKeywords zapamiętuje początkowe położenia i rotacje dzieci elementu, do którego jest przypięty (w naszym przypadku będą to sześcian i kula). Jeśli zostanie odebrana komenda “Reset All”, to następuje przywracanie początkowych ustawień. Całość przedstawia się następująco:

using HoloToolkit.Unity.InputModule;
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;

public class ItemGlobalKeywords : MonoBehaviour, ISpeechHandler
{
    private Vector3[] cachedChildPositions;
    private Quaternion[] cachedChildRotations;
    private Renderer[] childRenderers;

    private void Awake()
    {
        childRenderers = GetComponentsInChildren<Renderer>();
        if (childRenderers != null && childRenderers.Length > 0)
        {
            cachedChildPositions = new Vector3[childRenderers.Length];
            cachedChildRotations = new Quaternion[childRenderers.Length];

            for (int i = 0; i < childRenderers.Length; i++)
            {
                cachedChildPositions[i] = childRenderers[i].transform.localPosition;
                cachedChildRotations[i] = childRenderers[i].transform.rotation;
            }
        }
    }

    public void OnSpeechKeywordRecognized(SpeechKeywordRecognizedEventData eventData)
    {
        switch (eventData.RecognizedText.ToLower())
        {
            case "reset all":
                if (childRenderers != null && childRenderers.Length > 0 &&
                    cachedChildPositions != null && cachedChildPositions.Length == childRenderers.Length &&
                    cachedChildRotations != null && cachedChildRotations.Length == childRenderers.Length)
                {
                    for (int i = 0; i < childRenderers.Length; i++)
                    {
                        var rigidbody = childRenderers[i].GetComponent<Rigidbody>();
                        if (rigidbody != null)
                        {
                            DestroyImmediate(rigidbody);
                        }

                        childRenderers[i].transform.localPosition = cachedChildPositions[i];
                        childRenderers[i].transform.rotation = cachedChildRotations[i];
                    }
                }
                break;
        }
    }

    private void OnDestroy()
    {
        for (int i = 0; i < childRenderers.Length; i++)
        {
            DestroyImmediate(childRenderers[i]);
        }
    }
}

4. Do obiektów Cube i Sphere podpinam nowo stworzony skrypt o nazwie ItemKeywords. Jego zadaniem jest dodanie grawitacji do obiektu, jeśli zostanie rozpoznana komenda “Shoot down”. Realizuje to poniższy kod:

using HoloToolkit.Unity.InputModule;
using UnityEngine;

[RequireComponent(typeof(Renderer))]
public class ItemKeywords : MonoBehaviour, ISpeechHandler
{
    public void OnShoot()
    {
        if (!this.GetComponent<Rigidbody>())
        {
            var rigidbody = this.gameObject.AddComponent<Rigidbody>();
            rigidbody.collisionDetectionMode = CollisionDetectionMode.Continuous;
        }
    }

    public void OnSpeechKeywordRecognized(SpeechKeywordRecognizedEventData eventData)
    {
        switch (eventData.RecognizedText.ToLower())
        {
            case "shoot down":
                OnShoot();
                break;
        }
    }
}

Eksportujemy jak zawsze do Visual Studio. Aha pamiętajmy o włączeniu mikrofonu w Capabilities. W tym celu wchodzimy w Edit > Project Settings > Player i na zakładce Windows Store szukamy sekcji Publishing Settings > Capabilities.

image

Odpalamy!

Wskazuję kursorem sześcian. Mówię “Shoot down”.

shot1

Buch! Teraz strzelam do kuli.

shot2

Po nakierowaniu wzroku (kursora) na kulę i wypowiedzeniu “Shoot down” również ona opada.

shot3

Jak chcemy zacząć zabawę od początku, zawsze możemy powiedzieć “Reset all”. Sześcian i kula wylądują z powrotem na swoich początkowych położeniach w powietrzu i znów będzie można sobie do nich postrzelać.

Życzę miłej zabawy i do zobaczenia w następnym odcinku.