Haptics for mobile AR: ako vylepšiť aplikácie ARKit pomocou pocitu „dotyk“

Som skutočne nadšený z budúcnosti haptík pre AR a VR. Je to ako chýbajúce spojenie medzi mojím HTC Vive a skokom do OASIS s Parzival a Art3mis. Nie je preto prekvapujúce, že haptiky sú pravdepodobne momentálne najviac očakávanou technológiou v komunite XR. Niekoľko spoločností, ako sú Microsoft a HTC, ako aj začínajúce podniky ako SenseGlove a HaptX, predviedli ukážky stále sľubnejších opakovaní hmatových rukavíc, ktoré si svrbením vyskúšam.

Bohužiaľ, rovnako ako väčšina vývojárov AR, naša práca v Placenote sa takmer úplne zameriava na mobilné platformy AR, ako sú ARKit a ARCore. Prirodzene, to nás prinútilo premýšľať: „Mohli by haptici urobiť niečo pre mobilné AR?“

Haptiky boli úžasným doplnkom dotykových obrazoviek, od simulácie dotykových kliknutí na tlačidlo po tiché oznámenia. Po nejakom zúrivom googlovaní sme si však uvedomili, že zatiaľ neexistuje skutočná diskusia o haptikách pre mobilné aplikácie AR ... CHALLENGE ACCEPTED

Výzva mobilného AR

Rozhodli sme sa preštudovať, prečo sa haptici nedostali do mobilného AR a nebolo ťažké pochopiť prečo. Mobile AR je zďaleka najmenej pohlcujúce médium AR. Konsenzus v komunite je taký, že je to len medzera v medzere k najvyššej platforme AR - inteligentné okuliare.

Ale myslenie tu nie je jedinou prekážkou. Zistili sme, že mobilný formulárový faktor predstavuje pre AR skúseného dizajnéra niektoré jedinečné výzvy:

  • na rozdiel od náhlavných súprav je obrazovka telefónu aj ovládač
  • je nemožné priviesť ruky k zážitku, keď držíte telefón.
  • stále sa spoliehame na interakcie s dotykovou obrazovkou, ktoré sú nejednoznačné z hľadiska rozmernosti - 2D alebo 3D dotyk?

Realita je však taká, že v najbližších rokoch a možno ešte viac bude mobilný AR zostať. Momentálne je v spotrebiteľských vreckách miliarda mobilných zariadení a len na hrsti náhlavných súprav AR na hlavách. Ako vývojár distribúcia vašich aplikácií preberá väčšinu ďalších faktorov. V aplikáciách, ako je navigácia vo vnútorných priestoroch a hry, sa mobil už osvedčil ako životaschopné médium na nasadzovanie skúseností s AR.

To nás privádza k téme haptiky pre mobilné AR. Spočiatku by sa mohlo zdať, že haptici nemajú skutočnú nádej na vylepšenie mobilných AR skúseností, ale nedávne štúdie skutočne ukázali opak.

V haptike je menej viac

Na dosiahnutie hmatovej spätnej väzby bolo vytvorených nespočetné množstvo metód. Všeobecne spadajú do dvoch širokých kategórií - kinestetické haptiky (silová spätná väzba) a kožné haptiky (kožné pocity).

Kinestetické haptiky sa všeobecne považujú za realistickejšiu haptickú technológiu. Zahŕňa fyzické ovládače, uzemnené alebo neuzemnené. Tieto tlačia a ťahajú naše prsty a ďalšie dodatky v reakcii na interakcie s virtuálnymi objektmi. Intuitívne by realistická spätná väzba sily mala pôsobiť oveľa lepšie ako obyčajné staré vibrácie. Štúdia uverejnená v Science Robotics tento rok s názvom „Uncanny Valley of Haptics“ však tieto predpoklady spochybnila.

Vedci zistili, že zvýšenie realizmu hmatového pocitu nemusí nevyhnutne zvyšovať kvalitu zážitku z AR. To má často negatívny vplyv v dôsledku záhadného údolia realizmu v simuláciách. Zistili, že kožné haptiky, ktoré sú v podstate kombináciou ľahkých dotykov a vibrácií, robili omnoho lepšie, keď hlúpali mozog hlbšie do ilúzie. Podivné výsledky, ale v podstate si uvedomili, že sme podcenili, aký dobrý je náš mozog pri vyplňovaní medzier v našom pocite reality.

Situácie, v ktorých náš mozog zasahuje, aby vyplnil medzery, sú podľa môjho názoru najzaujímavejšie z nášho vnímania pocitu dotyku. - Justin Brad, generálny riaditeľ Osso VR

Prináša haptiky do mobilného AR

Na základe týchto zistení, prečo netestovať, čo môžu kožné haptiky urobiť pre mobilnú AR? Koniec koncov, haptiky v mobile už nie sú len o vibračných vyzváňacích tónoch.

Mikroelektromechanické systémy (MEMS) na mobilných zariadeniach sa stali omnoho sofistikovanejšie a schopné zvládnuť niektoré celkom odlišné správanie. Od iPhone 7 spoločnosť Apple aktualizovala staré základné vibrácie rachotenia na to, čo teraz nazývajú Taptic Engine. Toto je omnoho jemnejšie a pozostáva zo siedmich rôznych typov hmatovej spätnej väzby s rôznymi vzormi a silnými stránkami.

K dispozícii sú hmatové režimy spätnej väzby:

  • Zmena výberu
  • Nárazové svetlo
  • Nárazové médium
  • Náraz ťažký
  • Úspešnosť oznámenia
  • Upozornenie na upozornenie
  • Zlyhanie oznámenia
Nový tapisový systém iOS (od verzie iPhone 7) má 7 rôznych druhov haptickej spätnej väzby

Ak sa chcete dozvedieť viac o generátore spätnej väzby iOS, prečítajte si túto dokumentáciu spoločnosti Apple. Na konci tohto článku zdieľam nejaký kód, ktorý môžete použiť na rýchle pridanie týchto typov spätnej väzby do vašich aplikácií ARKit.

Rozhodli sme sa experimentovať s niekoľkými z týchto hmatových režimov spätnej väzby v našich aplikáciách AR a som skutočne nadšený, že výsledky boli príjemným prekvapením pre náš tím. Nasleduje niekoľko príkladov haptických implementácií v našich mobilných aplikáciách AR.

Príklady použitia haptík v mobilnej AR

Pri našich doterajších experimentoch sme zistili, že hmatová spätná väzba pre mobilnú AR funguje dobre v piatich rôznych scenároch. Tu je popis každého z nich.

1. Magnetické ukazovatele (t. J. Prichytenie k mriežke)

Ukazovateľ uzamknutý pozdĺž rovinného povrchu je bežne používanou funkciou v mnohých aplikáciách ARKit, najmä v nástrojoch na meranie, ako sú Air Measure a Magic Plan. Pretože sa váš telefón správa ako ovládač v mobilnej AR, v štandardných aplikáciách UX v meracích aplikáciách je potrebné pretiahnuť ukazovateľ po povrchu, aby ste nakreslili čiary alebo polygóny na meranie vecí v skutočnom svete. Pokiaľ ide o kreslenie čiar, magnetické ukazovátka, ktoré prichytávajú ku koncovým bodom a hranám čiar, sú, samozrejme, videné všade - od aplikácie PowerPoint po Photoshop.

Zistili sme, že jemná hmatová spätná väzba naznačujúca „prichytenie“ v polohe ukazovateľa je veľkým vylepšením. Skoro to vyzerá, akoby sa váš telefón (t. J. Váš ovládač) fyzicky pohyboval, aby zapadol na svoje miesto.

Veľmi ma potešilo, keď som zistil, že nová aplikácia spoločnosti Apple „Measure“ v skutočnosti používa hmatovú spätnú väzbu v ich UX. Je to úžasne jemná implementácia a nižšie môžete vidieť GIF tejto akcie. Keď sa ukazovateľ zacvakne na okraj roviny, spustí sa „nárazové médium“.

Aplikácia spoločnosti Apple pre meranie

2. Testovanie zásahov (cítenie povrchov v reálnom svete)

Ďalšou spoločnou funkciou v aplikáciách ARKit je hit-test. Toto je implementované ako lúč lúčov z bodu na obrazovke - buď dotykový bod alebo stred - na povrch v skutočnom slove. Zvyčajne sa používa na pridanie 3D objektu v mieste kontaktu. Mierny hmatový pocit môže pomôcť užívateľovi pochopiť, že povrch bol „zasiahnutý“. Našli sme dve metódy, ktoré tu fungujú dobre:

pripnúť
V tomto príklade sa značka pridá na scénu v bode zásahu. „Impact Light“ pomáha používateľom vnímať „pripnutie“ značky v 3D priestore. Nevýhodou je, že nemôžete celkom pochopiť „hĺbku“ bodu zásahu - inými slovami, ako ďaleko je špendlík od používateľa.

pastviská
Alternatívou pripnutia je metóda pasenia testovania zásahov. V tomto prípade sa neustále aktualizuje ukážka značky, kde sa značka môže pridať do scény. Zistili sme, že séria hmatových impulzov, založená na rozsahu posunutia ukazovateľa náhľadu v každom snímke, dáva pocit zoškrabania ukazovateľa pozdĺž 3D povrchu a pocítime „pocit“ 3D povrchu.

Tu je príklad kódu pastvy v jednote:

if (zmena vzdialenosti> = 0,1 && zmena vzdialenosti <0,2)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Light);
}
inak ak (zmena vzdialenosti> = 0,2 && zmena vzdialenosti <0,4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Medium);
}
inak ak (zmena vzdialenosti> = 0,4)
{
    iOSHapticFeedback.Instance.Trigger (Impact_Heavy);
}

3. Pretočenie alebo výbuch zbrane FPS

Toto je zďaleka najzábavnejší príklad hmatovej spätnej väzby. Pri vytváraní strelca prvej osoby v AR je váš displej displejom aj zbraňou. Skvelý spôsob, ako simulovať streľbu zo strelnej zbrane, je jednoduchý „nárazový ťažký“, ktorý vytvára jedinú ranu alebo „zlyhanie upozornenia“, ktoré vytvára dvojitú ranu, ktorá sa cíti podobne ako spätný ráz zbrane. Príklad nižšie je samozrejme laserová zbraň, ale hej, toto nemá byť príliš realistické.

4. Kolízia so špičkou ovládača

V aplikáciách VR, ako je Oculus Medium alebo Tilt Brush, slúži jeden z ručných ovládačov ako špička kefy, ktorú sa používateľ pohybuje okolo, aby kreslil v 3D priestore. Mal som celé hodiny maľovaním v Tilt Brush a tak som sa prirodzene snažil napodobniť túto skúsenosť s ARKitom.

Problém je v tom, že vytvorenie presného kresleného zážitku v mobile sa stáva skutočne ťažkým. Keď je telefón displej aj ovládač, stratíte pocit hĺbky. Jednou z najťažších vecí v aplikáciách na kreslenie 3D v mobile je vedieť, kde je špička vašej kefy relatívne k iným 3D objektom v scéne.

A opäť, odpoveďou boli haptici. Zistili sme, že jedným zo spôsobov, ako dať používateľom pocit hĺbky, je predstaviť si, že štetec je vlastne trstina, ktorú môžete použiť na zasiahnutie 3D objektov, ktoré už sú v scéne. Poskytnutie hmatovej spätnej väzby, ktorá používateľom umožní zistiť, či je špička kefy v kontakte s akýmikoľvek existujúcimi objektmi v scéne, umožňuje používateľom presne vymedziť svoje stopy v 3D priestore.

Kolízie hrotu kefy snímača

5. Rekonštrukčná snap v Persistent AR Apps.

V Placenote primárne budujeme aplikácie Persistent AR alebo AR Cloud. Hlavnou funkciou týchto aplikácií je schopnosť trvalo ukladať obsah AR na fyzickom mieste. Používatelia ho môžu načítať vždy na rovnakom mieste.

Toto správanie sa nazýva premiestnenie scény.

Lokalizácia zapadla na svoje miesto

Aby bolo možné premiestniť scénu AR, musí používateľ najprv nasmerovať fotoaparát svojho telefónu na skutočný svet a potom počkať, kým kamera nezistí jeho polohu.

S Placenote dochádza k premiestneniu takmer okamžite, ale všetko sa deje interne. Preto musíme navrhnúť spôsob, ako informovať používateľa o úspešnej premiestnení. Vizuálne podnety by mohli stačiť, ako je uvedené v GIF vyššie. Dôvtipnejšou indikáciou je poskytnúť hmatové „Impact Light“, ktoré naznačuje, že ste sa uchytili na miesto v skutočnom svete.

Ako pridať haptiku do vášho projektu ARKit

Ak pracujete s vývojom aplikácie Swift for Native iOS ARKit, prečítajte si tento návod na implementáciu hmatovej spätnej väzby v domorodých aplikáciách.

Ak pracujete so spoločnosťou Unity, mojím doteraz obľúbeným balíkom je balík haptickej spätnej väzby pre iOS v obchode Unity Asset Store. Je to 5 dolárov, ale oplatí sa to, pretože vstavaná funkcia Unheld Handheld.Vibrate () v skutočnosti nevystavuje nové funkcie systému Taptic Engine pre iOS!

Balík spätných väzieb pre iOS s haptickou spätnou väzbou poskytuje jednoduchý panelák a skripty na pridanie všetkých 7 typov hmatovej spätnej väzby do vašej aplikácie. Môžete to získať z odkazu Asset Store tu:

Na čo treba dávať pozor

Pri použití haptík v mobilnej aplikácii AR nájdete, rovnako ako pri iných nástrojoch na navrhovanie, niekoľko vecí, na ktoré treba dávať pozor.

Ak použijete príliš veľa haptík, môžete sledovať ARKit

Otestujte vplyv haptík na vašu reláciu AR. Pretože ARKit sa pri sledovaní pohybu telefónu spolieha na inerciálne snímanie, pridaním príliš veľkého množstva vibrácií počas relácie ARKit sa sledovanie môže mierne odhodiť.

Prílišné používanie haptík môže zariadenie prehriať

Haptika je koniec koncov fyzický pohyb vášho mobilného zariadenia a má tendenciu využívať viac energie. Použite toto opatrne, aby ste sa uistili, že sa telefón neprehrieva alebo nevybije batéria príliš rýchlo.

Príliš veľká hmatová spätná väzba môže vášho používateľa zmiasť a znecitliviť

To platí pre akýkoľvek hmatový mechanizmus. Nepreháňajte to. Konkrétne ho nepoužívajte bez jasného pochopenia toho, prečo je hmatová spätná väzba potrebná pre akciu, ktorú používateľ vykonáva. Nebezpečenstvo nadmerného používania spočíva v tom, že sa ním používateľ zmiati, a preto sa voči vašej spätnej väzbe znecitliví.

A to je všetko! Dúfam, že tento článok vám dal užitočnú dávku dizajnérskych nápadov a presvedčil vás, aby ste sa pustili do sveta mobilných haptikov AR. Naozaj sme si užili skúmanie rôznych spôsobov, ako by sme mohli simulovať dotykové pocity v mobilnej AR, a ak máte nejaké ďalšie nápady, radi by sme sa s vami o tom porozprávali. Ak máte záujem vyskúšať niektorý z našich príkladov kódu pre mobilnú AR haptiku, pošlite mi e-mail na adresu neil [at] placenote.com.

Ak máte záujem o trvalé aplikácie AR alebo o to, čo robíme na Placenote, pošlite nám správu na Twitteri alebo sa pozrite na Placenote.com