Princípy pohlcujúcej virtuálnej reality

Meno študenta: Tomáš Búcsi
Názov práce: Princípy pohlcujúcej virtuálnej reality
Meno školiteľa: prof. Ing. Igor Farkaš, Dr.
Kontakt: bucsi2@uniba.sk

Anotácia

Virtuálna realita (VR) ako moderná počítačová technológia poskytuje svojim používateľom množstvo užitočných výhod v rôznych oblastiach života. Aby bola VR ešte efektívnejšia, musí byť pokročilá a ponúkať vysokú úroveň pohltenia, aby používatelia takmer neboli schopní rozlišovať medzi fyzickou a virtuálnou realitou.

Cieľ

1. Na základe dostupnej literatúry preskúmajte princípy pohlcujúcej VR.
2. Pomocou simulovaného humanoidného robota NICO, importovaného do virtuálneho prostredia Unity, manipulujte s niekoľkými vybranými vlastnosťami robota v rôznych modalitách, aby sa simulovaný NICO viac podobal na svoj fyzický náprotivok.
3. Otestujte výsledok na malej vzorke účastníkov, ktorí budú ponorení do VR s NICOm, a zhrňte svoje zistenia.

Aktuálne zdroje

• Bowman, D. A. and McMahan, R. P. (2007). Virtual reality: how much immersion is enough? Computer, 40(7):36–43.
• Forlim, C. G., Bittner, L., Mostajeran, F., Steinicke, F., Gallinat, J., and Kühn, S. (2019). Stereoscopic rendering via goggles elicits higher functional connectivity during virtual reality gaming. Frontiers in Human Neuroscience, 13:365.
• Hecht, D., Reiner, M., and Karni, A. (2008). Enhancement of response times to bi-and tri-modal sensory stimuli during active movements. Exper- imental Brain Research, 185:655–665.
• Hong, D., Lee, T.-H., Joo, Y., and Park, W.-C. (2017). Real-time sound propagation hardware accelerator for immersive virtual reality 3d audio. In Proceedings of the 21st ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, pages 1–2.
• Kim, M., Jeon, C., and Kim, J. (2017). A study on immersion and presence of a portable hand haptic system for immersive virtual reality. Sensors, 17(5):1141.
• Nilsson, N. C., Serafin, S., Steinicke, F., and Nordahl, R. (2018). Natural walking in virtual reality: A review. Computers in Entertainment (CIE), 16(2):1–22.
• Perret, J. and Vander Poorten, E. (2018). Touching virtual reality: a review of haptic gloves. In ACTUATOR 2018; 16th International Conference on New Actuators, pages 1–5. VDE.
• Schissler, C., Nicholls, A., and Mehra, R. (2016). Efficient hrtf- based spatial audio for area and volumetric sources. IEEE Transactions on Visual- ization and Computer Graphics, 22(4):1356–1366.
• Tanaka, N. and Takagi, H. (2004). Virtual reality envi- ronment design of managing both presence and virtual reality sickness. Journal of Physiological Anthropology and Applied Human Science, 23(6):313–317.
• Teixeira, J. and Palmisano, S. (2021). Effects of dy- namic field-of-view restriction on cybersickness and presence in hmd-based virtual reality. Virtual Reality, 25(2):433–445.
• Tham, J., Duin, A. H., Gee, L., Ernst, N., Abdelqader, B., and McGrath, M. (2018). Understanding virtual reality: Presence, embodiment, and pro- fessional practice. IEEE Transactions on Professional Communication, 61(2):178– 195.
• Viciana-Abad, R., Lecuona, A. R., and Poyade, M. (2010). The influence of passive haptic feedback and difference interaction metaphors on presence and task performance. Presence, 19(3):197–212.
• Wilkinson, M., Brantley, S., and Feng, J. (2021). A mini re- view of presence and immersion in virtual reality. In Proceedings of the Human Fac- tors and Ergonomics Society Annual Meeting, volume 65, pages 1099–1103. SAGE Publications Sage CA: Los Angeles, CA.
• Zaunschirm, M., Frank, M., and Zotter, F. (2020). Binau- ral rendering with measured room responses: First-order ambisonic microphone vs. dummy head. Applied Sciences, 10(5):1631.

Už napísaný text [Link]

Denník

1. týždeň semestra

Modelovanie predného krytu robota Nico, verzia 12

2. týždeň semestra

Dokončenie modela predného krytu robota Nico.
Skúmanie vlastnosti "cloth" a "collision" v blenderi a možnosti prenosu týchto vlastností do Unity
Zoznamovanie sa z Unitu a primárne zo zvukovými efektami.

3. týždeň semestra

Prieskum spôsobov vloženia zvukových efektov.
Zoznamovanie a učenie sa editácie zvuku.
Prvé testovanie v Unity.

4. týždeň semestra

Konzultácia s konzultantkou ohľadom rozšírení témy
Študovanie projektu robota Nico v Unity
Pridanie skriptu pre spustenie audia pri pohybe robota.

19.3. - 25.3.

Písane skriptu na pohyb hlavy na simuláciu pozerania sa na objekt.
Nahrávanie zvuku pohybu robota.
Konzultácia ohľadom ML pre pohyb ruky.

26.3. - 1.4.

Dokončenie a debugovanie skriptu pre simuláciu pohybu hlavy.
Študovanie použitia knižnice Ml-agents
Sťahovanie potrebných knižníc na použitie knižnice Ml-agents.

2.4. - 8.4.

Sťahovanie knižnice Ml-agents, ktoré nebolo úspešné.
Konzultácia s konzultantkou, vďaka ktorému bolo úspešná inštalácia.

9.4. - 15.4.

Vyriešenie problematiky s kolíziou v kóde, kvôli ktorému sa robot Nico nepohyboval
Opravenie kolízie prstov robota Nico
Písanie skriptov na zvukové efekty robota, a úprava kódu agenta. Vypnutie hitboxov stredných článkov prstov pre problémy s kolíziou

16.4. - 22.4.

Prepísanie skriptu agenta v unity.
Hľadanie zdrojov.
Písanie prehladovej časti práce.

23.4 - 29.4.

Hľadanie zdrojov.
Písanie prehľadovej časti bakalárskej práci.
Začanie trénovanie ruky Nica.