Trénovanie autonómneho vozidla v hre Trackmania
Timotej Melkovič
Názov: Trénovanie autonómneho vozidla v hre Trackmania pomocou strojového učenia
Training an autonomous vehicle in game Trackmania using machine learning
Školiteľ: Mgr. Iveta Bečková
Anotácia: Metódy strojového učenia sa v súčasnosti úspešne využívajú pri riešení širokej škály problémov, vrátane ovládania autonómnych vozidiel. Zároveň je štandardom pri problémoch tohoto typu, hľadať riešenie najprv vo virtuálnom prostredí, čím sa predchádza problémom s opotrebovaním materiálu, či poškodením fyzického agenta v skorších fázach učenia. Jedným z virtuálnych prostredí, ktoré simulujú jednoduchý pohyb vozidla po vozovke, je aj hra Trackmania. Jej najväčšou výhodou je možnosť spojenia s OpenPlanet pomocou API, čo umožňuje získavať priamo z hry v reálnom čase rozličné informácie o vozidle. Vďaka tomu má používateľ viacero možností, ako definovať vstup pre samotného agenta
Cieľ: Cieľom tejto práce je oboznámiť sa s virtuálnym prostredím Trackmania a preskúmať rôzne spôsoby reprezentácie aktuálneho stavu sveta. Ďalším cieľom je navrhnúť, implementovať a porovnať viacero agentov pre riadenie autonómneho vozidla, s použitím rôznych metód strojového učenia
Kľúčové slová: strojové učenie, Trackmania, autonómne vozidlo, OpenPlanet, API
Trackmania:
Konštrukcia mapy:
Ročníkový projekt:
Lokálne informácie:
Globálne informácie informácie:
Raycasting:
Plán práce:
- Zoznamovanie sa s prostredím Trackmania a OpenPlanet
- Preskúmanie rôznych spôsobov reprezentácie stavu sveta
- Extrahovanie live dát z hry
- Extrahovanie geometrie
- Získanie lokálnych + globálnych informácií
- Návrh a implementácia agentov pre riadenie autonómneho vozidla
- Experimenty a vyhodnotenie
- Spracovanie výsledkov
- Napísanie bakalárskej práce
Denník
19.2.2024 - 25.2.2024
- Rozbehnutie ročníkového projektu
- Zoznamovanie sa s prostredím Trackmania a OpenPlanet
- Získanie live data z hry
26.2.2024 - 3.3.2024
- Extrakcia geometrie stavebných blokov mapy zo zdrojových súborov Trackmanie
- Extrakcia rozloženia mapy z hry
- Poskladanie mapy z extrahovaných dát
4.3.2024 - 10.3.2024
- Vystrelenie niekoľko "laserových lúčov" z auta (raycasting), vypočítanie vzdieleností pre každý paprsok
- 3D real time vizualizácia pozorovania agenta
- Dáta sú pripravené, návrh neurónovej siete
11.3.2024 - 17.3.2024
- Fixovanie asynchronizácie medzi hrou a programom
- Vytvorenie gym enviroment
- Prvé pokusy o trénovanie neurónovej siete
18.3.2024 - 24.3.2024
- Trénovenie neurónovej siete pomocou Reinforcment learning
- Experimentovanie s reward funcion
25.3.2024 - 31.3.2024
- Trénovenie trénovanie trénovanie
- Písanie teoretickej časti
1.4.2024 - 7.4.2024
- Písať písať písať