O stránke
Keďže v rámci predmetu Projektový seminár (1) a Projektový seminár (2) je povinné vytvoriť webstránku k diplomovej práci, tak tu je.
O práci
Názov
Sparse neural network training from scratch
Trénovanie riedkych neurónových sietí z ničoho
Marcel Palaj, vedúci práce: Mgr. Vladimír Boža, PhD.
Anotácia
Neurónové siete majú typicky oveľa viac parametrov ako je potrebné a je ich možné orezať pomocou viacerých techník. Výsledná neurónová sieť potom pozostáva z riedkych váhových matíc. Našim cieľom je trénovať riedke siete od začiatku trénovania bez nutnosti používať operácie na hustých maticiach. Očakávame, že počas trénovania sa štruktúra matíc bude meniť (niektoré váhy sa odstránia a niektoré sa pridajú). Predošlé práce buď váhy pridávali náhodne ([1]) alebo používali husté gradienty ([2,4]). Našim cieľom je vyrobiť novú metódu, ktorá prídava nové váhy rozumných spôsobom a zároveň nepotrebuje husté gradienty. Voliteľné môžeme tiež vyskúšať rôzne spôsoby inicializácie siete a rôzne spôsoby parametrizácie riedkych matíc.
Odkazy
Časom tu pribudne viac odkazov na text práce, repozitár a také veci.
Časový harmonogram
Okrem dokumentácie musí stránka k práci asi obsahovať aj časový harmonogram, aby bolo vidieť, ako sme si rozložili čas, alebo tak.
| Dátum | Čo by sa malo stať? | Stalo sa to? |
|---|---|---|
| počas zimného semestra | Nájsť tému a školiteľa | hotovo :) |
| do 31.03.2023 | Vyskúšať rôzne možnosti vyhadzovania váh zo siete | hotovo :) |
| priebežne | Vyskúšať rôzne možnosti inicializácie váh v sieti | WIP |
| do 12.05.2023 | Mať hotové veci potrebné na Projektový seminár (1): (kostra práce, ukážka, prezentácia, stránka) | hotovo :) |
| do 31.07.2023 | Zoznámiť sa s faissom/nmslib | hotovo |
| do 31.08.2023 | Vyrobiť bruteforce search na najpodobnešie vektory | hotovo |
| do 31.10.2023 | Namiesto bruteforce hľadania vyskúšať hľadanie faissom | hotovo |
| do 31.11.2023 | Vyskúšať nejaké iné faiss indexy | hotovo |
| do 31.11.2023 | Vyskúšať heuristiku: pridávať váhy medzi najpodobnejšie neuróny | WIP |
| do 08.12.2023 | Mať hotové veci potrebné na Projektový seminár (2): (kostra práce, nejakých 15 strán, ukážka, prezentácia, stránka) | hotovo :) |
| do XX.XX.2023 | TBA | ešte nič... |