Generovanie testov softvérových systémov

Progres za prvý týždeň:

 Prvý týždeň som sa oboznámil s témou diplomovej práce a venoval som sa štúdiu odborných článkov zameraných na generovanie unit testov pomocou umelej inteligencie. V tejto etape som sa sústredil najmä na prístupy, ktoré nevyužívajú tzv. Large Language Models (LLM), aby som získal prehľad o tradičných AI technikách aplikovaných v oblasti automatizovaného testovania.

Nájdené články:

• [1]
• [2]

Progres za druhý týždeň:

 Druhý týždeň som sa zameral na preštudovanie odborných článkov týkajúcich sa generovania unit testov pomocou LLM. Cieľom bolo získať prehľad o súčasných možnostiach a prístupoch, ktoré tieto modely ponúkajú pri automatizovanom testovaní softvéru, ako aj porovnať ich výhody a obmedzenia v porovnaní s tradičnými metódami.

Nájdené články:

• [3]
• [4]

Progres za tretí týždeň:

  V treťom týždni som sa zameral na vyhľadávanie verejne dostupných GitHub repozitárov, ktoré obsahujú zdrojové kódy spolu s prislúchajúcimi unit testami. Cieľom bolo získať vhodné dátové zdroje, ktoré by mohli poslúžiť ako referenčný materiál pre analýzu, trénovanie modelov alebo overenie postupov generovania testov pomocou umelej inteligencie.

Nájdené repozitáre:

• microsoft/method2test
• eclipse/packager
• openmrs/openmrs-module-fhir2
• fizzed/cloudhopper-smpp
• mongodb/mongo-java-driver
• jhy/jsoup
• uniVocity/univocity-parsers

Progres za štvrtý týždeň:

  V štvrtom týždni som sa podrobnejšie venoval analýze častí „future work“ v relevantných odborných článkoch, ktoré sa zaoberajú generovaním unit testov pomocou umelej inteligencie. Tieto časti mi poskytli cenný pohľad na súčasné obmedzenia existujúcich prístupov a zároveň inšpiráciu pre možné smerovanie mojej vlastnej práce. V tejto fáze som sa tiež intenzívne zamýšľal nad tým, ako by moja diplomová práca mohla priniesť pridanú hodnotu, prípadne ponúknuť originálne riešenia alebo vylepšenia oproti existujúcim prístupom.

Progres za piaty týždeň:

 V piatom týždni som sa zameral na štúdium tutoriálov na YouTube, ktoré sa venovali použitiu techniky Retrieval-Augmented Generation (RAG) na vylepšenie výkonnosti lokálnych LLM. Tieto materiály mi poskytli užitočné poznatky o tom, ako možno efektívne kombinovať externé znalostné zdroje s generatívnymi modelmi. Následne som sa venoval čítaniu dokumentácie k odporúčaným a nájdeným knižniciam, ktoré implementujú alebo podporujú RAG, aby som lepšie porozumel ich možnostiam a zvážil ich potenciálne využitie v rámci diplomovej práce.

Progres za šiesty týždeň:

V šiestom týždni som sa venoval vývoju prvého prototypu založeného na technike Retrieval-Augmented Generation (RAG). Cieľom bolo prakticky overiť fungovanie tejto metódy v kontexte generovania testov a získať skúsenosti s jej implementáciou. Programovanie prototypu mi umožnilo hlbšie pochopiť jednotlivé komponenty RAG architektúry, ako aj identifikovať možné úskalia a oblasti, ktoré bude potrebné ďalej optimalizovať alebo rozšíriť. Rozhodol som sa primárne použiť knižnice Ollama a LangChain.

Progres za siedmy týždeň:

V siedmom týždni som sa zameral na štúdium technológie fine-tuningu veľkých jazykových modelov. Podobne ako v prípade RAG, som si pozrel viaceré YouTube tutoriály, ktoré sa venovali praktickému využitiu fine-tuningu, a zároveň som sa podrobne oboznámil s dokumentáciou k odporúčaným a použitým knižniciam a frameworkom. Cieľom bolo získať prehľad o možnostiach prispôsobenia modelov na konkrétne úlohy a pochopiť technické požiadavky a postupy potrebné na úspešnú realizáciu fine-tuningu v rámci mojej diplomovej práce. Rozhodol som sa primárne použiť package PyTorch a Unsloth, ktorý umožní fine-tuning na konzúmerských grafických kartách, nie len pomocou technológie QLoRA, ale aj viacerými inými optimalizáciami a odporúčanými nastaveniami.

Progres za ôsmi týždeň

V ôsmom týždni som vytvoril prvý prototyp programu, ktorý umožňuje používateľovi spustiť proces fine-tuningu pre lokálny LLM, alebo použiť už fine-tunovaný lokálnuy model na inferenciu. Tento nástroj predstavuje základný pilier praktickej časti diplomovej práce, keďže umožňuje experimentovanie s prispôsobením modelu na konkrétne dáta a následné generovanie výstupov na základe naučených vzorov.

Progres za deviaty týždeň

V deviatom týždni som sa venoval príprave prezentácie, v ktorej som zhrnul najdôležitejšie informácie ohľadom mojej diplomovej práci, ako napríklad doterajšie pokroky, použité technológie, frameworky a knižnice, plány do budúcna atď. Tiež som začal pripraviť a vypracovať LaTeX kostru diplomovej práci.

Progres za prvý týždeň:

  Výrazná časť semestra bola venovaná štúdiu prác o LLM-agentoch, autonómnych systémoch a možnostiach automatizovaného generovania testov. Preskúmal som frameworky ako LangChain , LangGraph a rôzne RAG architektúry.

Progres za druhý týždeň:

  Otestoval som viacero LLM backendov a nakoniec som zvolil Ollama pre lokálne inferencie a GraphRAG pre kontextové vyhľadávanie na úrovni projektu. Prebiehalo testovanie výkonu a kompatibility.

Progres za tretí týždeň:

  Navrhol som kompletnú 8-uzlovú pipeline v LangGraphe , definoval som úlohy jednotlivých uzlov a dátové toky medzi agentmi. Tento návrh predstavoval základ pre ďalšiu implementáciu.

Progres za štvrtý týždeň:

 Implementácia summarization_node – Vytvoril som komponent, ktorý spracováva zdrojové súbory postupne, extrahuje z nich štruktúry a funkcionality a generuje súhrnný opis projektu. Optimalizoval som prompt, aby analýza kódu bola presnejšia.

Progres za piaty týždeň:

 Implementácia grapher_node – Implementoval som uzol, ktorý inicializuje Microsoft GraphRAG a pripája ho k vygenerovanému súhrnnému súboru. Konfiguroval som GraphRAG pre lokálnu prevádzku cez Ollama.

Progres za šiesty týždeň:

 Implementácia stub_ideas_node – Implementoval som komponent, ktorý sa dotazuje GraphRAG na relevantné objekty + používa tradicionálny RAG a generuje štruktúrované návrhy testovacích scenárov. Definoval som formát pre generované testovacie stuby.

Progres za siedmy týždeň:

 Implementácia test_writer_node – Vytvoril som agenta, ktorý premieňa testovacie scenáre na skutočný testovací kód, primárne vo forme unit testov. Riešil som správnu štruktúru a konzistentnosť so zdrojovým kódom.

Progres za ôsmi týždeň

 Implementácia validator_node – Implementoval som validačný uzol, ktorý analyzuje vygenerované testy, hľadá chyby, chýbajúce importy, nekorektnú logiku a ďalšie problémy. Navrhol som slučku spätnej väzby pre iteratívnu úpravu.

Progres za deviaty týždeň

 Implementácia test_rewriter_node – Tento uzol sa spúšťa pri neúspešnej validácii. Prepíše testy na základe spätnej väzby z validačného uzla a odošle ich späť na opätovnú kontrolu. Výrazne to zvýšilo úspešnosť generovaných testov.

Progres za desiaty týždeň

 Implementácia test_saver_node a save_all_tests_node – Implementoval som moduly zodpovedné za ukladanie otestovaných a validovaných testov, resetovanie zdieľaného agentového stavu a zjednocovanie testov pomocou deterministického post-procesora.

Progres za jedeásty a dvanásty týždeň

 Venoval som dva týždne písaniu prvých strán diplomovej práce, najmä úvodu, výskumu, teoretického základu a popisu architektúry systému.