Model distribúcie interpunkčných znamienok v rôznych textoch

Denník / progres práce

• Hotovo
  Štúdium literatúry o štatistickom správaní interpunkčných znamienok a slov.
• Hotovo
  Príprava skriptov na filtrovanie metadát Project Gutenberg (výber časového obdobia a jazykov – nemčina, angličtina, holandčina).
• Hotovo
  Implementácia automatizovaného sťahovania textov, prvé verzie čistenia dát, odstraňovanie hlavičiek a technických častí.
• Hotovo
  Prvé analýzy distribúcie interpunkčných znamienok v jednotlivých knihách, výpočet základných frekvencií a normalizácia.
• Hotovo
  Návrh modelu slovnej (resp. interpunkčnej) siete, definovanie vrcholov, hrán a spôsobu konštrukcie grafu z textu.
• Hotovo
  Implementácia generovania sietí a markovských modelov z textov, príprava dátových štruktúr na ďalší výskum.
• Hotovo
  Experimenty s Jensen–Shannonovou divergenciou a vzdialenosťami medzi jazykmi; porovnania nemeckých, anglických a holandských textov.
• Hotovo
  Príprava grafov, tabuliek a štatistík pre jednotlivé jazyky; overovanie konzistencie výsledkov naprieč knihami.
• Hotovo
  Písanie kapitoly o metodike práce (výber datasetu, spracovanie textov, definícia modelu siete, použité metriky).
• Hotovo
  Rozpis kapitoly „Výskum“ – opis experimentálneho nastavenia, definícia jazykových klastrov, príprava textov k výsledkom.
• Hotovo
  Príprava podkladov k prezentácii (predobhajoba), aktualizácia zoznamu literatúry, doplnenie odkazu na Dynamika sietí.
• Hotovo
  Úprava webovej stránky: doplnenie denníka/progresu, prelinkovanie na všetky dôležité materiály (repozitár, PDF práce, literatúra).
• Takmer hotovo
  Rank–frequency model (Zipf / Zipf–Mandelbrot)

  • Cieľ: Ukázať, že interpunkcia sa správa „ako tokeny“.
  • Pipeline:
    • tokenizácia okien na slová + interpunkciu,
    • rank–frequency krivky: len slová a slová + interpunkcia,
    • fit Zipf/Zipf–Mandelbrot + porovnanie parametrov.
  • Výstupy: rankfreq_words.csv, rankfreq_words_plus_punct.csv, parametre fitu + log–log grafy.
  • Kapitola: Rank–frequency a modely, metóda fitovania a hodnotenie fitu, porovnanie jazykov.
• Plánované
  Word-adjacency sieť (slová + interpunkcia)

  • Cieľ: sieťová analýza (tokeny ako uzly, susednosti ako hrany).
  • Pipeline:
    • z tokenov → vážený edge list,
    • výpočet sieťových metrík,
    • prepojenie frekvencie s degree (frekvencia vs degree).
  • Výstupy: edges_<lang>.csv (alebo graph formát), network_metrics_per_book.csv + agregácia per jazyk, grafy degree distribúcií.
  • Kapitola: definícia siete, výsledky metrík a rozdiely medzi jazykmi, diskusia o úlohe interpunkcie v sieti.
• Plánované
  Model rastu sietí (Barabási–Albert) ako baseline

  • Cieľ: porovnať reálne siete s jednoduchým generatívnym modelom.
  • Pipeline:
    • pre každý jazyk (alebo reprezentatívne knihy) vygenerovať BA sieť so zhodným počtom uzlov n,
    • porovnať degree distribúciu, clustering a path length.
  • Výstupy: tabuľka porovnaní real vs BA, grafy degree distribúcií.
  • Kapitola: prečo BA (baseline), čo sedí/nesedí a čo to znamená pre interpretáciu textových sietí.