Pred takmer dvomi rokmi som už podobný článok napísal. Nemal som v úmysle zopakovať si to, no vtedy identifikované symptómy sa v tomto roku nebývalo vyhrotili a donútili ma prehodnotiť moje vtedajšie náhľady.

Jednou z dôležitých častí zborníka Fantázia 2012 je tabuľka všetkých zúčastnených poviedok. Prezradí nielen to, kto je autorom ktorej poviedky (zoznam textov prijatých do súťaže bol anonymný), ale najmä, ako ich porotcovia ohodnotili. Každý z autorov sa tak dozvie, či sa jeho príbeh porotcom páčil, ktorým viac a ktorým menej, a na ktorej pozícii sa vlastne umiestnil.

No okrem toho je možný aj iný pohľad. Nezištný, chladný a ostrý sťa oceľ chirurgovho skalpela. Pohľad podivného tvora zvaného štatistický matematik. Niektorí fanúšikovia pokemonov tvrdia, že je to vyššie štádium pradávneho účtovníka, iní v ňom vidia zriedkavú odrodu kockáča matfyzáckeho. Ale na tom nezáleží. V tomto článku sa skúsim pozrieť na tohtoročné výsledky Ceny Fantázie jeho očami a sústredím sa na dva pozoruhodné javy.

Extrémne poviedky

Tento rok sa vyskytli poviedky, na ktoré mali jednotliví porotcovia diametrálne odlišné názory. Tu je prvých šesť poviedok s najrozdielnejšími hodnoteniami:

Jedinák Hlavačková Trubačová Kostelný Pullman
Miloš Ferko: Čistá tvár Mesiaca 8 0 0 2 7
Peter Šišovský: Cigareta 10 0 0 4 6
Lucia Lackovičová: Dobré je to 10 1 1 5 8
Ján Iša: Medzi regálmi 7 1 2 1 5
Martin Pitorák: Poradca moderného rodiča v mimoriadne zložitej dobe 1 7 0 3 1
Ružena Srnková: Monochromázia 5 7 9 9 1

Tri z týchto textov sa dostali do zborníka a dva dokonca získali ocenenia (ako som spomenul už v recenzii). Prečo si ich všímať? Lebo extrémy pomáhajú odhaliť pravdu, príčiny sa u nich prejavujú v čistejšej podobe. Čo nám teda naznačujú?

Berieme za samozrejmé, že porotcovia hodnotia subjektívne. No až pri pohľade na tieto výsledky je možné plne si uvedomiť a precítiť mieru ich subjektivity. Členovia poroty (aspoň tak sa to javí) sa neusilovali hľadieť na texty akýmsi objektívnym okom, zvážiť ich dobré a zlé stránky. Oni hodnotili len podľa svojej chuti. Ťažko sa totiž dá predstaviť si objektívne kritérium, ktoré by pri danom texte vyhodnotil jeden porotca maximálnou a druhý minimálnou bodovou sadzbou.

Výsledky tak aj vyzerajú. Desiatimi bodmi porotcovia ohodnotili 11 poviedok, do finále sa dostali dve z nich. Zvyšní traja finalisti nezískali 10 bodov od nikoho. Podstatné pre postup do finále bolo, aby text zachutil každému z porotcov, aby mu ani jeden člen poroty nedal nízky počet bodov.

Z týchto zistení sa dá vyvodiť všeobecné poučenie: Pri danom systéme hodnotenia je oveľa dôležitejšou osobnosť porotcu než kvalita poviedky. Poradie, v akom sa texty po prvom kole umiestnili, vypovedá viac o preferenciách porotcov než o kvalite poviedok. Odvážim sa preto tvrdiť, že pri iných porotcoch by sa do finále dostali iné poviedky.

A čo s tým robiť? V prvom rade som si vôbec nie istý, či je to vôbec chyba. Piati gurmáni vybrali do finále poviedky, ktoré im zachutili, a nie je to ich vina, že iným čitateľom by možno padli lepšie iné. Verím, že tí, čo na finálový výber hľadia kriticky, by mali rovnaký problém zhodnúť sa na poviedkach, ktoré by si do finále zaslúžili postúpiť viac.

Samozrejme, dali by sa nájsť štatistické metódy, ktoré by čiastočne potlačili extrémne hodnotenia. Napríklad použitie mediánu (teraz takého populárneho medzi ekonomickými samoukmi) namiesto priemeru bodov alebo kompromisné škrtanie minimálnych a maximálnych bodových prídelov. Nemyslím si, že to je dobrý nápad. Vyhadzovaním časti údajov by sme sa ochudobnili o informácie, ktoré porotcovia vytvorili a ktoré nemôžeme s čistým svedomím vyhlásiť za chybné.

Rovnako by bolo možné štruktúrovať hodnotenie objektivizovanými kritériami. Predpísať porotcom otázky (o myšlienkovej originálnosti, umeleckej kvalite, jazykovej úrovni…), ktoré majú bodovaním zodpovedať. Kedysi som si myslel, že by to stálo za úvahu. Dnes sa na to pozerám skepticky. Je ťažké stanoviť dobré kritériá, podľa ktorých by porotcovia známkovali, je pracnejšie udeliť každému textu n známok namiesto jednej a všetko to nakoniec spracovať a vyhodnotiť. A mám pochybnosti, či by výsledok za tú námahu stál.

Myslím si preto, že „chuťové“ hodnotenia treba akceptovať. Autori by si mali uvedomiť, že účasť v Cene Fantázie je do istej miery stávka do lotérie (aspoň čo sa týka postupu do finále). Dvojnásobne, ak sa text venuje špecifickému menšinovému žánru fantastiky alebo využíva osobitý štýl. Experimentálne diela prakticky nemajú šancu na postup, pretože vždy sa nájde porotca, ktorému nepadnú (historické záznamy umiestnení Miloša Ferka sú toho dôkazom). Autor takej poviedky môže súťaž využiť akurát ako betačítanie s odozvou v podobe číselného hodnotenia.

Tvorcovia však majú istý priestor na taktizovanie. Do poroty sú zvyčajne vyberaní ľudia známi v literárnych, fandomových alebo umeleckých kruhoch. Je dobré poznať ich umelecké preferencie predtým, než autori do súťaže pošlú svoje výtvory. Vtedy sa môžu rozhodnúť, či skúsia šťastie alebo si texty odložia na nasledujúci ročník súťaže. Možno sa ich krása a chuť posilní ako pri starom archívnom víne.

Skupáni a radodajky

Je tu však ešte jeden faktor, ktorý spôsobuje výkyvy vo výsledkoch. Už v minulom článku som spomínal, že body od rôznych porotcov majú odlišnú hodnotu. Záleží na tom, ako porotca so svojimi bodmi hospodáril. Ak ich rozdal málo, sú cennejšie ako u toho, kto ich rozdal veľa. Klasický prípad inflácie.

Porotca Súčet pridelených bodov
Michal Jedinák 789
Lívia Hlavačková 581
Lucia Anna Trubačová 944
Ľuboš Kostelný 1149
Ivan Pullman 788

Extrémne sa prejavili dvaja členovia poroty: Lívia Hlavačková a Luboš Kostelný. Bod od Lívie bol takmer dvakrát hodnotnejší než bod od Ľuboša. Ak napríklad dostala poviedka 7 bodov od Lívie, ocitla sa u nej na 14. mieste, ak získala rovnaké hodnotenie od Ľuboša, skončila uňho na 42. pozícii.
Z toho vyplýva, že body od porotcov sa nedajú priamo porovnávať. Nezáleží totiž ani tak na počte bodov, ale najmä na tom, koľko iných textov dostalo od daného porotcu bodov viac. Práve umiestnenie poviedky u porotcu je oveľa lepší údaj pre porovnávanie hodnotení.
Rovnako zaujímavé je rozloženie udelených bodov.Graf rozdelenia bodovania porotcov
Ľubošov graf (fialový) sa podobá Gaussovmu rozdeleniu s vrcholom v strede (zvýšenie pri nule reprezentuje poviedky, ktoré nesplnili podmienky súťaže). Líviin graf (červený) má klinový tvar s minimom v najvyšších hodnoteniach a maximom v nule (Lívia pridelila nulu 81 poviedkam, teda viac ako tretine všetkých).
No fajn, ale o čom to svedčí? O tom, že radodajnosť sa nevypláca (aspoň v porote Ceny Fantázie). Ľuboš tým, že štedro rozdával body, umožnil postúpiť do finále poviedkam, ktoré sa mu páčili menej, a znevýhodnil poviedky, ktoré sa mu páčili viac. Nasledujúca tabuľka ukazuje umiestnenie finálových poviedok u jednotlivých porotcov:

Jedinák Hlavačková Trubačová Kostelný Pullman
Ján Stopjak: Biela tma 4 25 18 78 1
Janka Javorka: CC 2.0 4 25 3 4 26
Marja Holecyová: Kalkulačka smrti 21 4 18 1 9
Katarína Pivarčiová: Slovenský Stalingrad 4 1 86 4 4
Martin Hatala: Prianie jazera 21 4 3 17 9
Súčet umiestnení 54 59 128 104 49

V poslednom riadku sú umiestnenia sčítané. Výsledné číslo vyjadruje vplyv porotcu na určenie finalistov, čím je menšie, tým viac sa finálové poviedky zhodujú s hodnotením porotcu. Kostelný (rovnako Trubačová) má takmer dvojnásobok oproti Hlavačkovej (a aj ďalším porotcom). To ale ešte nie je dôkaz predošlého tvrdenia. Vyššie čísla môžu byť spôsobené tým, že porotca má jednoducho iný vkus než ostatní a najviac sa mu páčili texty, ktoré u ostatných nemali šancu.

Vytvoril som preto simuláciu, ktorá umožňuje vypočítať, ako by sa prejavilo na celkových výsledkoch, keby vybraný porotca prideľoval body rôznymi spôsobmi. Simulácia zachováva poradie textov tak, ako ich porotca určil pridelením bodov, len im upraví počty bodov, aby vyhovovali požadovanému štýlu rozdelenia. Testoval som dva štýly: štedrý a lakomý.Graf simulovaných rozdelení bodovania porotcov
Zmena štýlu bola testovaná vždy len u jedného porotcu, ostatným bolo ponechané ich pôvodné bodové rozdelenie. Výsledky simulácií dávajú predstavu o približnom rozsahu, do akej miery by dokázal rôznymi štýlmi jeden konkrétny porotca ovplyvniť výber finálových poviedok. Naledujúca tabuľka obsahuje súčty umiestnení finálových poviedok pre každého porotcu, keby práve len tento porotca použil daný štýl. Keď sa čísla líšia od skutočných súčtov (uvedených v predošlej tabuľke), znamená to, že do finále by nepostúpili tie isté poviedky.

Štýl Jedinák Hlavačková Trubačová Kostelný Pullman
Lakomý 71 59 128 27 49
Štedrý 71 59 128 104 94

Čo teda tieto výsledky ukazujú?

  • Lakomý štýl dáva vždy lepší, prinajhoršom rovnaký výsledok ako štedrý štýl.
  • U niektorých porotcov by zmena štýlov neviedla k zmene finalistov (aj keď sa prejavila v ďalších poradiach).
  • Mišo Jedinák dokonca dosiahol v reále lepší výsledok než v oboch simulovaných prípadoch, teda bol ešte „lakomejší“ ako v simulovaných scenároch.
  • Najzaujímavejšie sú výsledky Ľuboša Kostelného. V „lakomom“ štýle by dosiahol oveľa lepšie skóre, než aké mal v skutočnosti, dokonca najlepšie zo všetkých porotcov. V tomto prípade by do finále dokázal posunúť dve nové poviedky (namiesto Bielej tmy a Priania jazera):
    Simon Crabak Daňová kontrola u magicky aktívnej osoby triedy E.
    Miroslav Repaský Vidiaca

    Nemienim špekulovať, či by tieto texty boli lepšie. Podstatné je, že je možné dosiahnuť zmenu.

Tento hypotetický výsledok je podľa mňa dostatočným dôkazom o tom, aký výrazný dopad môže mať štýl prideľovania bodov na zloženie finálovej pätice. Takisto potvrdzuje, že jednotliví porotcovia boli zásluhou spôsobu, akým sa rozhodli prideľovať body, zvýhodnení alebo hendikepovaní. Nechcem tým tvrdiť, že by použitie určitého štýlu bodovania bolo nefér, alebo dokonca, že by tým došlo k manipulácii výsledkov.

Minimálne by však v prípade, ak sa zachová súčasný systém bodovania, mali byť budúci porotcovia informovaní o tomto efekte a mali by prideľovať body s vedomím dôsledkov z toho vyplývajúcich.

Návrh alternatívneho hodnotiaceho systému

No je možné aj lepšie riešenie. Inšpirovať sa tým, ako pristupovala k bodovaniu Lívia Hlavačková. Podľa jej vlastných slov si usporiadala poviedky, ako sa jej páčili, tým najlepším dala 10 bodov, tým o trochu horším 9…

Čo sa tak vykašľať na hrubú škálu jedenástich bodových hodnôt a zostať pri usporiadaní textov. Každý porotca by zoradil texty do rebríčka a spojením rebríčkov všetkých porotcov by vzniklo výsledné poradie. Pre zjednodušenie by do rebríčka nemuseli dať všetky texty, stačila by minimálne polovica.

Tým, že by neprideľovali textom body, by sa úplne vyriešil problém rôznej ceny bodov. Zmizli by lakomci i radodajky. Dovolil som si spracovať hypotetickú tabuľku poviedok, ktoré by v hodnotení podľa poradia u jednotlivých porotcov skončili na prvých desiatich miestach.

Poradie Text Jedinák Hlavačková Trubačová Kostelný Pullman Pôvodné poradie
1 Marja Holecyová: Kalkulačka smrti 21 4 18 1 9 2
2 Martin Hatala: Prianie jazera 21 4 3 17 9 3
3 Janka Javorka: CC 2.0 4 25 3 4 26 3
4 Marek Kolcun: Pustatina 32 10 3 42 9 7
5 Lívia Černická: Lovec duší 32 4 18 17 26 7
6 Katarína Pivarčiová: Slovenský Stalingrad 4 1 86 4 4 1
7 Iveta Spišáková: Prekvapivé odhalenie 32 14 3 42 9 10
8 Simon Crabak: Daňová kontrola u magicky aktívnej osoby triedy E. 21 1 18 17 46 6
9 Juraj Búry: Hranica 32 37 37 4 9 16
10 Miroslav Repaský: Vidiaca 65 37 18 1 1 7

Takéto poradie lepšie zohľadňuje preferencie porotcov a redukuje odchýlky ich hodnotení spôsobené rôznymi štýlmi bodovania.
Zaujímavým efektom je aj väčšia zhoda tohto poradia s hlasovaním čitateľov v druhom kole. Kým korelácia pôvodného poradia s voľbou čitateľov je -0,1066 (teda poradie určené hlasovaním ide proti poradiu určenému porotou), korelácia hlasovania s týmto hypotetickým poradím je 0,2283. Táto vyššia hodnota signalizuje, že navrhovaný hodnotiaci systém by mohol viesť k vyššej spokojnosti fanúšikov fantastiky.

Cena Fantázie v posledných rokoch (a najmä v roku 2012) prerástla svoj formát. To je len dobre. Zdá sa však, že súčasný systém hodnotenia narazil na limity. Som presvedčený, že vyššie navrhnutá zmena by (aj keď jej význam nemienim preceňovať) prispela k skvalitneniu súťaže.

 Doplnenie: Pyramídový systém

V diskusii na FB mi Marek „draculin“ Slabej navrhol vyskúšať pyramídový systém používaný v Cene Karla Čapka. V ňom každý porotca prideľuje body nasledovne (každý štvorec je jeden hodnotený text):Pyramída prideľovania bodov
Porotca pridelí 15 bodov jednej poviedke, 14 bodov dvom, 13 trom… až napokon pätnástim poviedkam udelí po jednom bode. Spolu sa do pyramídy zmestí 120 textov, ostatné poviedky dostanú nulu. Celkovo takto porotca rozdelí 680 bodov – teda bude relatívne lakomý.

Pyramídový systém zabezpečuje rovnakú váhu bodovania jednotlivých porotcov. Tým odstraňuje nedostatok súčasného systému.

Vykonal som simuláciu takéhto spôsobu prideľovania bodov. Zaujímavým efektom bolo zvýhodnenie extrémnych poviedok – najextrémnejšia poviedka si polepšila o 65 miest oproti súčasnému stavu. Považujem to za trend dobrým smerom, keď systém hodnotenia toleruje „chuťový výpadok“ jedného z porotcov.

Z uvedených dôvodov sa mi pyramídový systém zdá ešte vhodnejší ako môj predošlý návrh. Samozrejme, výšku (a tým aj šírku) pyramídy by bolo vhodné prispôsobovať počtu textov v súťaži tak, aby sa pyramída zaplnila, ale aj, aby mimo pyramídy nezostala väčšina textov.

3 thoughts on “Analýza hodnotenia Ceny Fantázie 2012

  1. Toto všetko je zaujímavé a opäť sa mi potvrdzuje, že byť porotcom je drina. Klobúk dolu pred tými, čo zvládnu v obmedzenom čase prečítať stovky poviedok, pričom dosť veľká časť z nich zrejme bude, súdiac podľa textov vyvesených na blogoch, utrpením, a ešte im čo najobjektívnejšie prideliť body. Na druhej strane, body sú málo. Autor sa z nich prakticky nič nedozvie, pokiaľ ich nedostane toľko, že sa prebije do finále (alebo aspoň do finále pridruženej súťaže) a tam ho blogeri a návštevníci pekne rozpitvajú. Dalo by sa povedať, že súťaže slúžia na vytriedenie najlepších a následné zlepšovanie tých najlepších. Ale čo ak sú tí horší s troškou usmernenia tiež schopní stať sa najlepšími? Lenže kde to usmernenie získať? Pokiaľ viem, v súčasnej dobe nejestvuje NIJAKÁ možnosť, akou by autor ZARUČENE a ZDARMA získal vyjadrenie kompetentného človeka k svojej práci. Ak taká chvíľu aj bola, veľmi rýchlo ju zase zrušili. Preto môže vyvesovať, posielať, skúšať, ale bez trochy šťastia a ani po rokoch sa nedozvie ani mú ani bú. A v žánri sci-fi je to ešte zúfalejšie. Píšem sci-fi už takých 9-10 rokov a po celý ten čas som dostávala iba veľmi slabú spätnú väzbu. Najväčšiu k jednej poviedke, ktorú som na základe pripomienok poupravovala a poslala do CF. A teraz hľadím na nízke bodové hodnotenie od jedného z porotcov a lámem si hlavu, čo zase na nej bolo zle. To sa už nedozviem. Dozvedela som sa iba toľko, že ani spätná väzba veľmi nepomohla. Aspoň nie v tomto prípade.
    A čo s tým? Tiež netuším. Bolo by drzé žiadať od porotcov, ktorí prečítali poviedok až im hlava puká, osobitné vyjadrenie ku každej jednej, ale ak by si náhodou pamätali a z vlastnej iniciatívy chceli… lenže to je zase neférové, lebo si určite nebudú pamätať všetkých a ak ma niečo na vydavateľstvách neskutočne štve, tak je nerovnaký prístup k všetkým. Fakt neviem. Tento výlev teda ukončujem bez záveru. 🙂

  2. Ktorí sú to tí kompetentní ľudia? Tí piati porotcovia, ktorých poradie finálových poviedok obrátili hlasujúci čitatelia naopak? Asi ťažko. Nie kvôli nedostatku erudície, ale kvôli objemu práce. Nemôžeš dostať kvalitnú spätnú väzbu, keď si jedna z vyše dvesto textov, ktoré musia byť spracované za tri mesiace. A jedno nízke hodnotenie z piatich nič neznamená. V jednom prípade skrátka tvoj text nezachutil.
    Ak chceš dostať kompetentný názor, treba si nájsť človeka, ktorý má nielen schopnosti, ale aj čas sa textu venovať. A takí sú nedostatkový tovar. Najmä v tvojej pozícii – máš dlhé skúsenosti s písaním, vydali ti knihu – je ťažké získať sparingpartnera podobnej váhovej kategórie. To je tá osamelosť „víťazov“.

  3. Nad slovíčkom kompetentní som dlho uvažovala, kým som ho tam dala. Je nevýstižné, ale nič stručné a výstižné som nenašla. Ja si pod kompetentnými predstavujem redaktorov, spisovateľov, učiteľov tvorivého písania. Isteže nemajú patent na pravdu, ale predsa je vyššia šanca, že poradia dobre, ako keď radí neznámy anonym z blogu. Niežeby som neznámymi anonymami pohŕdala – ostatne, ani tých nebolo dosť…
    Pre istotu: Toto frflanie sa nevzťahuje na porotcov tohto ročníka súťaže, ide o povzdych nad literárnymi súťažami a hodnoteniami všeobecne.
    To, že jednému porotcovi text nezachutil, niečo znamená – ako som vyrozumela z Tvojho článku, prepadnutie čo i len u jediného z porotcov nedávalo šancu dostať sa do finále. A mňa veľmi žerie otázka prečo. Okej, pravdepodobne ide o subjektívne nesadnutie, ale možno v tom bolo niečo, nad čím by sa dalo zamyslieť. Napokon, ani nikto z ostatných porotcov mi nedal plný počet.
    Za „víťaza“ sa nepovažujem, ani za skúseného. Ako som písala, dlhé roky som bola prakticky samorast – nikto ma pri písaní neusmerňoval. Okej, vydali ma, ale začínam premýšľať, či to nebola len náhoda. Ani na román zatiaľ nevyšla žiadna recenzia. A myslím, že na nejaké hodnotenie stále nie je neskoro. Pretože pri tej jedinej knihe som nechcela zostať ani zďaleka.

Pridaj komentár

Táto webová stránka používa Akismet na redukciu spamu. Získajte viac informácií o tom, ako sú vaše údaje z komentárov spracovávané.