OpenAI v oficiálnej práci používa veľmi jednoduchú definíciu: halucinácia je situácia, keď jazykový model s istotou tvrdí niečo, čo nie je pravda.
Na rozdiel od ľudských halucinácií nejde o vidiny ani poruchu vnímania. Veľký jazykový model nevidí svet, ale štatisticky predpovedá text. Halucinácia je teda skôr matematická chyba v odhade, ktorá navonok vyzerá ako pekne napísaná, no nesprávna odpoveď. Nová výskumná práca od tímu z OpenAI a univerzity Georgia Tech ukazuje, že tieto chyby nie sú žiadna záhada. Tvrdí, že jazykové modely halucinujú preto, že sú od začiatku trénované a hodnotené tak, aby radšej hádali, než úprimne priznali, že nevedia odpoveď na otázku.
Čo presne sú halucinácie jazykových modelov?
Najjednoduchšie je predstaviť si halucináciu ako „pekne podaný nezmysel“. Model povie niečo, čo vyzerá ako fakt, ale v skutočnosti neexistuje, alebo nesedí s realitou. Môže ísť o vymyslený vedecký článok, neexistujúce zákonné ustanovenie, nesprávny dátum narodenia známej osoby alebo skomolený technický postup. V práci OpenAI autori uvádzajú aj konkrétny príklad z vlastnej skúsenosti. Keď sa pýtali na názov dizertačnej práce jedného z autorov, model sebavedomo ponúkol tri rôzne tituly, pričom ani jeden nebol správny.
Dôležité je všimnúť si dve veci. Po prvé, model pritom nepôsobí, akoby si nebol istý. Text býva plynulý, bez známky váhania, často doplnený o vymyslené citácie, čísla strán alebo mená časopisov. Po druhé, halucinácie sa neobjavujú len pri „ťažkých“ otázkach. Môžu sa objaviť aj pri zdanlivo jednoduchých faktoch. Je to preto, že model nemá vnútorný „pocit“ pravdy, ale iba štatistickú predstavu o tom, aké slovo alebo veta najlepšie zapadá do daného kontextu.
Prečo k halucináciám dochádza – analógia so študentom pri teste
Autori práce „Why Language Models Hallucinate“ používajú veľmi výstižnú analógiu so študentom na skúške. Predstavte si, že píšete test, v ktorom je niečo bodované lepšie, ako nič nenapísať. Ak si nie ste istí odpoveďou, máte dve možnosti. Buď necháte otázku prázdnu, alebo si skúsite tipnúť. Ak vás hodnotia tak, že prázdna odpoveď je vždy zlá a za správny tip dostanete body, väčšina ľudí začne hádať. Ak navyše nikto nesleduje, koľko otázok ste vynechali, ale všetci pozerajú iba na percento správnych odpovedí, ste ďalej motivovaní radšej napísať niečo než priznať, že to neviete.
Podľa tejto štúdie robíme s jazykovými modelmi presne to isté. Pri tréningu a testovaní ich učíme, aby mali čo najviac správnych odpovedí, a málo ich odmeňujeme za to, že občas povedia „nie som si istý“. Pri hodnotení modelov sa väčšina pozornosti sústreďuje na skóre presnosti, teda na to, koľko odpovedí je formálne správnych. Odpovede „neviem“ sú často buď ignorované, alebo rovno považované za chybu. Výsledok je, že model sa stáva „dobrým odhadcom“ a naučí sa hádať aj v situáciách, kde by bolo lepšie prejaviť neistotu.
Štúdia argumentuje, že halucinácie nie sú zvláštnou vlastnosťou neurónových sietí, ale prirodzeným dôsledkom základnej štatistickej úlohy. Model sa z pohľadu matematiky snaží rozlíšiť, čo je pravda a čo nie, podobne ako klasifikátor rozhoduje, či na obrázku vidí mačku alebo psa. Keď nedokáže niektoré prípady spoľahlivo rozlíšiť, robí chyby. Ak navyše vieme, že aj nesprávne tipy mu niekedy zlepšia skóre na teste, začne sa prikláňať k častejšiemu hádaniu.
Ako s tým súvisí tréning na textoch z internetu?
Jazykový model sa učí z obrovských množstiev textu. V týchto dátach je všetko možné: seriózne vedecké články, blogy, vtipy, chyby, konšpiračné teórie aj úplné nezmysly. Pre model je to všetko iba text. Nemá žiadnu vstavanú nálepku „toto je pravda“ a „toto nie“. Učí sa len to, že niektoré slová a vety sa pri sebe vyskytujú častejšie než iné.
Autori spomínanej práce ukazujú, že ak na vstupoch nedokážeme spoľahlivo odlíšiť fakty od nepravdivých tvrdení, vznikajú chyby prirodzene. Z pohľadu štatistiky ide o to, že model vidí príliš podobné „vzory“ pri pravdivých aj nepravdivých vetách, a tak niekedy zamení jedno za druhé. Ak ho potom ďalej trénujeme a testujeme spôsobom, ktorý odmeňuje skôr odvážne hádanie než opatrnosť, tieto chyby sa upevňujú.
Dôležité je uvedomiť si, že ani najväčší model nemá nekonečné množstvo informácií. Aj pri veľmi známych faktoch môže mať „dieru v pamäti“ alebo videl len odporujúce zdroje. V takom prípade by ideálny model povedal „neviem“ alebo by priznal neistotu. Lenže pri bežnom tréningu a hodnotení málo odmeňujeme takéto správanie. Výsledkom sú halucinácie, ktoré vyzerajú ako fakt, hoci sú v skutočnosti len „najlepší odhad“ na základe neúplných alebo pomiešaných informácií.
Dá sa halucináciám úplne vyhnúť?
OpenAI vo svojej práci hovorí otvorene: aj keď nové modely halucinujú podstatne menej než staršie, problém sa úplne nestratil. Halucinácie sú podľa nich stále jedna z najväčších výziev aj pri najmodernejších systémoch. Výskumná práca pridáva dôležitú myšlienku: ak model používame ako univerzálneho asistenta na všetko, bude vždy existovať časť otázok, pri ktorých jednoducho nemá dosť informácií, a teda bude robiť chyby.
Teoreticky by sme halucinácie mohli výrazne znížiť, ak by sme model učili byť oveľa opatrnejší. Napríklad, aby častejšie odmietal odpovedať, keď si nie je istý. To by však mohlo zhoršiť používateľskú skúsenosť. Predstavte si konverzáciu, v ktorej AI pri každom druhom dotaze odpovie: „Neviem.“ Výskumníci preto upozorňujú, že ide o rovnováhu medzi ochotou modelu odpovedať a jeho poctivosťou priznať neistotu.
Podľa štúdie je preto potrebná zmena v tom, ako modely hodnotíme. Kým budeme modely posudzovať iba podľa toho, ako často sa trafia, budú mať motiváciu hádať. Ak by sme testy a benchmarky upravili tak, aby odmeňovali aj „neviem“ v situáciách, kde model skutočne nemá informácie, vytvorili by sme prostredie, ktoré podporuje úprimnosť namiesto slepého sebavedomia.
Čo s tým robia výskumníci a tvorcovia modelov?
Oficiálny výskum od OpenAI navrhuje viacero smerov, ktoré sa dajú kombinovať. Prvým krokom je spresniť hodnotenie modelov. Autori zdôrazňujú, že by sme mali upraviť existujúce testy tak, aby prestali trestať úprimné „neviem“ a aby namiesto toho odmeňovali modely, ktoré dokážu rozlíšiť, kedy majú dostatok informácií a kedy nie.
Ďalšou časťou je tréning, ktorý explicitne učí model, že neistota nie je zlyhanie. To môže znamenať, že počas takzvaného dolaďovania (fine-tuningu) model dostáva pozitívnu spätnú väzbu nielen za správne odpovede, ale aj za situácie, v ktorých korektne odmietne odpovedať alebo upozorní na chýbajúce informácie. Výskumníci tiež experimentujú s tým, aby model mal lepší prístup k externým zdrojom, napríklad k vyhľadávaniu alebo databázam, aby nemusel vedieť všetko z hlavy, keď si nie je istý.
Napokon sa ukazuje, že dôležitú úlohu zohráva aj to, ako sa výsledný systém prezentuje používateľovi. OpenAI napríklad v oficiálnych materiáloch zdôrazňuje, že ChatGPT môže robiť chyby, že výstupy netreba považovať za odbornú radu a že dôležité informácie si treba overiť. To je dôležitý fakt, že aj samotní tvorcovia modelov berú halucinácie ako reálne obmedzenie, nie ako detail, ktorý netreba riešiť.
Ako môže halucinácie zmierniť bežný používateľ?
Výskumné články riešia hlavne tréning a hodnotenie modelov, no pre bežného človeka je najdôležitejšie, čo môže urobiť pri každodennom používaní. Z oficiálnych zistení sa dajú vyvodiť úplne jednoduché pravidlá, ktoré nevyžadujú žiadne technické znalosti.
V prvom rade je dobré si zmeniť pohľad. Jazykový model berte viac ako šikovného stážistu, než ako neomylnú encyklopédiu. Stážista vie veľa vecí vysvetliť, vie rýchlo písať texty a prináša dobré nápady, ale občas si niečo domyslí alebo zle pochopí zadanie. Rovnako tak AI: je veľmi užitočná, pokiaľ jej výstupy beriete ako návrh, nie ako konečné rozhodnutie.
Druhým praktickým návykom je sledovať, ako model pracuje s neistotou. Môžete ho priamo vyzvať, aby radšej priznal „neviem“, než aby si vymýšľal. Napríklad v otázke doplniť vetu: „ak si nie si istý, odpovedaj “neviem“. Nie je to vôbec dokonalá ochrana, pretože tréningové dáta a hodnotenie modelu sú stále také, aké sú, ale často to vedie k opatrnejším odpovediam.
Tretím a jedným z najdôležitejších návykov je žiadať o zdroje a používať ich napríklad pomocou funkcie prehľadávania webu. Ak AI tvrdí niečo dôležité, môžete požiadať o odkazy na oficiálne dokumenty, napríklad zákony, smernice, vedecké články alebo štatistiky. Následne treba priamo tieto zdroje skontrolovať, či naozaj hovoria to, čo model tvrdí.
Nakoniec platí jednoduché pravidlo: čím závažnejšie rozhodnutie, tým menej by ste sa mali spoliehať na odpoveď od AI. Pri bežných kreatívnych úlohách alebo pri učení sa nových pojmov nie je riziko veľké. Pri zdraví, práve alebo financiách už áno. V týchto oblastiach by mal byť výstup modelu vždy iba prvým krokom, po ktorom nasleduje overenie v oficiálnych zdrojoch alebo konzultácia s odborníkom.
Zhrnutie: halucinácie sú dôsledkom toho, ako sa modely učia
Halucinácie jazykových modelov nie sú zlyhaním v tom zmysle, že by sa model rozhodol vedome „klamať“. Ide o prirodzený dôsledok toho, ako sú dnes modely trénované a hodnotené. Učia sa hádať ďalšie slovo tak, aby čo najčastejšie trafili, a testujeme ich spôsobom, ktorý odmeňuje skôr odvážne tipovanie než poctivé priznanie neistoty. Výskumná práca „Why Language Models Hallucinate“ od OpenAI ukazuje, že ak chceme mať spoľahlivejšie modely, musíme zmeniť aj tento základný „školský systém“, v ktorom ich učíme.
Kým sa to stane, máme stále veľa v rukách my, ako používatelia. Ak budeme AI používať ako silný, no omylný nástroj, budeme od nej žiadať zdroje, necháme ju priznať neistotu a dôležité veci si vždy overíme, vieme z nej dostať veľa dobrého a zároveň sa nenechať oklamať halucináciami, ktoré k dnešným modelom zatiaľ neodmysliteľne patria.
