Derfor bliver AI ved med at finde på ting, der ikke passer

Du har nok selv oplevet det. Nogle gange giver én af de store AI-modeller dig svar, der umiddelbart virker korrekte. Svaret, som fremstår helt tillidsvækkende, viser sig at være fuldstændig opdigtet. Et eksempel er en rapport fra Tromsø kommune i Norge, hvor ChatGPT blev bedt om at finde faglige kilder til viden om skolelukninger. Sprogmodellen opfandt en hel række kilder ifølge Norges public service-udbyder af radio og tv, NRK. Det er et grundlæggende problem i sprogmodeller, og 'hallucinationerne' fortsætter med at være et problem selv i de mest avancerede modeller, ifølge en artikel skrevet af flere forskere fra OpenAI, som står bag den mest kendte sprogmodel, ChatGPT. Artiklen ligger på preprint-arkivet Arxiv, men den er ikke fagfællebedømt i et tidsskrift. Alligevel har artiklen skabt debat i forskningsmiljøet om, hvordan usikkerhed i sprogmodeller kan håndteres, siger Erik Velldal, som er professor ved Institut for Informatik ved Universitetet i Oslo. En anden forsker mener, at OpenAI's løsning fuldstændig vil ødelægge vores forhold til disse AI-modeller. Mere om det senere. Men hvordan opstår disse hallucinationer egentlig? Og hvad skal modellerne gøre, når de ikke har et godt svar på et spørgsmål? Såkaldte hallucinationer er en helt almindelig del af, hvordan sprogmodellerne fungerer, siger Erik Velldal. "Modellerne er sandsynlighedsfordelinger over sekvenser af ord og ikke databaser over fakta om verden. Det betyder, at sætningerne, der kommer ud af for eksempel ChatGPT, er et resultat af en masse sandsynlighedsberegninger. "Når du får et svar, er det sammensat af de mest sandsynlige ord, som følger de mest sandsynlige ord - og så videre. Og så kan det nogle gange gå galt," advarer Erik Velldal, som uddyber: "Det kan gå galt, især når det handler om emner, der kun i begrænset omfang er repræsenteret i deres træningsdata. " Så begynder modellerne at finde svar, der virker sandsynlige, men som ikke er korrekte. For eksempel fiktive studier. "Den kan finde på noget, der lyder sandsynligt. Så opdigter den både titler og referencer, som virker ægte. Måske bruger den endda navne på rigtige forskere som forfattere." I artiklen skriver forskerne, at træningen af modellerne belønner gætteri, men ikke usikkerhed. Når AI-modellerne bliver trænet, bruges forskellige typer tests til at vurdere, hvor gode de er. Det kan også være multiple choice-tests, hvor modellerne får klart definerede svarmuligheder, de skal vælge imellem. Det kan sammenlignes med mennesker, der tager multiple choice-tests, skriver forskerne i artiklen. Det er bedre at gætte, for så er der i det mindste en chance for, at man gætter rigtigt. "Problemet er, at modellen ikke belønnes for at erkende, at der er noget, den ikke ved og derfor bare gætter," siger Erik Velldal. "Forskerne argumenterer for at indføre et 'jeg ved det ikke'-alternativ. Så kan modellerne trænes til at indrømme usikkerhed i stedet for at finde på noget." Erik Velldal tror, det kan føre til færre hallucinationer, hvis det bliver en større del af selve evalueringen under træningen. Han understreger, at det kun er én måde at træne modellerne på, og at det måske ikke altid kan overføres til længere tekster, som modellen skriver. "Folk beder modellerne om at opsummere viden inden for et eller andet område, og for eksempel skrive et essay om et bestemt emne. Så er det langt mere vanskeligt at se, hvordan man konkret kan overføre det forslag, de kommer med her," mener Erik Velldal. Modellerne kæmper altså stadig med hallucinationer. Et helt aktuelt eksempel kommer fra NRK, som lod sprogmodeller svare på spørgsmål om nyheder på deres og andre public service-mediers hjemmesider. Resultatet var betydelige fejl i 45 procent af svarene blandt andet opdigtede nyhedsartikler med fiktive links ifølge NRK. Erik Velldal mener dog, at det er blevet bedre det seneste år. "Det skyldes især, at man i højere grad bruger sprogmodeller i kombination med internetsøgning og eksterne værktøjer. Det giver en bedre f...