Direktori vjeruju AI izvještajima bez provjere, i već im se to obija o glavu

Zamislite upravu koja čita godišnje izvješće, kima glavom na brojke i zaključke, i nitko u sobi ne zna da je dio teksta napisala umjetna inteligencija, a nijedan broj u njemu nije stvarno provjeren. Prema novom istraživanju američke tvrtke Workiva, to nije hipotetska situacija nego svakodnevica u četvrtini velikih financijskih odjela.

Workiva je sredinom kolovoza objavila rezultate svog polugodišnjeg istraživanja pod nazivom "The Verification Gap", provedenog s istraživačkom kućom Ascend2. Anketirali su više od 2.270 stručnjaka za financije, rizik, održivost i pravne poslove, od čega 847 na razini uprave, u Sjevernoj Americi, Latinskoj Americi, Europi i Aziji, te dodatnih 367 institucionalnih ulagača. Uzorak je dovoljno velik, a metodologija dovoljno transparentna, da se rezultatima može pristupiti kao ozbiljnom istraživanju, ne kao marketinškoj anegdoti.

Podaci su neugodni. Čak 84 posto direktora izjavilo je da su barem donekle uvjereni u točnost AI generiranog sadržaja, primjerice dijela godišnjeg izvješća, i to bez ljudske provjere prije objave. Istovremeno, samo 11 posto smatra da je kvaliteta podataka u njihovoj tvrtki dovoljno dobra da bi se AI uopće smio koristiti bez dodatnog nadzora. Najgori dio dolazi na kraju. 26 posto, dakle svaki četvrti ispitanik, priznaje da je interna revizija već uhvatila AI grešku koja je prije toga stigla do uprave ili vanjske publike, ulagača, regulatora, javnosti. Greška je, drugim riječima, već izašla iz tvrtke prije nego što ju je itko primijetio.

Ovdje treba jasno razdvojiti što je potvrđena činjenica, a što je Workivina prodajna poruka. Da je 26 posto direktora prijavilo prošle AI greške u vanjskim materijalima, čvrsta je brojka iz anketnog istraživanja, potvrđena i prenesena kroz više neovisnih medija, od Accounting Todaya do Thomson Reutersa. Da je rješenje za taj problem baš Workivin softver za upravljanje podacima, kako tvrtka sugerira u vlastitom priopćenju, to je njihova prodajna teza, ne neovisno dokazana istina. Workiva prodaje alate za financijsko izvještavanje i revizijske tragove, pa im ide u prilog svaka statistika koja pokazuje da tvrtke same ne stignu provjeriti što im AI ubacuje u dokumente.

Zanimljiv je i drugi dio istraživanja. 96 posto anketiranih institucionalnih ulagača kaže da politika nadzora nad AI-jem utječe na njihove investicijske odluke, a 62 posto tu politiku smatra "vrlo važnom". Tržište kapitala, drugim riječima, počinje kažnjavati tvrtke koje puste AI da piše izvještaje bez ljudske provjere, neovisno o tome hoće li im to itko formalno zamjeriti.

Za svakoga tko u svom poslu koristi AI za pisanje ponuda, ugovora, izvještaja ili mailova, poanta nije apstraktna. Uzmi bilo koji odgovor koji ti je AI dao o tvom vlastitom dokumentu, recimo sažetak ponude ili tvrdnju da ugovor sadrži određenu klauzulu, i zatraži od njega doslovan citat iz izvornika na kojem tu tvrdnju temelji. Onda taj citat potraži u dokumentu pomoću Ctrl+F. Ako citat stoji točno tamo gdje AI kaže, dobro je. Ako ga AI ne može ponuditi ili ga izmisli, upravo si uhvatio grešku prije nego što je stigla do tvog šefa, klijenta ili investitora.

Ako AI ne može pokazati prstom na točnu rečenicu u tvom dokumentu, onda ti ne govori što piše u dokumentu, nego što misli da bi trebalo pisati.

Cijela knjiga o ovoj metodi provjere, besplatno, stoji na savladaj.ai/knjiga