AI menadžer otpustio čovjeka, pa se ispostavilo da isti sustav zna izmišljati stvari

U jednom dućanu u San Franciscu umjetna inteligencija je otpustila čovjeka. Ne kao najava budućnosti, nego doslovno: mjesecima je pratila raspored smjena, utvrdila da je zaposlenik kasnio na 17 od 23 smjene i preporučila da se s njim "razidu putevi". Ljudi u tvrtki su tu preporuku pregledali i proveli. Dogodilo se ovaj tjedan, a zanimljivo nije samo sam otkaz, nego ono što mu je prethodilo.

Dućan se zove Andon Market, nalazi se u sanfranciškoj četvrti Cow Hollow, a njime upravlja AI agent po imenu Luna, izgrađen na Anthropicovom modelu Claude Sonnet 4.6. Iza eksperimenta stoji startup Andon Labs, koji je Luni dao 100.000 dolara proračuna i korporativnu karticu te joj prepustio zapošljavanje ljudi, pregovore s dobavljačima i svakodnevno vođenje posla. Zaposlenici obavljaju fizičke poslove, Luna donosi odluke.

Otkaz nije bio jednostavan slučaj "AI vidi problem, AI reagira odmah". Luna je pravilo o kažnjavanju kašnjenja postavila mjesecima ranije, upozorila zaposlenika i organizirala mu dodatnu obuku, ali je, prema navodima Andon Labsa, potom izgubila trag vlastitog pravila, pa su kašnjenja neko vrijeme prolazila bez posljedica. Tek kad su je ljudi iz Andon Labsa izričito zamolili da pretraži vlastitu memoriju i procijeni odgovara li zaposlenik i dalje poziciji, Luna je preporučila otkaz. Suosnivač Lukas Petersson izjavio je za Business Insider da ljudski menadžer "vjerojatno ne bi čekao ovoliko dugo" i da intervencija u ovom slučaju nije bila potrebna jer je otkaz bio opravdan. Kolega iz trgovine, voditelj Felix Johnson, rekao je da otkaz nije bio nezaslužen.

Ono što ovu priču čini bitnom za svakoga tko koristi AI na poslu nije sama odluka o otkazu, nego dokaz da ista Luna zna sasvim samouvjereno tvrditi nešto što nije istina. Kad je novinarka NBC-ja telefonom nazvala dućan, Luna je rekla da je naručila čaj od određenog dobavljača. Andon Market ne prodaje čaj. Nekoliko minuta kasnije Luna je poslala mail: "Ne prodajemo čaj. Ne znam zašto sam to rekla." Isti sustav koji je na kraju ispravno primijenio pravilo o kašnjenju, u drugom je trenutku bez oklijevanja izmislio poslovni dogovor koji ne postoji.

To je bit problema. AI zna biti točan u devet od deset situacija i potpuno pouzdano pogrešan u desetoj, a izvana obje tvrdnje zvuče jednako sigurno.

Kad ti AI alat, bilo da vodi raspored, sastavlja izvještaj ili odgovara klijentu u tvoje ime, kaže da se poziva na neko pravilo, dogovor ili raniji zapis, zatraži da ti doslovno citira taj redak, otvori vlastiti dokument i provjeri postoji li citat točno na mjestu na koje se poziva. Traje kraće od minute, a upravo je ta minuta razlika između Lunine ispravne odluke o otkazu i njezine izmišljene narudžbe čaja.

Ako je AI već dovoljno pouzdan da nekome oduzme posao, dovoljno je važan da mu provjerite svaku tvrdnju prije nego postane vaša odluka.

Cijela metoda ove provjere, besplatno i u cijelosti, stoji na savladaj.ai/knjiga