Jedan unos u robots.txt uskoro isključuje AI trening kod sve četiri velike tvrtke

Imate web stranicu ili blog i već ste pokušali zabraniti AI tvrtkama da treniraju modele na vašem sadržaju. Ako jeste, znate kako to izgleda, posebno pravilo za OpenAI-jev GPTBot, posebno za Google-Extended, posebno za svakog novog igrača koji se pojavi. Krajem listopada četiri najveće AI tvrtke najavile su da bi to uskoro moglo stati u jedan jedini unos.

Google, OpenAI, Microsoft i Anthropic oko 30. i 31. listopada javno su podržali zajednički, strojno čitljiv signal unutar robots.txt datoteke kojim vlasnik stranice može odjednom isključiti svoj sadržaj iz treniranja AI modela kod sve četiri tvrtke, umjesto da posebno podešava pravila za svaku. Prijedlog je formuliran kao nacrt unutar IETF-ove radne skupine AIPREF, a autor nacrta je Kevin Kelley, voditelj standarda u Anthropicu.

Važno je odmah reći što ovo nije. Signal je dobrovoljan, nijedna od četiri tvrtke nije pravno obavezana ga poštovati, a ne postoji regulator koji bi to provjeravao. Rokovi primjene razlikuju se i po tvrtki, Anthropic tvrdi da ga je već počeo primjenjivati, Microsoft planira krenuti 1. veljače 2027., Google cilja na početak 2027., a OpenAI je samo obećao da će ga primijeniti u sljedećim mjesecima, bez konkretnog datuma. Postojeći alati, poput pravila za GPTBot ili Google-Extended, i dalje vrijede, ovaj signal im se dodaje, ne zamjenjuje ih.

Vijest je prenio niz neovisnih redakcija istog ili sljedećeg dana, uključujući TechRadar i How2Shout, što je dobar znak da je riječ o stvarnom pomaku, ne o jednoj izoliranoj najavi. Razlog zanimanja je jasan, vlasnici stranica i SEO stručnjaci godinama traže jednostavniji način kontrole nad AI botovima koji skupljaju sadržaj za treniranje, a dosadašnji sustav gdje svaka tvrtka ima vlastito pravilo i vlastitog bota teško je pratiti i lako je propustiti.

Ono što ostaje nejasno jednako je važno. Nijedna od četiri tvrtke nije u javno dostupnoj dokumentaciji za webmastere objavila točan tehnički oblik signala, a status nacrta znači da se detalji još mogu promijeniti prije nego postane nešto što danas možete kopirati u svoju datoteku. Smjer je jasan, implementacija još nije.

Ako vodite vlastitu stranicu, blog ili online trgovinu, za sada nemate što mijenjati u robots.txt datoteci, jer standard još nije gotov niti ga ijedna od četiri tvrtke primjenjuje u punom opsegu. Ono što možete učiniti jest zapamtiti ime AIPREF i provjeriti ga krajem godine ili početkom sljedeće, kada Anthropic i Google najave da je spreman za upotrebu, umjesto da ponovno ručno tražite posebno pravilo za svakog novog AI bota koji se pojavi.

Dosad je svaka AI tvrtka tražila da joj sami zatvorite vrata, uskoro će možda biti dovoljno zatvoriti ih jednom, svima odjednom.