Nema više krađe sadržaja sa interneta

Google, Anthropic, OpenAI i Microsoft obavezali su se da će poštovati novu direktivu u fajlu robots.txt, koja će izdavačima omogućiti da preciziraju svoje zahteve kada je reč o preuzimanju njihovog sadržaja (skrepingu) za obuku generativne veštačke inteligencije. Ove kompanije su odlučile da usvoje predlog koji se razmatra u organizaciji IETF (organizacija za otvorene standarde na internetu), a koji je napisao Kevin Keli, vodeći stručnjak za standarde u kompaniji Anthropic.

Kao što su OpenAI i Google objasnili u svojim saopštenjima, vlasnici veb-sajtova trenutno moraju da identifikuju pojedinačne "pauk" programe (crawlers) i da dodaju posebna pravila za svakog provajdera. Kelijev predlog će to promeniti tako što će naterati više kompanija koje se bave veštačkom inteligencijom da prepoznaju i poštuju jedan zajednički signal. Izdavači moraju da podese novog korisničkog agenta u fajlu robots.txt koji je namenjen isključivo za obuku veštačke inteligencije, a koji će izgledati ovako:

User-Agent: __usage_ai-training

Disallow: /

Allow: /press-kit/

To će blokirati krolere koji su namenjeni prvenstveno prikupljanju podataka za obuku veštačke inteligencije. Odeljak "Allow" daje vlasnicima sajtova mogućnost da dozvole preuzimanje sadržaja u svrhe obuke AI samo za određene delove stranice, kao što je na primer stranica sa medijskim paketom. Međutim, ovaj novi odeljak za korisničkog agenta ne sprečava u potpunosti pretraživanje niti sprečava da se sadržaj prikazuje na Google pretrazi. Na primer, Google će ovo tumačiti kao znak stop specifično za korisničkog agenta pod nazivom "Google-Extended", koji pretražuje veb-sajtove u potrazi za materijalima koji se koriste za obuku Gemini modela.

Još jedna stvar koju treba napomenuti jeste da ova direktiva ne može da poništi preuzimanja sadržaja koja su ove kompanije već obavile u prošlosti. Ukoliko su već ranije pretražili neku stranicu, oni taj sadržaj već poseduju. Ovim će se samo sprečiti njihovo buduće preuzimanje sajtova ili određenih stranica.

Anthropic je već počeo da podržava novu direktivu, dok je Microsoft izjavio da će početi da je podržava 1. februara 2027. godine. Iz kompanije Google su poručili da će je takođe podržati početkom 2027. godine, dok se OpenAI obavezao da će novi signal primeniti u narednim mesecima.