Sve veći broj internet sajtova odlučuje da blokira pristup sadržaju za takozvane AI botove – automatizovane pretraživače koje koriste kompanije za veštačku inteligenciju da bi skidale tekstove i podatke sa interneta. Prema analizi firme BuiltWith, tokom 2025. broj sajtova koji su u svom robots.txt fajlu dodali bota GPTBot u "blokiraj" listu porastao je sa oko 3,3 miliona početkom jula na oko 5,6 miliona – što je skok od gotovo 70 odsto. Slično je i sa ostalim poznatim AI crawler-ima: ClaudeBot (i prateći Claude‑SearchBot) i AppleBot sada su blokirani na oko 5,8 miliona sajtova, dok je to ranije bila manja brojka. Zanimljivo je da čak i GoogleBot, robot namenjen indeksiranju sajtova za pretraživač, sve češće nailazi na odbijanje pristupa: prema BuiltWith-u, oko 18 miliona sajtova sada aktivno blokira i njega, što znači da ti sajtovi mogu ostati van rezultata pretrage. Prema ekspertima iz industrije, ovaj rast blokiranja pokazuje da sve više izdavača vidi AI botove ne kao korisne alate, već pre kao pretnju – bilo da je u pitanju zaštita autorskih prava, očuvanje originalnog sadržaja, ili sprečavanje preopterećenja servera. Ipak, problem je u tome što brojni AI crawler-i ignorišu pravila iz robots.txt fajlova, odnosno nastavljaju da resetuju sadržaj i po sajtovima koji su ih eksplicitno zabranili. To znači da, i pored dobre volje vlasnika sajtova, masovno prikupljanje informacija za potrebe treniranja veštačke inteligencije postaje sve veći izazov i nagoveštava da borba za kontrolu nad digitalnim sadržajem tek počinje.
10.12.2025.
19:55
Otvoreni internet polako se zatvara: Blokiraju čak i Google
Internet sajtovi sve više blokiraju sadržaj za AI botove.
Izvor: B92
Podeli:
Vrati se na vest
1 Ostavite komentar
B92 na društvenim mrežama
Najnovije
uživo Veliki skup liste "Ujedinjena Srbija" u Novom Sadu; Kolone traktora u gradu, pripreme u toku VIDEO
U Novom Sadu se danas održava veliki skup liste "Aleksandar Vučić – Ujedinjena Srbija" na kojem će govoriti i nosilac te liste Aleksandar Vučić.
14:50
16.10.2026.
42 min
Otvoren novi pogon Trajal korporacije za proizvodnju amonijum-perhlorata
Ministarstvo odbrane i Trajal korporacija potpisali su ugovor o saradnji Ministarstva odbrane i kompanije u oblasti proizvodnje sredstava maskirne zaštite.
15:31
16.10.2026.
1 min
"Prilično sam star": Ben Aflek šokirao izjavom o seksu
Čini se da se Aflek trenutno dobro snalazi u samačkom životu i nedavno je jasno stavio do znanja da aktivno ne traži novu partnerku.
15:30
16.10.2026.
1 min
Van Gal krivi Siti za otkazu u Junajtedu: "Da smo imali ravnopravne uslove..."
Legendarni Holanđanin dobio je otkaz u Junajtedu u maju 2016. godine, uprkos tome što je u poslednjoj sezoni osvojio FA kup.
15:30
16.10.2026.
1 min
Beogradska premijere filma "Ruka pravde": Herojstvo Blagoja Jovovića na bioskopskom platnu VIDEO
Priča o čoveku koji se, suočen sa velikim istorijskim događajima i ličnim osećajem za pravdu, odlučuje na potez koji će zauvek promeniti njegov život.
15:24
16.10.2026.
6 min