fbpx

Google želi da ustanovi novi standard za korišćenje robots.txt fajlova

Google je predložio uvođenje novog Internet standarda kada su u pitanju pravila vezana za  robots.txt fajlove. 

 

Ova pravila, uneta u Robots Exclusion Protocol (REP), predstavljaju nezvanični standard proteklih 25 godina.

 

Iako je REP usvojen od strane pretraživača, to još uvek nije službeno, što znači da je otvoreno za interpretaciju od strane programera. Dalje, on nikada nije ažuriran kako bi obuhvatio današnje slučajeve upotrebe.

 

Kako kažu u Google-u , ovo stvara izazov za vlasnike web stranica jer je protokol dvosmisleno napisan, te je otežavao ispravno pisanje pravila.

 

Da bi eliminisao ovaj izazov, Google je dokumentovao kako se REP koristi na modernom web-u i dostavio ga na razmatranje internetskoj inženjerskoj operativnoj grupi (IETF).

 

Google objašnjava šta je uključeno u nacrt:

 

“Predloženi nacrt REP-a odražava preko 20 godina iskustva u stvarnom svetu oslanjanja na pravila robots.txt, koja se koriste i od strane Googlebot-a i drugih velikih pretraživača, kao i oko pola milijarde sajtova koji se oslanjaju na REP. Ove modifikovane kontrole daju izdavaču mogućnost da odluči šta bi želeo da bude indeksirano na njegovom sajtu i potencijalno prikazano zainteresovanim korisnicima. “

 

Nacrt ne menja nijedno od pravila uspostavljenih 1994. godine, samo je ažurirano za moderni web.

Neka od ažuriranih pravila uključuju:

 

  • Bilo koji URI protokol prenosa može da koristi robots.txt. Više nije ograničen na HTTP. Može se koristiti i za FTP ili CoAP.
  • Programeri moraju da parsiraju najmanje prvih 500 kibibajta datoteke txt.
  • Novo maksimalno vreme keširanja je 24 sata ili kontrolisano keširanja podataka ako je dostupno, što vlasnicima web stranica daje fleksibilnost da ažuriraju svoj txt kad god žele.
  • Kada txt datoteka postane nedostupna zbog grešaka servera, poznate nedozvoljene stranice se ne indeksiraju u razumno dugom vremenskom periodu.

 

Google je potpuno otvoren za povratne informacije o predloženom nacrtu i kaže da je posvećen tome da ga uradi na pravi način.

 

Tekst preuzet sa: www.searchenginejournal.com

Autor: Matt Southern

INSTAGRAM FOR BUSINESS 5

Made by Nebojša Radovanović – SEO Expert @Digitizer