skip to Main Content

Kada se pomene reč budžet prvo što pada na pamet su neke finansije, planiranje i raspoređivanje troškova. E pa budžet može imati veze i sa vašim veb sajtom, zapravo crawl budget. Ipak, crawl budget ne definiše neku konkretnu finansijsku konstrukciju, već je više jedna figurativna definicija. 

 

Šta je crawl budget?

Crawl budget  je termin koji vam govori koliko stranica Google indeksira na vašem sajtu u datom vremenskom periodu. Google može da popiše i indeksira različiti broj stranica, a vaš „budžet“ je generalno određen veličinom vašeg sajta, „zdravljem“ vašeg sajta (koliko grešaka Google nailazi) i brojem linkova ka vašoj veb lokaciji.

 

Kako proveriti crawl budget?

Crawl budget određenog sajta se može proveriti prilično lako. Početni budžet koji Google daje svakom novom sajtu je 1000 stranica dnevno. I ovo je broj koji je sasvim zadovoljavajući za većinu manjih sajtova. 

snimak ekrana iz search konyole

Idite na Google Search Console i u opciji Settings odaberite Crawl Stats, gde ćete videti prosečan broj popisanih stranica po danu.

 

Crawl budget i SEO

Svakog dana Googlebotovi pretraže milione stranica i menjaju njihov rang, dodajući ih u indeks ili definišući različite kazne u rangiranju stranica. Verovatno najbolje instanca koja govori o tome šta je crawl budget je sam Google. Ono što vi treba da uradite je da ispravno uradite osnovne stvari koje Google zahteva za vaše stranice i sačekate da ih Google popiše i indeksira.

Postoji mnogo razloga zbog kojih bi Google popisao i indeksirao neku stranicu. Možda je pronašao nove linkove koje upućuju na stranicu sajta, ili je pomenuta na nekoj društvenoj mreži, ili je možda ažurirana XML Sitemap sajta… Ne postoji način da se napravi spisak svih razloga zašto bi Google indeksirao URL, ali kada utvrdi da mora, dodaje ga na listu obaveza.

Stranice sajta moraju da budu popisane kako bi bile prikazane u SERP-u, a neusklađenost između crawl budget -a i broja stranica na vašem sajtu znači da se stranice ne mogu prikazati u SERP-u. To znači da nećete moći da dobijete organski saobraćaj sa ovih stranica i, nažalost, nećete moći da se rangirate prema ključnim rečima koje ove stranice ciljaju. Dakle, ako vaš broj stranica premašuje crawl budget vašeg sajta, imaćete stranice na svom sajtu koje nisu indeksirane.

 

Kada crawl budget može postati problem?

Ako radite sa manjim veb sajtovima, crawl budget verovatno neće biti nešto o čemu morate da brinete. Prema Google-u, „Crawl budget nije nešto o čemu većina izdavača mora da brine. Ako sajt ima manje od nekoliko hiljada URL-ova, većinu vremena će biti popisan efikasno.

Međutim, ako radite na velikim veb lokacijama kao što su e-commerce šopovi, posebno onima koje automatski generišu stranice na osnovu parametara URL-a, možda ćete želeti da date prioritet aktivnostima koje pomažu Google-u da razume šta i kada treba da popiše.

Ukoliko uzaludno trošite crawl budget, pretraživači neće moći efikasno da popisuju vašu veb lokaciju. Oni će provoditi vreme na delovima vašeg sajta koji nisu bitni, što može dovesti do toga da važni delovi vašeg sajta ostanu neotkriveni. Ako ne znaju za stranice, neće ih popisati i indeksirati, a vi nećete moći da dovedete posetioce preko pretraživača do njih.

 

Koje URL-eve Google popisuje?

Ponekada je neophodno uveriti se koje stranice sajta Google posećuje, a koje ne. Jedini „pravi“ način da to saznate je gledanje server logs vašeg veb sajta. U zavisnosti od vašeg tipa hostinga, možda nećete uvek moći da preuzmete log fajlove. Međutim, ako mislite da treba da radite na optimizaciji crawl budget-a jer je vaš sajt velik, trebalo bi da ih nabavite.

 

Kako optimizovati crawl budget?

Optimizacija crawl budget-a može se odnositi na njegovo uvećanje (tj. navođenje Google-a da provede više vremena na vašoj veb lokaciji) kao i na navođenje Google-a da “mudrije” potroši vreme koje je već dodelio vašem veb sajtu.

Postoje brojni faktori koji mogu negativno uticati na trošenje budžeta, pa je stoga potrebno konstantno i redovno nadgledanje veb sajta i ispravljanje potencijalnih grešaka. 

Radite na brzini veb sajta, proveravajte sve redirekcije, robots.txt fajlove, duplicate content i canonical linkove, i kod velikih sajtova vodite računa da sprečite Google da budžet raspisa na stranice na koje to ne bi trebalo da radi. Rasipanje resursa servera na ovim tipovima stranica će iscrpiti aktivnost crawl budget-a sa stranica koje zaista imaju vrednost, što može da spreči ili odloži Google da otkrije vaš sjajan sadržaj.

 

Za još vesti i interesantnih priča iz digitalnog marketinga posetite našu blog stranu ili zapratite naš Instagram profil.

Made by Nebojša Radovanović – SEO Expert @Digitizer