Hvor hyppig indekserer Google nettstedet mitt?
Dette er et spørsmål Google har virket ganske nølende med å svare på. Det kan argumenteres for at dette er en bedriftshemmelighet de ikke ønsker at skal være allmenn kjent i knivingen med konkurrentene sine. Det offisielle svaret jeg har klart å finne er at sider indekseres «jevnlig«. Vi har imidlertid installert en artig liten hack i vår egen Google Analytics-konto som gir et noe klarere innblikk i nettopp indekseringsfrekvens for Google og andre søkemotorer.
Sporing av web crawlere i Analytics krever litt teknisk tilpassing, og resultatet av dette er at du får en profil som kun viser hvor mye trafikk du har fått fra ulike web crawlere. Skjermbildet under er for vårt nettsted (metronet.no) og inkluderer tall for hele desember måned.
Litt kjapp hoderegning forteller oss altså at Google er innom nettstedet vårt ca. hvert kvarter, ifølge disse tallene. Det skal sies at man ikke kan stole 100% på at dette tallet stemmer, men det er også svært interessant å på forholdstallene mellom de ulike søkemotorene, som vi derimot kan anta at er mer korrekte. Ifølge denne profilen, indekserer Google et vanlig norsk nettsted ca 50% oftere enn Yahoo, og dobbelt så ofte som Bing. Dette i seg selv forklarer fortsatt ikke en forsinkelse på 1,5 måneder for indeksering i Bing, men det er ihvertfall en liten indikasjon på hvor mye ressurser disse aktørene har til disposisjon.
Andre interessante observasjoner på denne listen er Baidu, den kinesiske søkemotoren som Google ikke helt har klart å hamle opp med i Kina ligger blant topp ti. Søkemotoren som skryter på seg en solid fjerdeplass i antall søk, Ask Jeeves, ligger milevis bak de andre søkemotorene, med 21 besøk i løpet av måneden. Jeg ser heller ingen nordiske aktører på listen, men grunnet diverse avtaleinngåelser gjemmer vel de fleste seg i henholdsvis Google, Bing og Yahoo sine tall.
Tja. Nå spørs det vel om Googlebot bryr seg om cookie fra Analytics. Skal derfor ikke se bort i fra at det er pageviews og ikke visits som blir registrert her.
Det er også mulig å gi et lite hint til Google hvor ofte man ønsker at Googlebot skal komme innom hver enkelt URL med changefreq i Sitemap.
Hei Espen. Tabellen viser hvor mange sider Googlebot har besøkt i den aktuelle perioden. Som du ser på bildet er det 1 sidevisning per besøk (Pages/Visit Site average: 1.00).
Ved hjelp av noen filtere og ekstra funskjonalitet lagt på serveren klarer Analytics å plukke opp besøk fra søkemotorenes roboter.
Alt er selfølgelig gjort på en egen profil.
Nettopp. Lies, damned lies and statistics. Å påstå da at Google indekserer sidene deres så hyppig som hvert kvarter blir da feil IMHO. Det er nok mer sannsynlig at den er innom daglig og indekserer 100 sider hver gang.
Når det gjelder Googlebot så er det en mye enklere måte å sjekke antall sider som blir indeksert. Den informasjonen er tilgjengelig i Google Webmaster Tools under Crawl Stats.
Har dere planer om å dele filtre/server-endringer dere har gjort for å få til dette?
Hei Espen, takk for kommentarer.
For å ta det første først, profilen det er snakk om er satt opp slik at all trafikk unntatt spidere, web crawlere, boter eller kall-det-hva-du-vil blir fjernet fra rapportene. Det er sant at disse ikke er med i default Analytics sporing, nettopp derfor syns jeg dette var bloggbart
Det er mulig du har et poeng med hyppigheten Google er innom og titter, men jeg opplever ofte at nye sider, blogginnlegg etc. blir indeksert i løpet av få minutter hos Google. Videre er besøkene fra Google fordelt jevnt utover dagen på en hvilken som helst dag, noe som beviser at Google er innom nettstedet ditt på mange forskjellige tidspunkt på en gitt dag. For eksempel 2. desember hadde vi 86 besøk av Google, fordelt gankse så jevnt utover alle det døgnets tider.
Hensikten med blogginnlegget derimot, var uansett å belyse forskjellen på indeksering mellom de største søkemotorene, noe jeg syns er ganske interessant lesing, og som jeg ikke har sett dekket i andre blogger tidligere på denne måten.
Teknikken vi har brukt er hentet herfra: http://philippeog.com/seo-analytics-how-to-track-search-engine-bots-with-google-analytics
Det skal sies at det ikke er meg personlig som har satt opp dette, så jeg kan ikke gå i for mye detalj på hva som faktisk skjer. Tallene ser forøvrig ut til å stemme ganske så bra med mine antakelser, så jeg velger å tro at teknikken er mer eller mindre vanntett.