Jeg har tidligere skrevet et blogginnlegg om hvordan man enkelt kan sørge for at hele eller deler av nettstedet ikke kommer med i Google sitt søkeresultat, være seg det normale søkeresultatet eller Google News. Nå har Google gjort det enda enklere for deg å dra fra festen uten følge.

Problematikken med at Google indekserer uten lov, har vært diskutert rimelig mye i det siste. Spesielt etter at Rupert Murdoch klaget sin nød. I den forbindelsen skisserte jeg noen metoder man kan bruke for å fjerne hele eller deler av nettstedet sitt fra Google (og andre søkemotorer).

Nå har Google gjort det enda enklere for deg. De lanserte i går en egen søkerobot for Google News. Dermed kan du fritt velge mellom alle mulige kombinasjoner:

• Fjerne nettstedet ditt fra Google søk og Google News
• Fjerne nettstedet ditt fra Google søk men ikke fra Google News
• Fjerne nettstedet ditt fra Google News men ikke fra Google søk

Med en egen søkerobot for Google News blir det straks mye enklere å ekskludere innhold ved hjelp av robots.txt. Alle kombinasjoner er skissert i Googles egen blogg for nettredaktører.

Hvorfor vil man så ønske varianter av dette? Vel, det har seg slik at fryktelig mange fortsatt søker VG i Google for å komme til VG sine nettsider. Derfor, om VG hadde ønsket at Google ikke skulle indeksere artikler fortløpende, kunne det vært nyttig for VG å fjernet seg fra Google News, men latt Google fortsette å indeksere for vanlig søk.

Tags: robots.txt, sidestruktur, synlighet, universalsøket

Dette innlegget var postet den torsdag, 03/12/2009 klokken 15:22 og er arkivert under Google, Søkemotorer. Du kan følge kommentarer til dette innlegget gjennom RSS 2.0 feeden. Du kan legge igjen en kommentar, eller trackback fra din egen side.