Det dukker støtt og stadig opp folk som klager over at Google stjeler ditt og Google stjeler datt og at Google bryr seg døyten om opphavsrett. Personlig har jeg aldri helt forstått hva det store problemet er.
Ser man veldig teoretisk på problemstillingen kan man forsvare Google med at de vanskelig kan bryte lover om copyright da de ennå har til gode å publisere innhold på sin side (annet enn hjelpesenter og diverse turtorials for Googles hjelpeverktøy). Alt innhold man finner i Google lenker deg til eksterne kilder. Google er trafikkdrivende, og ikke trafikkhindrende. Hvis man ikke ønsker besøkende til sitt nettsted, forstår jeg ikke helt hensikten med å ha et.
Så helt uten egenprodusert innhold, har altså Google klart å vokse seg til en av tidenes største suksesshistorier. Men i sin marsj mot det kommersielle internettets tronstol, møter de på en del kritikk. Herunder altså endel kritikk for at de stjeler innhold fra andre leverandører. Rupert Murdoch er bare en av mange som klager sin nød. Dette har jeg svært vanskelig for å si meg enig i.
Google har aldri lagt skjul på hvordan man kan fjerne sitt innhold fra Google om man ikke ønsker det indeksert. Bruk av robots.txt er antagelig den mest vanlige måten å blokkere innhold, og hva Rupert Murdoch anbefales i denne artikkelen fra NewsWeek. Jeg er ikke 100 % enig i at dette er den minst humpete veien til Rom. Som videoen nedenfor viser, vil en robots.txt fil hindre Google i å indeksere innholdet. Men får nettsiden mange nok innkommende lenker vil URL’en kunne bli indeksert likevel.
Løsning for de som vil gjemme seg for Google
Det beste vil altså ikke være å legge opp en robots.txt fil som denne:
User-agent: *
Disallow: /
Når søkemotorene kommer til et nettsted, og finner en slik, vil de ikke indeksere innholdet ditt. Men på grunn av problematikken rundt innkommende lenker, er ikke dette den beste løsningen i mine øyne. Har man mange nok innkommende lenker kan Google indeksere siden din basert på dette. Vel og merke uten å vite eller fremheve i søkeresultatet hva siden din inneholder. Det beste vil være å la Google (starte å) indeksere nettstedet ditt. Men la det første roboten ser være følgende kode (ved å legge den inn i <head> koden, sammen med dine andre meta kommandoer hvis du har noen):
NoFollow / NoIndex i Google
Med denne kodesnutten sier du til Google at du ikke ønsker nettstedet ditt indeksert, og de vil utelate den fra søkeresultatet, uavhengig av antall innkommende lenker man har. Her er det litt viktig at det ikke ligger en robots.txt fil og blokkerer tilgangen. For med en slik robots.txt fil vil ikke søkemotorrobotene finne denne noindex-beskjeden.
Med en robots.txt fil kan altså siden bli indeksert, basert på innkommende lenker. En slik visning i Google kan ofte sees ved at visningen ikke har noen meta beskrivelse – kun en tittel og en URL.
Tags: blokkere Google, nofollow, noindex, robots.txt, synlighet, webdesign
Finn kjørerute i
[...] Problematikken med at Google indekserer uten lov, har vært diskutert rimelig mye i det siste. Spesielt etter at Rupert Murdoch klaget sin nød. I den forbindelsen skisserte jeg noen metoder man kan bruke for å fjerne hele eller deler av nettstedet sitt fra Google (og andre søkemotorer). [...]