Synonymer: robots, robots.txt, sikring mod crawling, crawling, søgemaskiner, bruger agent
Robots.txt er en tekstfil som man oploader til roden af sit webhotels webmappe. Denne fil fortæller søgemaskiner og andre, at det enten er tilladt eller ikke tilladt at crawle forskellige områder på din hjemmeside. Hvis en søgemaskine gerne må crawle alle dele af din hjemmeside behøver man i grunden ikke skrive noget i filen, da det per automatik er sådan at man godt må, medmindre andet er skrevet.
mange kender ikke til robots.txt’s funktion
Mange tror fejlagtigt at robots.txt bruges til at sikre mod indeksering i søgemaskinerne. Dette er dog ikke tilfældet da robots.txt kun bruges til at sikre mod crawling, crawling er ikke det samme som indeksering. Selvom det er basal viden for SEO folk og SEO eksperter, er der alligevel en del som ikke har forstået endnu at man ikke kan/skal bruge robots.txt til sikring mod indeksering, selv en side som har respekt hos mange som fx html.dk skriver at robots.txt benyttes til det formål, og at en ting som robots metatagget er et alternativ hvis ikke man kan bruge robots.txt. Man kan sige det kort, Robots.txt skal kun bruges hvis alt andet ikke er muligt.
Test din SEO leverandør
Sig til din SEO leverandør, eller din kommende SEO mand/SEO ekspert at du har hørt at man med en robots.txt kan blokkere for indeksering på forskellige sider, er dette rigtigt?
Svare de så, ja det kan man godt, så ved du allerede der at det ikke er den person du skal samarbejde med, da der er tale om meget basal viden inden for SEO. Og du vil ikke have en SEO leverandør som ikke ved bare det basale om SEO.
Hvordan bruger man robots.txt
Det er faktisk meget nemt, til en start skal man fortælle hvem det drejer sig om, altså hvilken brugeragent man gerne vil fortælle ikke må crawle en bestemt side, en mappe eller filer på hjemmesiden. I de fleste tilfælde vil man faktisk fortælle at alle brugeragenter ikke må crawle.
Det gør man sådan:
User-agent: *
Når man så vil fortælle ovenstående brugeragenter at der er nogle sider eller filer du ikke vil have crawlet, skal du nedenunder \”User-agent: *\” skrive:
Disallow: /billeder.html
Hvilket betyder at bilen billeder.html som ligger i roden af dit site, ikke må crawles. Vil du hellere fortælle at en hel mappe ikke må crawles, skal du så skrive mappens navn, fx:
Disallow: /undermappe/
Hvornår skal man ikke bruge robots.txt?
I grunden skal du aldrig bruge robots.txt, og det er meget simpel hvorfor man ikke bør bruge den. Robots.txt bruges som du ved til at sikre mod at sider bliver crawlet af søgemaskinerne, men hvorfor må en søgemaskine typisk ikke crawle en side? jo fordi man ikke vil have den side indekseret i søgemaskinen. Men da robots.txt ikke sikre mod indeksering, er det jo ikke vejen at gå.
Man skal heller ikke bruge robots.txt til at sikre mod crawling på beskyttede sider, både fordi du jo skriver det i filen, som alle kan se ved at gå ind på fx https://www.ktj-media.dk/robots.txt, hvilket bare fortæller eventuelle hackere at her er der noget som andre ikke må se. Men også fordi der findes langt bedre alternativer end brugen af robots.txt.
Hvordan sikre man så mod indeksering?
Jo der er flere måder, men i udgangspunktet skal man bruge et metatag som man kalder for “noindex robots metatag” dette tag læses af en søgemaskine når en side crawles, og det fortæller dem at denne side må ikke indekseres. Læs mere om noindex robots metatag her.
Når vi snakker hemmelige sider, så er det et spørgsmål om siden nu også sender de korrekte headere og at man rent faktisk skal bruge et login for at kunne se de sider.
