25 års erfaring med hastighed på hjemmesider
Er din hjemmeside også for langsom? Hurtigere hjemmeside fra 695,- ex moms

Hvad er Robots.txt

hvad er robots txt

Synonymer: robots, robots.txt, sikring mod crawling, crawling, søgemaskiner, bruger agent

Robots.txt er en tekstfil som man oploader til roden af sit webhotels webmappe. Denne fil fortæller søgemaskiner og andre, at det enten er tilladt eller ikke tilladt at crawle forskellige områder på din hjemmeside. Hvis en søgemaskine gerne må crawle alle dele af din hjemmeside behøver man i grunden ikke skrive noget i filen, da det per automatik er sådan at man godt må, medmindre andet er skrevet.

mange kender ikke til robots.txt’s funktion

Mange tror fejlagtigt at robots.txt bruges til at sikre mod indeksering i søgemaskinerne. Dette er dog ikke tilfældet da robots.txt kun bruges til at sikre mod crawling, crawling er ikke det samme som indeksering. Selvom det er basal viden for SEO folk og SEO eksperter, er der alligevel en del som ikke har forstået endnu at man ikke kan/skal bruge robots.txt til sikring mod indeksering, selv en side som har respekt hos mange som fx html.dk skriver at robots.txt benyttes til det formål, og at en ting som robots metatagget er et alternativ hvis ikke man kan bruge robots.txt. Man kan sige det kort, Robots.txt skal kun bruges hvis alt andet ikke er muligt.

Test din SEO leverandør

Sig til din SEO leverandør, eller din kommende SEO mand/SEO ekspert at du har hørt at man med en robots.txt kan blokkere for indeksering på forskellige sider, er dette rigtigt?

Svare de så, ja det kan man godt, så ved du allerede der at det ikke er den person du skal samarbejde med, da der er tale om meget basal viden inden for SEO. Og du vil ikke have en SEO leverandør som ikke ved bare det basale om SEO.

Hvordan bruger man robots.txt

Det er faktisk meget nemt, til en start skal man fortælle hvem det drejer sig om, altså hvilken brugeragent man gerne vil fortælle ikke må crawle en bestemt side, en mappe eller filer på hjemmesiden. I de fleste tilfælde vil man faktisk fortælle at alle brugeragenter ikke må crawle.

Det gør man sådan:
User-agent: *

Når man så vil fortælle ovenstående brugeragenter at der er nogle sider eller filer du ikke vil have crawlet, skal du nedenunder \”User-agent: *\” skrive:

Disallow: /billeder.html

Hvilket betyder at bilen billeder.html som ligger i roden af dit site, ikke må crawles. Vil du hellere fortælle at en hel mappe ikke må crawles, skal du så skrive mappens navn, fx:

Disallow: /undermappe/

Hvornår skal man ikke bruge robots.txt?

I grunden skal du aldrig bruge robots.txt, og det er meget simpel hvorfor man ikke bør bruge den. Robots.txt bruges som du ved til at sikre mod at sider bliver crawlet af søgemaskinerne, men hvorfor må en søgemaskine typisk ikke crawle en side? jo fordi man ikke vil have den side indekseret i søgemaskinen. Men da robots.txt ikke sikre mod indeksering, er det jo ikke vejen at gå.

Man skal heller ikke bruge robots.txt til at sikre mod crawling på beskyttede sider, både fordi du jo skriver det i filen, som alle kan se ved at gå ind på fx https://www.ktj-media.dk/robots.txt, hvilket bare fortæller eventuelle hackere at her er der noget som andre ikke må se. Men også fordi der findes langt bedre alternativer end brugen af robots.txt.

Hvordan sikre man så mod indeksering?

Jo  der er flere måder, men i udgangspunktet skal man bruge et metatag som man kalder for “noindex robots metatag” dette tag læses af en søgemaskine når en side crawles, og det fortæller dem at denne side må ikke indekseres. Læs mere om noindex robots metatag her.

Når vi snakker hemmelige sider, så er det et spørgsmål om siden nu også sender de korrekte headere og at man rent faktisk skal bruge et login for at kunne se de sider.

kim tetzlaff

Om forfatteren

Se mere Kim Tetzlaff

Jeg har siden 1995 arbejdet med og haft stor fokus på Teknisk SEO og hastighed på hjemmesider. Jeg er programmør, nørd og stolt af det. Jeg bygger hjemmesider, hastighedsoptimere, ser på det SEO tekniske og det er mere end 25 års erfaring der ligger bag – Du er i gode hænder når jeg laver noget for dig 🙂

Måske du også vil læse disse indlæg

Ja, jeg har også skrevet andre indlæg som måske kunne have din interesse

ikoner sloever hjemmesiden

Optimering af ikoner

Ikoner er kommet for at blive Der er ingen tvivl om at ikoner er kommet for at blive, men langt de fleste hjemmeside bruger det forkert og med den bagside at det sløver hjemmesidens hastighed. Hjemmesiden bliver unægteligt langsommere af … Læs mere

x robots tag noindex

Noindex via htaccess og X-Robots-Tag – Teknisk SEO

Noindex X-robots-tag Noindex kan foretages på mange måder, og her har jeg testet x-robots-tag som er noindex via htaccess, for at se om den kan bruges. x-robots-tag er en anden måde at sørge for at sider og filer ikke bliver … Læs mere

hvad er en dns server

Hvad er en DNS server

Synonymer: DNS, DNS server, DN server, Domain Name Server, Navne server DNS står for Domain Name Server, på dansk Navne server, og det er en server som alle internettets brugere kommer igennem. Det er nemlig sådan at en DNS server … Læs mere

Skriv en kommentar

Kim Tetzlaff ApS - Hastighed, SEO og Teknisk optimering

Målet er kvalitet

Det er mit mål at levere kvalitetsløsninger med høj fokus på hastighed og teknisk seo. Uanset om der er tale om små eller store løsninger, vil fokus altid være på hastighed og teknisk seo.