Hvad er Robots.txt
Synonymer: robots, robots.txt, sikring mod crawling, crawling, søgemaskiner, bruger agent Robots.txt er en tekstfil som man oploader til roden af sit webhotels webmappe. Denne fil fortæller søgemaskiner og andre, at det enten er tilladt eller ikke tilladt at crawle forskellige områder på din hjemmeside. Hvis en søgemaskine gerne må crawle alle dele af din hjemmeside … Læs mere
