Hvad er robots.txt?
Robots.txt er en tekstfil i roden af din webserver, som vejleder Google og andre søgemaskiner i at gennemgå dit website. Filen angiver, om Google må eller ikke må gennemgå dele af websitet ved at tillade (allow) eller blokere (disallow) adgang til bestemte filer og mapper.
Dit website skal have en robots.txt-fil, da der næsten altid vil være indhold, som du ikke ønsker, at Google skal belaste din webserver ved at gennemgå. Det kan eksempelvis være:
- interne søgesider
- administrator-sider, der ikke skal være offentligt tilgængelige
- sektioner, der er under udvikling
- sider med følsom information.
Du må ikke blokere Google fra JavaScript-, CSS- og billedfiler, der bruges på dit website, da disse filer er nødvendige for, at Google kan se den korrekte udgave af websitet. Du må heller ikke blokere Google fra det indhold, du ønsker, at Google skal indeksere.
Vær opmærksom på at en blokering i robots.txt ikke garanterer, at en side ikke vises i søgeresultaterne. Google kan stadigvæk finde på at indeksere siden, hvis Google kan finde den på anden vis (eksempelvis via et link fra et andet website). Vil du undgå, at en side indekseres, skal du indsætte et noindex-tag på siden. Læs mere på support.google.com.
