Vad är robots.txt?
Robotar.txt är en textfil i roten på din webbserver som vägleder Google och andra sökmotorer att genomsöka din webbplats. Filen anger om Google får eller inte får genomsöka delar av webbplatsen genom att tillåta (ersättning) eller block (inte tillåta) åtkomst till specifika filer och mappar.
Din webbplats bör ha en robots.txt-fil eftersom det nästan alltid kommer att finnas innehåll som du inte vill att Google ska belasta din webbserver genom att genomsöka. Detta kan till exempel vara:
- interna söksidor
- Adminsidor som inte ska vara tillgängliga för allmänheten
- Sektioner som är under utveckling
- sidor med känslig information.
Blockera inte Google från att JavaScript-, CSS- och bildfiler som används på din webbplats, eftersom dessa filer är nödvändiga för att Google ska kunna se den korrekta versionen av webbplatsen. Du får inte heller blockera Google från det innehåll som du vill att Google ska indexera.
Observera att ett block i robots.txt inte är någon garanti för att en sida inte visas i sökresultaten. Google kan fortfarande indexera sidan om Google kan hitta den på annat sätt (t.ex. via en länk från en annan webbplats). Om du vill förhindra att en sida indexeras måste du infoga ett noindex-tagg på webbplatsen. Läs mer om detta på support.google.com.
