Vad är robots.txt?
Robots.txt är en textfil i roten på din webbserver som hjälper Google och andra sökmotorer att söka igenom din webbplats. Filen anger om Google får eller inte får söka igenom delar av webbplatsen genom att tillåta (tillåta) eller block (förbjuda) tillgång till specifika filer och mappar.
Din webbplats bör ha en robots.txt-fil, eftersom det nästan alltid finns innehåll som du inte vill att Google ska belasta din webbserver med att söka igenom. Till exempel:
- interna söksidor
- administratörssidor som inte bör vara tillgängliga för allmänheten
- avsnitt under utveckling
- sidor med känslig information.
Hindra inte Google från att JavaScript-CSS- och bildfiler som används på din webbplats, eftersom dessa filer är nödvändiga för att Google ska kunna se rätt version av webbplatsen. Blockera inte heller Google från det innehåll som du vill att Google ska indexera.
Observera att en blockering i robots.txt inte garanterar att en sida inte kommer att visas i sökresultaten. Google kan fortfarande indexera sidan om den kan hittas på annat sätt (t.ex. via en länk från en annan webbplats). Om du vill undvika att en sida indexeras lägger du till en noindex-tag på sidan. Läs mer på support.google.com.
