Så fungerar robots.txt
Filen ligger normalt i domänens rot, exempelvis /robots.txt. Där kan regler anges för alla robotar eller för en viss sökmotor.
Vad filen bör användas till
Den kan minska onödig genomsökning av tekniska mappar, interna sökresultat eller filteradresser.
Den ska inte användas för att skydda hemlig information.
Robots.txt och indexering
En blockerad URL kan i vissa fall ändå visas i sökresultatet om andra sidor länkar till den. För säker borttagning används normalt noindex eller behörighetsskydd.
Sitemap i robots.txt
Det är vanligt att ange adressen till XML-sitemapen i filen så att sökmotorer lättare hittar den.
Ett typiskt misstag efter att en stagingmiljö blivit publik
Under utveckling lägger teamet `Disallow: /` i robots.txt för att hålla sökmotorer borta. Vid lansering kopieras hela installationen till den riktiga domänen men filen följer med. Webbplatsen fungerar perfekt för människor, så felet märks inte direkt. Googlebot får däremot instruktion att inte crawla någon sida. Därför bör robots.txt alltid ingå i lanseringschecklistan tillsammans med noindex och lösenordsskydd. Öppna filen direkt på den publika domänen och läs den som en crawler skulle göra. En enda rad kan påverka en hel webbplats betydligt mer än många avancerade SEO-inställningar. Internlänkar hjälper både människor och sökmotorer att förstå sammanhanget mellan sidor.
Robots.txt styr crawling – inte indexering i alla lägen
Filen robots.txt används för att ge crawlers instruktioner om vilka delar av webbplatsen de får eller inte får hämta.
Det är viktigt att skilja detta från noindex. Om en URL blockeras i robots.txt kan Google sakna möjlighet att läsa en noindex-instruktion som ligger på själva sidan. URL:en kan i vissa fall ändå bli känd genom länkar. Vill du hålla en vanlig sida borta från sökresultatet är därför en korrekt noindex-lösning ofta mer relevant än att enbart blockera crawling.
Ett litet syntaxfel kan få stor effekt
Reglerna är enkla men behöver skrivas rätt. User-agent anger vilken crawler instruktionen gäller för, medan Disallow och Allow styr sökvägar. En för bred Disallow-regel kan råka stoppa viktiga sidor, CSS eller JavaScript. På en ny webbplats bör robots.txt därför kontrolleras efter lansering, särskilt om stagingmiljön tidigare varit blockerad. Det är förvånansvärt lätt att en utvecklingsregel följer med till produktion och gör hela sajten svårare för Google att crawla.
Lägg robots.txt på rätt plats och håll den enkel
Filen ska normalt ligga direkt i domänens rot, exempelvis `https://exempel.se/robots.txt`. Den behöver sällan innehålla avancerade regler på en vanlig företagswebbplats.
Ju fler specialundantag som läggs in, desto svårare blir det att förstå konsekvenserna vid framtida förändringar. Det är vanligt att även ange sitemap-adressen i filen, men själva sitemapen och de interna länkarna fyller andra funktioner. Robots.txt bör ses som ett crawlverktyg, inte som webbplatsens huvudsakliga SEO-konfiguration.
Behöver du hjälp med synligheten?
Få hjälp att prioritera rätt SEO-åtgärder
Vi går igenom teknik, innehåll, interna länkar och Search Console-data och prioriterar det som faktiskt kan förbättras.
Snabb återkoppling
Hjälpte den här artikeln dig?
Din röst sparas anonymt och hjälper oss att förbättra guiderna.