Kortfattat: robots.txt ger sökmotorernas robotar instruktioner om vilka delar av webbplatsen de bör eller inte bör genomsöka.
Så fungerar robots.txt
Filen ligger normalt i domänens rot, exempelvis /robots.txt. Där kan regler anges för alla robotar eller för en viss sökmotor.
Vad filen bör användas till
Den kan minska onödig genomsökning av tekniska mappar, interna sökresultat eller filteradresser. Den ska inte användas för att skydda hemlig information.
Robots.txt och indexering
En blockerad URL kan i vissa fall ändå visas i sökresultatet om andra sidor länkar till den. För säker borttagning används normalt noindex eller behörighetsskydd.
Sitemap i robots.txt
Det är vanligt att ange adressen till XML-sitemapen i filen så att sökmotorer lättare hittar den.
Så arbetar du metodiskt med SEO
Börja med sökintentionen: vilket problem försöker besökaren lösa och vilket svar behöver sidan ge? Kontrollera sedan rubrik, innehåll, interna länkar, metadata och om sidan är indexerbar. Förändringar bör följas upp i Google Search Console, eftersom placeringar och indexering sällan kan bedömas korrekt direkt efter publicering.
SEO-checklista för guiden
Matcha sidans huvudrubrik och innehåll mot en tydlig sökintention. Använd beskrivande underrubriker, unika exempel och naturliga interna länkar. Kontrollera metadata, canonical, indexering och sitemap. Följ sedan utvecklingen i Search Console och förbättra sidan när sökfraserna visar att besökare efterfrågar information som saknas.
Mät rätt signaler
Följ visningar, klick, genomsnittlig position och vilka sökfraser som faktiskt leder till sidan. Kombinera detta med konverteringar, till exempel offertförfrågningar eller telefonsamtal. En sida som får trafik men inte hjälper besökaren behöver ofta bättre struktur och tydligare nästa steg, inte bara fler nyckelord.
Fördjupa dig i relaterade guider
Ämnet hänger ihop med flera delar av en modern företagshemsida. Läs vidare om Hur fungerar SEO?, Vad är en sitemap?. Genom att kontrollera helheten minskar risken att en isolerad ändring skapar problem för indexering, säkerhet, e-post eller prestanda.
Sammanfattning
robots.txt ger sökmotorernas robotar instruktioner om vilka delar av webbplatsen de bör eller inte bör genomsöka. Arbeta stegvis, dokumentera nuläget och kontrollera resultatet efter varje förändring. För företag är en hållbar lösning en som både fungerar för besökaren i dag och är enkel att underhålla när webbplatsen utvecklas vidare.
Behöver företaget en bättre hemsida?
Få ett tydligt förslag och fast pris
Vi bygger och förbättrar WordPress-hemsidor med fokus på tydlighet, prestanda, SEO och enkel förvaltning.
Frågor och svar
Vanliga frågor om vad är robots.txt?
Kan robots.txt ta bort en sida från Google?
Inte säkert. Använd noindex och låt Google läsa sidan först.
Måste WordPress ha robots.txt?
Nej, men en genomtänkt fil kan vara användbar.
Kan ett fel blockera hela hemsidan?
Ja. Regeln Disallow: / kan stoppa genomsökning av hela webbplatsen.