En robots.txt-fil er en tekstfil, der bruges til at kommunikere med søgemaskiners crawlere. Den fortæller, hvilke dele af et website der må eller ikke må crawles af søgemaskiner som Google, Bing og andre. Filen er en del af robots exclusion protocol (REP), som også inkluderer meta-tags som noindex og nofollow.
Robots.txt-filen spiller en vigtig rolle i SEO, da den kan bruges til at styre indeksering og crawl-budget, hvilket hjælper med at sikre, at søgemaskiner fokuserer på de mest værdifulde sider på et website.
Hvordan fungerer robots.txt?
Når en søgemaskines bot besøger et website, er det første, den gør, at lede efter en robots.txt-fil i roden af domænet (f.eks. https://www.eksempel.dk/robots.txt). Filen indeholder instruktioner i form af regler, der dikterer, hvilke sider botten må tilgå.
Grundlæggende syntaks for robots.txt
En robots.txt-fil består typisk af:
- User-agent: Angiver, hvilken bot reglen gælder for (f.eks. Googlebot, Bingbot).
- Disallow: Fortæller botten, hvilke sider eller mapper den ikke må crawle.
- Allow: (Kun for Googlebot) Bruges til at give adgang til specifikke sider inden for en ellers blokeret mappe.
- Sitemap: Angiver placeringen af et XML-sitemap, der hjælper søgemaskiner med at finde og indeksere vigtige sider.
Eksempel på en simpel robots.txt-fil:
User-agent: * Disallow: /admin/ Disallow: /private-data/ Allow: /public-info/ Sitemap: https://www.eksempel.dk/sitemap.xml
Forklaring:
- Alle søgemaskiner (
*) får adgang til alt undtagen/admin/og/private-data/. /public-info/er eksplicit tilladt, selvom en overordnet mappe kunne være blokeret.- Sitemap-linket hjælper søgemaskinerne med at finde vigtige sider.
Hvorfor er robots.txt vigtig for SEO?
En korrekt konfigureret robots.txt-fil kan forbedre et websites SEO på flere måder:
1. Styring af crawl-budget
Søgemaskiner har et crawl-budget, dvs. en begrænsning på, hvor mange sider de crawler på et website inden for en bestemt periode. Ved at blokere irrelevante eller dublerede sider kan du sikre, at søgemaskiner fokuserer på de vigtigste sider.
2. Forhindring af indeksering af følsomt indhold
Visse sider, som admin-paneler, interne søgesider og testmiljøer, bør ikke være synlige i søgeresultater. Med robots.txt kan du forhindre crawlere i at tilgå disse sider.
3. Håndtering af duplicate content
Har et website mange versioner af den samme side (f.eks. filterede produktsider), kan du forhindre søgemaskiner i at crawle disse for at undgå duplicate content problemer, som kan skade SEO.
4. Optimering af serverbelastning
Ved at blokere ressourcekrævende sider kan du reducere belastningen på din server, hvilket kan forbedre websitets ydeevne.
Fejl at undgå med robots.txt
1. Blokering af vigtige sider
Forkerte regler kan forhindre søgemaskiner i at indeksere væsentligt indhold. For eksempel:
User-agent: * Disallow: /
Dette forhindrer ALLE søgemaskiner i at crawle hele websitet!
2. Tro, at Disallow betyder “noindex”
Disallow forhindrer crawling, men ikke nødvendigvis indeksering. Hvis en blokeret side stadig er linket til fra andre sider, kan den stadig blive vist i søgeresultater. Brug meta robots noindex i stedet, hvis du vil forhindre indeksering.
3. Ikke at inkludere sitemap-link
Ved at angive en sitemap-URL i robots.txt hjælper du søgemaskinerne med at finde vigtige sider hurtigere.
4. Glemme at teste robots.txt
Google tilbyder værktøjer som Robots Testing Tool i Google Search Console, hvor du kan teste, om din robots.txt-fil fungerer korrekt.
Hvordan opretter og implementerer du en robots.txt-fil?
- Opret en tekstfil – Brug en simpel teksteditor som Notepad eller VS Code.
- Tilføj regler – Definér, hvilke bots der skal have adgang, og hvilke sider der skal blokeres.
- Upload til roden af dit domæne – Filen skal placeres på
https://www.ditwebsite.dk/robots.txt. - Test i Google Search Console – Brug “Robots.txt Tester” for at sikre, at reglerne fungerer som forventet.
En velfungerende robots.txt-fil er et vigtigt værktøj til søgemaskineoptimering. Den hjælper søgemaskiner med at navigere dit website effektivt, sikrer, at irrelevante sider ikke crawles, og optimerer dit crawl-budget. Dog skal den konfigureres korrekt, så vigtige sider ikke blokeres ved en fejl.
For mere avancerede SEO-strategier kan det være en fordel at kombinere robots.txt med andre teknikker som canonical tags, noindex-tags og XML-sitemaps.
“
