Googles crawlbudget er en af de vigtigste faktorer, som oftest overses når man tænker på SEO. Hvis du ejer en stor hjemmeside eller webshop, er det vigtigt at forstå, hvad crawlbudget er, og hvordan det påvirker din digitale forretning.
Faktisk er der mange digitale marketers, som anser crawlbudget, som en ting vi ikke har den store indflydelse over. Men det kunne ikke være længere fra sandt! Om du driver en mindre eller mellemstor hjemmeside, kan det være gavnligt at arbejde med dit crawlbudget.
Men driver du en stor E-commerce forretning eller et indholdsunivers, bør du være ekstra opmærksom på dit crawl budget.
Hvad er crawlbudget?
Hvis du ejer en hjemmeside, er det vigtigt at forstå, hvad crawlbudget er, og hvordan det kan påvirke din hjemmeside.
Kort fortalt er Googles crawler (aka. Spider) en bot, der løbende gennemgår hjemmesider for at indsamle visse oplysninger om dem. Crawlbudget er det antal sider, som Googles bot kan og vil gennemgå på dit website i en given periode.
Budgettet påvirkes typisk af mange forskellige faktorer, hvoraf følgende er nogle klassiske eksempler:
- URL strukturen
- Navigation strukturer
- Antal tekniske fejl (404 mv.)
- Hjemmesidens størrelse
- Antallet af indgående links
- Serverhastighed
- Duplikeret indhold
- No-index tags i sitemap
Hvordan påvirker crawlbudgettet min hjemmeside?
Der er forskellige årsager til, hvorfor det er vigtigt at optimere dit crawlbudget. Overordnet har dit crawlbudget en direkte indflydelse på dit websteds synlighed i søgemaskineresultaterne (SERPS). Er dit crawlbudget for lavt, bliver din hjemmeside hverken crawlet særligt ofte og ikke alt indhold bliver gennemgået.
Som følge heraf kan det tage længere tid, før nyt og opdateret indhold indekseres. Det betyder med andre ord, at dit indhold, produkt og lign. ikke vil kunne findes i Google. Hvis dit crawlbudget på den anden side er for højt, kan det belaste din server.
Et optimeret crawlbudget skaber derimod en balance mellem disse to yderpunkter ved at sikre, at dit websted bliver crawlet regelmæssigt uden unødig belastning af din server.
Kan jeg se mit crawlbudget?
Før i tiden var det muligt at se inde i Google Search Console -> Crawl stats, hvor mange sider Google bot i gennemsnit crawlede på din website om dagen, men desværre er denne stat blevet fjernet på skrivende stund. I stedet for kan du gå ind og undersøge din server log. En logpost tilføjes nemlig til din adgangslogfil hver gang Google bot besøger dit websted.
Vi anbefaler, at du bruger et automatisk værktøj som Screaming Frog eller SemRush til at lave en logfil analyse af, hvor mange gange Google bot crawler din hjemmeside. Du finder typisk din acces log fil hos din serverudbyder.
(SemRush Log File Analyzer Overview)
Når du finder antallet af crawls af Goolge bot, kan du tage antallet af webpages på din hjemmeside og dividerer det med gennemsnittet af Google bots crawls. Har du 3 eller derover så mange sider som Google crawler, bør du arbejde aktivt med at optimere dit crawlbudget.
Det kan nemlig give dig problemer på sigt, hvis du har betydelig meget indhold som ikke formår at blive indekseret. Men når det så er sagt, hvordan optimerer du dit crawlbudget?
Sådan får du skovlen under dit crawlbudget
Når det kommer til forbedring af crawlbudgettet, er der en række forskellige ting som du kan arbejde med for at optimere gennemgangsraten. Nedenstående er nogle kerne eksempler på områder, som du kan forbedre med henblik på at forbedre dit crawlbudget.
- Ret http-status fejl
- Forbedre din interne linkstruktur
- Hold dit XML sitemap opdateret og simpel
- Begræns duplikeret og redundant indhold
- Hastighedsoptimer dine indlæsningstider
- Begræns crawl rate
- Korrekt brug af Hreflang
Ret http-status fejl
Enhver URL som Google bot gennemgår, hvilket også inkluderer CSS og Java Script filer, bruger noget af dit crawlbudget. Sider der giver fejlmeddelelser som 404 og 503 status påvirker særligt crawlbudgettet negativt.
Screaming Frog er et fantastisk værktøj, når det kommer til at finde sider med døde links og lign. Ret alle 404 fejl som du kan finde, så de giver en http-status 200 (ok). Alternativt kan du lave en permanent omdirigering (301).
OBS! Vær opmærksom på at omdirigerings-kæder som fra (https:dinhjemmeside.dk -> https:www.dinhjemmeside.dk), kan give dig flere omdirigeringer over det hele, hvilket begrænser dit crawlbudget.
Forbedre din interne linkstruktur
Intern linkbuilding er en god og hurtig måde til at forbedre dit crawlbudget på. Interne links fortæller Google bot, hvilke sider der er vigtige. Er der tale om in-tekst links, er det vigtigt at vælge en ankertekst som beskriver, hvad den linkede side omhandler.
Ved at linke internt til relevante sider, kan du forbedre din linkstruktur og undgå orphan-pages. Endelig er det vigtigt, at du ikke linker rundt unaturligt som en galning, men faktisk linker relevant og brugervenligt.
NB: Vi anbefaler, at du kun laver 1 eksakt in-text intern link pr. side.
Hold dit XML sitemap opdateret og simpel
XML-sitemaps er en betydelig hjælp, når det kommer til at sikre, at din hjemmeside bliver korrekt crawlet og indekseret i Google. I bund og grund fortæller et XML-sitemap søgemaskinerne om organiseringen af dit hjemmeside indhold.
Det kan anbefales, at du opdaterer dit XML-sitemap i takt med, at du publicerer nyt indhold. Har du rettet samtlige http-404-statuser, ikke-kanoniske sider, omdirigeringer og mv., bør du også opdaterer dit XML-sitemap.
Har du en WordPress hjemmeside, kan du nemt rette din sitemap gennem plugins såsom Yoast og Rank Math. Et velholdt XML-sitemap kan være et værdifuldt aktiv for at sikre, at dit websted bliver indekseret i søgemaskinerne.
Begræns duplikeret og redundant indhold
Duplikeret og redundant indhold er endnu en stor synder, når det kommer til crawlbudget forbrug. Hvis du har meget duplikeret eller overflødigt indhold, betyder det, at Google bot skal gennem en masse sider af lav kvalitet for at finde det gode indhold. Det er ikke kun spild af tid, men det kan også resultere i lavere placeringer for dit websted.
For at undgå dette skal du sørge for, at alt dit indhold er af høj kvalitet, unikt og relevant for dine målgrupper. Vi anbefaler herudover, at du sætter no-index tags på de sider med ikke-relevant, meget duplikeret og overflødigt indhold.
I WordPress kan du via. Yoast eller Rank Math nemt no-index sider som ikke gavner dit crawlbudget. Alternativt kan du gå ind i din robots.txt fil og sætte no-index på udvalgte URL’er. Vi anbefaler, at du undlader at udelukke vigtige kilder, hvilket kan være en CSS-fil, der er nødvendig for at gengive bestemt side indhold mv.
Hastighedsoptimer dine indlæsningstider
Har din hjemmeside langsomme indlæsningstider vil det påvirke dit crawlbudget negativt. Eksempelvis kan det være, at du bruger rigtig meget JavaScript på din hjemmeside. I stedet for at indlæse de vigtigste elementer på siden, kan Google bot ende med at bruge hele dit crawlbudget på at indlæse JavaScript filer og API-kald.
Det giver ikke kun langsomme hastighedstider, men også en ringere indekseringsgrad. Derudover medvirker langsomme sider også til en dårligere brugeroplevelse. Og set i anledning af Core Web Vitals opdateringen vil det yderligere påvirke dine søgeplaceringer negativt.
Du kan hastighedsoptimere din side ved hjælp af:
- Plugins som WP Rocket, WP Fastetst Cache, Imagify mv.
- Skift fra client-side rendering til server-side rendering
- Gør brug af dynamisk rendering
- Minimere brugen af JavaScript filer
- Fjerne ubrugte CSS filer
- Få hjælp af en udvikler til hastighedsoptimering
- Brug WebP format og skær billedfilstørrelser til 100-120kb
Begræns crawl rate
Får din hjemmeside let kritiske server fejl, kan det være en god ide, at du begrænser Google bots crawl rate. På den måde kan du undgå belastninger af din side og derved mindre nede tid. Du kan læse mere om dette inde på Google Search Central.
Korrekt brug af hreflang
Hvis du har flere versioner af en side for forskellige sprog, skal du være særlig opmærksom på din brug af hreflang tags. Et hreflang tag fortæller Google, hvilken sprogversion sidens indhold er på. Det hjælper Google med at lede besøgende hen mod den mest passende sprogversion af dine side ift. deres geografi.
Ifølge Googles retningslinjer anbefales det, at du indikerer alternative versioner:
- Hvis dit indhold er i et sprog, men oversætter navigation og sidefod (USG sider som forums)
- Hvis dit indhold har små regionale variationer med lignende indhold og et sprog. F.eks. engelsksprogede indhold rettet mod UK, US, AU mv.
- Hvis dit side indhold er fuldt oversat i flere sprog
Gør dit crawlbudget til din bedste ven
Driver du en stor hjemmeside/webshop med meget indhold, er det afgørende, at du undersøger og arbejder med dit crawlbudget. Hvis du vil sikre dig, at dit websted bliver crawlet og indekseret i Google.
Der er mange forskellige måder, hvorpå du kan optimere dit crawlbudget på, lige fra at rette http-statusfejl til at holde dit XML-sitemap opdateret. Det handler om at tage et holistisk kig på.
Fortsat problemer med indeksering af indhold?
Hvis du stadigvæk oplever problemer med at få dit indhold indekseret i Google, eller hvis du blot ønsker at fremskynde processen, kan vores 5 strategier til hurtigere indeksering være behjælpelig.
Vi har skitseret nogle afprøvede og testede metoder, der kan hjælpe dig med at forbedre dit crawlbudget og få dit websted indekseret betydelig hurtigere.
Hvis du har brug for yderligere hjælp eller har spørgsmål om optimering af dit crawlbudget, er du naturligvis velkommen til at kontakte os.
