Kort fortalt: Store, rene sites med hurtige svar bliver oftere og dybere crawlet. Sites med masser af duplicate, tynde eller langsomme sider får typisk lavere effektiv crawl - Google bruger ikke længere “budget” i hverdagssprog til små sites, men idéen er stadig nyttig til at forstå spild af crawl og ressourcer.
Hvad spilder crawl?
- Uendelige facetter (
?sort=,?filter=, …) der genererer unikke URL’er uden reelt unikt indhold. - Soft 404, 5xx-fejl og langsom TTFB - søgemaskinen bruger tid på ugyldige eller dyre svar.
- Lange redirect-kæder og inkonsistente hosts (http/https, www/ikke-www) uden klar strategi.
- Session-ID i URL og andre unødvendige parametre der skaber “uendeligt” site.
Teknisk performance-link
Langsom server kan begrænse hvor aggressivt Google crawler for ikke at overbelaste jer - og samme langsomhed skader brugere. Cache, edge caching og ren applikationslogik løser typisk begge problemer på én gang.
Forhold til canonical og noindex
Canonical hjælper med at konsolidere signaler når duplikater findes. noindex stopper indeksering af en side, men kan stadig bruge crawl hvis siden ikke er blokeret - derfor er arkitektur (hvad der overhovedet linkes til) vigtig.
Robots.txt - groft redskab
robots.txt styrer hvad der må hentes af botten. Brug det med omtanke så I ikke blokerer CSS/JS som Google skal bruge til rendering af jeres indhold. Blokering erstatter ikke løsning af kvalitetsproblemer.
Intern linking
Stærke hubs og tydelige spor fra vigtige sider ned i dybden hjælper med at prioritere hvad der crawles først. Tynde “zombie”-sider uden indgående links får ofte mindre opmærksomhed.
Relaterede begreber
- Canonical URL
- Struktureret data
- TTFB
- hreflang - når flere markeder skal kobles uden duplicate-forvirring
FAQ
Findes der et fast tal for mit crawl budget?
Google kommunikerer ikke et personligt tal du kan slå op. Brug logfiler hvis I har adgang, Search Console og sund site-arkitektur. Små sites har sjældent crawl budget som hovedproblem - duplikater og kvalitet er oftere temaet.
Er crawl budget det samme som indekseringsbudget?
Beslægtet men ikke identisk. Crawl er at hente URL’er; indeksering er at gemme og bruge dem i ranking. En URL kan crawles uden at blive indekseret (fx noindex eller tynd værdi).
Hjælper XML-sitemap med crawl budget?
Sitemap hjælper med opdagelse og prioritering af vigtige URL’er. Det erstatter ikke ren struktur, hurtige svar og intern linking - men det er et godt supplement.
Påvirker langsom server crawl?
Ja. Google justerer typisk crawl-hastighed for ikke at overbelaste dig - og langsomme svar skader også brugeroplevelse. [Cache](/ordbog/cache-control/), [CDN](/ordbog/cdn/) og ren kodehjørne løser begge dele.
Næste skridt fra begreb til handling
Guides og blogindlæg der matcher begrebets emne - ud fra fælles tags og sidens fokus.
Brug Transfer-Encoding (chunked) til progressiv rendering: hurtigere første visning
Lær at finde ud af om din server eller reverse proxy buffer HTML-svar, og få streaming (chunked) til at flytte første visning og LCP i den rigtige retning.
Få edge cache-hit på HTML: undgå cookies, forkert Vary og dårlige cache keys
Mange sites har CDN, men får stadig høj TTFB fordi HTML ikke caches. Lær et praktisk workflow til at få cache-hit på offentlige sider uden at servere forkert indhold.
Forbedr TTFB med caching, edge cache og hurtigere serverrespons
Lær hvordan du reducerer TTFB med page cache, edge cache, korrekt cache strategi og bedre serverrespons på HTML.
Reverse proxy og TTFB: sådan finder du cache-, TLS- og routing-fejl i praksis
Reverse proxy-laget kan være årsagen til høj TTFB, mystiske cache misses og 502/504-fejl. Lær hvad du skal kigge efter i headers og waterfall, og få et praktisk debug-flow.
Vary-header og caching: undgå forkert indhold og lav cache-hit-rate
Vary bestemmer hvornår caches skal gemme flere varianter af samme URL (fx gzip vs brotli eller dansk vs engelsk). Lær de typiske fejl, og hvordan du tester med headers og curl.
Sådan prioriterer du hastighedsoptimering uden at spilde tid
Lær hvordan du prioriterer hastighedsoptimering rigtigt, så du starter med de ændringer der giver mest effekt på LCP, INP, CLS og TTFB.
