Innhold i denne artikkelen
Robots.txt er ikke et hemmelig verktøy, det er en tekstfil. Men jeg ser den samme misforståelsen gå igjen: folk tror den bestemmer hva som havner i Google, når den egentlig bare bestemmer hva Google får lov til å besøke.
Hva er robots.txt?
Robots.txt er en enkel tekstfil som ligger på rota av domenet ditt, altså på eksempel.no/robots.txt. Den forteller søkemotorer og andre automatiske roboter hvilke deler av nettstedet de har lov til å hente ned og lese.
Filen er en standard som stammer helt fra 1994, kalt Robots Exclusion Protocol. Den ble laget for å gi nettstedeiere en måte å si «hei, ikke bruk båndbredden vår på å hente disse sidene».
Et minimalt eksempel ser slik ut:
User-agent: *
Disallow: /admin/
Sitemap: https://eksempel.no/sitemap.xml
Oversatt: «Alle roboter (*), dere har ikke lov til å crawle sider under /admin/. Sitemap ligger her.»
Hvert eneste nettsted burde ha en robots.txt. Og siden filen alltid ligger på samme sted og er offentlig, kan du sjekke hvordan andre har satt opp sin: bare legg /robots.txt bak et hvilket som helst domene.
Prøv vg.no/robots.txt, nrk.no/robots.txt, eller min egen på smaaseo.com/robots.txt hvis du vil se en jeg har brukt litt tid på, med ASCII-kunst og en liten hilsen til nysgjerrige mennesker som scroller helt ned.
Den viktigste misforståelsen: crawling vs indeksering
Dette er poenget jeg ser gå galt om og om igjen, hos alt fra små bedrifter til store byråer.
Robots.txt styrer crawling. Ikke indeksering.
- Crawling betyr at Google henter ned og leser siden. Dette kan du blokkere med robots.txt.
- Indeksering betyr at Google legger siden inn i søkeresultatene sine. Dette kan du ikke blokkere med robots.txt.
Hvorfor spiller det noen rolle? Fordi Google kan indeksere en URL de aldri har crawlet, hvis andre nettsteder lenker til den. Da vil URL-en dukke opp i søk med teksten «Ingen informasjon er tilgjengelig for denne siden», fordi Google ser at den finnes, men ikke har lov til å lese innholdet.
Hvordan robots.txt faktisk er bygget opp
En robots.txt består av én eller flere «regelblokker». Hver blokk gjelder en eller flere spesifikke crawlere.
Grunnbyggeklossene:
- User-agent: navnet på crawleren regelen gjelder.
*betyr «alle». - Disallow: en sti crawleren ikke får lov til å hente.
- Allow: en sti som er tillatt, brukes typisk for å åpne en undermappe inne i en
Disallow. - Sitemap: full URL til sitemap.xml. Global, gjelder hele filen.
Et litt mer realistisk eksempel:
User-agent: *
Disallow: /admin/
Disallow: /kasse/
Disallow: /?filter=
Allow: /admin/offentlig-side.html
User-agent: GPTBot
Disallow: /
Sitemap: https://eksempel.no/sitemap.xml
Denne filen sier: alle crawlere skal holde seg unna admin, kasse og URL-er med ?filter=, men de får åpne én spesifikk admin-side. OpenAIs GPTBot får ikke crawle noe i det hele tatt.
Hvorfor blokkerer vi noe: crawl budget
Nå kommer den delen folk oftest hopper over: hvorfor Disallow-er vi egentlig ting? Svaret heter crawl budget, og det er selve grunnen til at robots.txt fortsatt er viktig i 2026.
Crawl budget er kort forklart hvor mange URL-er Google gidder å hente fra domenet ditt i en gitt periode. Google selv deler det opp i to komponenter:
- Crawl capacity: hvor mange forespørsler serveren din tåler uten å bli treg. Rask server = større budsjett.
- Crawl demand: hvor viktig og fersk Google mener innholdet ditt er. Populære, ofte oppdaterte sider får mer.
Poenget er at budsjettet er endelig. Bruker Google det på /sok?q=blå+sko&sort=pris&side=47, får ikke produkt- og kategorisidene dine besøk like ofte. Og det er der pengene faktisk ligger.
Klassiske budsjettslukere som bør blokkeres i robots.txt:
- Interne søkeresultater (
/sok?q=...): potensielt uendelig mange URL-er, null verdi i Google. - Fasetter og filtre (
?farge=,?sort=,?side=): på en nettbutikk med 10 filtre og 5 sorteringer får du raskt millioner av kombinasjoner. - Handlekurv, checkout, min side: personlige og transaksjonelle sider Google ikke skal indeksere uansett.
- Rene sporingsparametere (
?utm_,?gclid=): endrer ikke innholdet, men lager duplikat-URL-er.
Merk deg at dette handler om å bruke budsjettet smartere, ikke om å hindre indeksering. Er en URL allerede indeksert, tar det uansett noindex for å få den ut. Robots.txt sier bare «ikke bruk tid her, bruk tiden på det som betyr noe».
Dette ser jeg ofte gå galt med robots.txt
Etter å ha ryddet opp i mange robots.txt-filer, ser jeg de samme feilene igjen og igjen:
- Disallow: / på hele domenet, ved en glipp. Dette er den dyreste feilen. Én linje, og hele nettstedet forsvinner fra Google i løpet av noen uker. Sees typisk etter en migrering der utviklerne glemte å fjerne staging-filen.
- Bruker robots.txt for å skjule sensitivt innhold. Det motsatte skjer, du signaliserer offentlig at det finnes en /admin/-mappe. Filen er lesbar for alle på eksempel.no/robots.txt.
- Blokkerer CSS og JavaScript. Google trenger å crawle CSS og JS for å forstå hvordan siden ser ut. Blokkerer du dette, kan Google feilvurdere mobilvennlighet og layout.
- Forventer at Disallow fjerner allerede indekserte sider. Robots.txt hindrer fremtidig crawling, men fjerner ikke sider som allerede er i indeksen. Da må du bruke noindex-meta eller Google Search Consoles fjerningsverktøy.
- Motstridende signaler. Robots.txt blokkerer en URL som samtidig ligger i sitemap.xml. Google får to motsatte beskjeder og velger selv. Sitemap bør kun inneholde URL-er du faktisk vil at Google skal crawle og indeksere.
Case-studie: Da robots.txt slukket lyset
En kunde tok kontakt fordi organisk trafikk hadde falt til null over tre uker etter en plattformmigrering. De hadde brukt fem uker på selve migreringen, testet alt, og alt så bra ut.
Problemet: Utviklerne hadde brukt en «development mode»-innstilling i det nye CMS-et som automatisk skrev User-agent: * og Disallow: / til robots.txt for å hindre at teststedet ble indeksert. Da de lanserte, glemte de å slå av flagget. Live-nettstedet arvet robots.txt-en fra teststedet.
Handlingen: Vi fikset robots.txt samme dag, submittet ny fil i Google Search Console, og bad om re-crawling av de viktigste sidene. Deretter la vi til en manuell sjekk i deploy-rutinen deres: en enkel test som feiler hvis robots.txt inneholder Disallow: / på produksjon.
Resultatet: 60 % av trafikken var tilbake etter to uker. Full gjenoppretting tok seks uker. Hadde de fanget feilen samme dag som lansering, hadde det ikke vært noe trafikkfall i det hele tatt. Det tekniske grunnlaget for en trygg migrering står og faller ofte på slike enkle sjekker.
Slik blir robots.txt bra
Her er sjekklisten jeg bruker når jeg går gjennom en robots.txt:
- Start med å tillate alt. Med mindre du har en veldig konkret grunn, bør utgangspunktet være
User-agent: *ogAllow: /. Blokker heller enkeltmapper eksplisitt. - Blokker admin, kasse, søkeresultater og filter-URL-er. Sider som ikke gir verdi i søk, og som lager mye støy i crawl-budsjettet, bør blokkeres.
- Ikke blokker CSS, JS eller bilder. Google trenger dette for å forstå siden. Blokkering skader mer enn det hjelper.
- Legg alltid inn en Sitemap-linje. En eller flere
Sitemap:-linjer nederst i filen. Full URL, ikke relativ. - Test filen din. Bruk Google Search Consoles robots.txt-tester, eller kjør en URL gjennom den, og sjekk om den blir tillatt eller blokkert.
- Ha én robots.txt per domene. Subdomener (blogg.eksempel.no) trenger sin egen robots.txt på blogg.eksempel.no/robots.txt.
Din handlingsplan: Steg-for-steg
| Steg | Hva du gjør |
|---|---|
| 1 | Åpne eksempel.no/robots.txt i nettleseren. Ligger den der? |
| 2 | Sjekk om det er en Disallow: / uten kontekst. Hvis ja, alarm. |
| 3 | Sammenlign med sitemap.xml. Er det motstridende signaler? |
| 4 | Test kritiske URL-er i GSC sitt robots-testverktøy. |
| 5 | Rydd i unødvendige Disallow-linjer. Blokker kun det som gir mening. |
| 6 | Legg til Sitemap: nederst hvis den mangler. |
| 7 | Sjekk at CSS og JS ikke er blokkert. Bruk «Inspect URL» i GSC. |
| 8 | Overvåk «Sider» i GSC de neste ukene. |
Oppsummert: Min mening om robots.txt
Robots.txt er ett av de mest overdrevne temaene i teknisk SEO, samtidig som misforståelsene rundt den er reelle og dyre. Filen er enkel, den er kort, og den gjør nøyaktig én ting: bestemmer hvilke URL-er som skal crawles.
Den bestemmer ikke hva som blir indeksert. Den beskytter ikke sensitivt innhold. Den fjerner ikke sider som allerede ligger i Google. Den er ikke magisk.
Men den er kritisk. En feil linje i robots.txt kan gjøre et helt nettsted usynlig. Så bruk fem minutter i dag på å åpne din egen, lese den linje for linje, og forsikre deg om at den sier det du tror den sier.
Her kan du lese mer om robots.txt
- Google Search Central — Introduction to robots.txt — offisiell dokumentasjon fra Google
- Google — Robots.txt Specifications — full syntaks og hvordan Google tolker filen
- RFC 9309 — Robots Exclusion Protocol — den formelle IETF-standarden
- Moz — Robots.txt — grundig SEO-orientert innføring
- Ahrefs — Robots.txt Guide — praktiske eksempler og vanlige feil
