Robots.txt bestemmer kun, hvilke adresser en crawler må hente, og ikke hvad der sker med indholdet bagefter. Sådan lyder budskabet fra Googles Gary Illyes i en ny Search Central-video fra 21. oktober 2026. AIsearch gennemgår, hvad forklaringen betyder for danske udgivere, der vil være synlige i søgeresultaterne uden at aflevere tekst til AI-træning. Vi forklarer også, hvorfor sites med æ, ø og å i adresserne bør rette deres robots.txt.
- Googles Gary Illyes kalder robots.txt en protokol for adgang. Filen styrer ikke, hvad en virksomhed gør med indhold, den allerede har hentet.
- Vil du holde én AI-crawler ude, skal du skrive en regel til netop dens user-agent-navn.
- Google-Extended er Googles egen knap for Gemini-træning og grounding, men den er ikke en del af standarden.
- Et IETF-udkast vil tilføje en Content-Usage-regel. Udkastet er ikke vedtaget.
- Google anbefaler at procentkode stier med andre tegn end engelske, fx æ, ø og å.
Hvad sagde Google om robots.txt og AI-træning?
Gary Illyes fra Google siger, at robots.txt efter internetstandarden RFC 9309 kun er en protokol for adgangsønsker. Filen fortæller en crawler, hvilke URL’er den må anmode om. Den siger intet om, hvad et system gør med data, efter at de er hentet. Illyes udtalte sig i andet afsnit af videoserien The Non-Canonical Cabinet. Her svarer han og kollegaen Cherry Prommawin fra Search Relations-teamet på kantsager fra brugerne, skriver Search Engine Journal.
Spørgsmålet i afsnittet var, om man kan tillade AI-crawling af et website og samtidig holde de samme oplysninger ude af træningen af generative modeller. Illyes’ svar er nej, i hvert fald ikke med robots.txt alene. Vil man helt holde en bestemt AI-crawler væk fra hele sitet, skal man ifølge Illyes målrette crawlerens user-agent-tokens eksplicit i filen. Et user-agent-token er det navn, en crawler præsenterer sig med, fx GPTBot eller Googlebot. Forklaringen lyder teknisk, men den har en meget praktisk konsekvens. En udgiver kan sige ja eller nej til en crawler, men kan ikke via robots.txt sige ja til crawling og nej til en bestemt brug.
Hvorfor virker en hjemmelavet linje om AI-træning ikke?
En egen linje som “ingen AI-træning” i robots.txt virker ikke hos Google, fordi søgegigantens parser kun læser fire felter. Ifølge specifikationen er de fire felter User-Agent, Allow, Disallow og Sitemap, og ugyldige linjer bliver ignoreret. I videoen blev et opdigtet direktiv ved navn No-AI-Chicken-Training vist på skærmen for at illustrere pointen. En parser ville springe linjen over.
RFC 9309 lader i afsnit 2.2.4 crawlere selv bestemme, hvordan de behandler poster, der ligger uden for protokollen. Om en ekstra linje gør noget, afhænger derfor helt af den crawler, der læser filen. Nogle crawlere kan vælge at respektere en ukendt instruks, mens andre ignorerer den. AIsearch vurderer, at en dansk udgiver ikke kan bygge en politik på den slags linjer. Ingen kan kontrollere, hvem der følger dem, og ingen standard forpligter nogen til det.
Hvad styrer Google-Extended så?
Google-Extended styrer, om indhold, som Google crawler, må bruges til at træne fremtidige Gemini-modeller og til grounding i Gemini Apps og Grounding with Google Search på Vertex AI. Grounding betyder, at en sprogmodel henter aktuelle kilder ind, når den formulerer et svar. Google-Extended er et token uden egen crawler. Crawlingen sker fortsat med de almindelige user-agents, og tokenet bruges ifølge crawlerlisten kun som kontrol.
Google skriver også, at Google-Extended ikke påvirker, om et site er med i Google Søgning, og at tokenet ikke er et rangeringssignal. Betydningen som brugskontrol kommer fra virksomhedens egen produktdokumentation og ikke fra RFC 9309. Her er det nyttigt at skelne mellem tre lag. Sprogmodellen er motoren, her Gemini. Datagrundlaget er det indeks og den webadgang, modellen trækker på. Serveringen er fladen, hvor svaret vises, fx Gemini-appen eller Google Søgning. Google-Extended rammer træningen af motoren og en del af datagrundlaget for Gemini Apps og Vertex AI. Listen nævner ikke Google Søgning som en af de flader, tokenet styrer.
| Værktøj | Hvad det styrer | Status i oktober 2026 |
|---|---|---|
| Disallow for et bestemt user-agent-token | Om netop den crawler må hente bestemte URL’er | Standard efter RFC 9309 |
| Google-Extended | Gemini-træning og grounding i Gemini Apps og Vertex AI | Googles egen dokumentation, ikke standard |
| Hjemmelavet linje, fx “No-AI-Training” | Intet hos Google, andre crawlere vælger selv | Ignoreres af Googles parser |
| Content-Usage: train-ai=n | Ønske om brug af indhold, der må crawles | Kun udkast hos IETF |
AIsearchs oversigt over brugskontrol i robots.txt. Kilder: Google Search Central og IETF via Search Engine Journal, 22. oktober 2026.
Hvad er Content-Usage-udkastet fra IETF?
Content-Usage er en foreslået ny regel i robots.txt, som skal gøre det muligt at udtrykke ønsker om brugen af indhold, der må crawles. Forslaget ligger hos IETF, den organisation, der udvikler internettets tekniske standarder. Gary Illyes har skrevet udkastet sammen med Martin Thomson fra Mozilla. Den aktuelle version er dateret 19. august 2026 og vil, hvis den godkendes, opdatere RFC 9309 med Content-Usage-reglen og en tilsvarende HTTP-header.
Udkastet bevarer arbejdsdelingen i robots.txt. Allow og Disallow bestemmer fortsat, hvilke URL’er der må crawles, mens Content-Usage beskriver ønsker til brugen af det hentede. Ønskerne gælder kun stier, hvor crawleren har lov til at hente indhold. Udkastets eksempelfil tillader crawling og tilføjer feltet “train-ai=n”. Selve etiketten “train-ai” står dog i et separat udkast om ordforråd, dateret 14. september 2026, og ifølge Search Engine Journal skriver det udkast selv, at det ikke afspejler konsensus i arbejdsgruppen.
Content-Usage-udkastet er stadig et arbejdsgruppedokument. Arbejdsgruppen havde planlagt at sende det til IETF’s styregruppe i august 2026, men ifølge IETF Datatracker er det ikke sket endnu. Udkastet udløber 20. februar 2027, hvis ingen ny version afløser det. Hverken videoen eller dens beskrivelse nævner forslaget.
Hvorfor skal danske sites procentkode æ, ø og å i robots.txt?
Danske sites bør skrive stier med æ, ø og å i procentkodet form, fordi ældre og andre crawlere end Googles kan misforstå de rå tegn. Rådet kommer fra Cherry Prommawin i samme video. Søgegigantens egen parser koder de rå tegn om og behandler rå UTF-8 og procentkodede stier ens. På skærmen stod et rå emoji-eksempel med teksten “Works for Google, might break others”, mens den kodede udgave blev kaldt den sikre standardløsning.
Procentkodning betyder, at hvert specialtegn skrives som sine bytes i UTF-8 med et procenttegn foran. Et lille æ bliver til %C3%A6, et ø bliver til %C3%B8, og et å bliver til %C3%A5. Forestil dig en dansk vinhandel, der vil holde AI-crawlere ude af kategorien /rødvin/ og gemte filtre under /søg/. I stedet for at skrive Disallow: /rødvin/ skriver vinhandlen Disallow: /r%C3%B8dvin/, og /søg/ bliver til /s%C3%B8g/. Googlebot læser begge former ens. En mindre AI-crawler med en ældre parser kan derimod overse den rå form og hente siderne alligevel.
Store bogstaver har deres egne koder. Æ er %C3%86, Ø er %C3%98, og Å er %C3%85. Tjek også, at stierne i robots.txt matcher den præcise stavemåde i jeres URL’er, fordi robots.txt skelner mellem store og små bogstaver i stier.
Hvad betyder Googles forklaring for danske udgivere?
Danske udgivere, der vil sige nej til AI-træning, skal styre det crawler for crawler, fordi robots.txt ikke kan skelne mellem adgang og brug. AIsearch ser tre konsekvenser af Googles forklaring. Den første er, at en blokering altid er en blokering af en bestemt crawler, ikke af en bestemt brug. Den anden er, at Google-Extended er den eneste dokumenterede knap hos søgegiganten, og den gælder Gemini, ikke søgeresultaterne. Den tredje er, at der endnu ikke findes en fælles standard for at sige “crawl gerne, men træn ikke”.
Mange AI-selskaber har derfor valgt at dele deres crawlere op efter formål. OpenAI bruger GPTBot til træning og OAI-SearchBot til søgefunktionen i samtaleassistenten ChatGPT. Meta har på samme måde Meta-ExternalAgent og Meta-WebIndexer, som AIsearch har beskrevet i artiklen om Metas nye vilkår. Opdelingen gør det muligt at blokere træningscrawleren og tillade søgecrawleren. Den virker kun, fordi selskaberne selv har valgt at lave den.
Brugerudløste hentere er en særlig undtagelse. Google placerer Google-Agent, som virksomhedens agenter på egne servere bruger til at navigere på nettet efter brugerens anmodning, blandt de hentere, der som regel ikke følger robots.txt. Begrundelsen er, at et menneske har bedt om hentningen, skriver Search Engine Journal i en separat artikel. Robots.txt er altså et værktøj til automatisk crawling og ikke til alle besøg fra AI-tjenester.
En blokering i robots.txt er altid en blokering af en bestemt crawler, aldrig af en bestemt brug.
Sådan tjekker du din robots.txt efter Googles forklaring
En gennemgang af robots.txt efter Googles forklaring tager typisk under en time for et mindre site. AIsearch anbefaler fem trin, som kan gennemføres uden udviklerhjælp, hvis du har adgang til filen.
- Find de ugyldige linjerSlet hjemmelavede instrukser om AI-træning, som Google alligevel ignorerer, så filen ikke giver en falsk tryghed.
- Skriv regler pr. crawlerLav separate grupper for de AI-crawlere, du vil blokere, med deres præcise user-agent-tokens.
- Tag stilling til Google-ExtendedBeslut, om Gemini må trænes og groundes på jeres indhold. Valget påvirker ifølge Google ikke jeres plads i Google Søgning.
- Procentkod danske tegnSkriv stier med æ, ø og å som %C3%A6, %C3%B8 og %C3%A5, så alle parsere læser reglerne ens.
- Følg Content-UsageNotér udløbsdatoen 20. februar 2027 og tjek, om udkastet er blevet afløst af en ny version.
Skellet mellem sprogmodel, datagrundlag og servering gør det lettere at se, hvad en blokering faktisk rammer. AIsearchs grundguide forklarer de tre lag.
Ofte stillede spørgsmål
Kan robots.txt forhindre, at mit indhold bruges til AI-træning?
Robots.txt kan kun forhindre bestemte crawlere i at hente dine sider. Googles Gary Illyes forklarede 21. oktober 2026, at standarden RFC 9309 ikke styrer, hvad et system gør med data, der allerede er hentet. Du skal derfor blokere de crawlere, der bruges til træning, ved navn.
Forsvinder mit site fra Google Søgning, hvis jeg blokerer Google-Extended?
Google-Extended påvirker ifølge Googles dokumentation ikke, om et site er med i Google Søgning, og tokenet er ikke et rangeringssignal. Google-Extended styrer træning af fremtidige Gemini-modeller og grounding i Gemini Apps og Grounding with Google Search på Vertex AI.
Hvornår bliver Content-Usage en officiel standard?
Content-Usage har ingen fastsat dato som standard. Udkastet fra Gary Illyes og Mozillas Martin Thomson er stadig et arbejdsgruppedokument hos IETF, og det udløber 20. februar 2027, hvis ingen ny version afløser det.
Vil du sætte reglerne op i praksis, så læs AIsearchs guide til at bestemme, hvad AI-robotterne må. Baggrunden for Metas crawler-vilkår står i artiklen om Metas reviderede klausul, og Googles råd om sitemaps til AI-crawlere finder du i artiklen om sitemap.xml og RSS.
Kilder: Search Engine Journal, 22. oktober 2026 (Matt G. Southern) om Google Search Centrals video The Non-Canonical Cabinet, afsnit 2, samt Search Engine Journal, 22. oktober 2026 om Google-Agent. Vinhandlen er et tænkt eksempel. Artiklen er ikke juridisk rådgivning.
Senest revideret 24. oktober 2026. Artiklen gennemgås løbende, når AI-søgelandskabet flytter sig.
