Google og Bing samler AI-fravalget i én linje i robots.txt, men først i 2027

Google, Microsoft Bing, OpenAI og Anthropic bakker op om ét fælles signal i robots.txt, der siger nej til AI-træning hos alle deltagende AI-selskaber på én gang. Google og Bing vil respektere det fra 2027. Signalet hedder __usage_ai-training og bygger på et udkast fra internetstandardorganet IETF. Bing gik samme dag et skridt videre og adskiller nu træning fra de AI-svar, der henter og citerer sider i realtid. For danske udgivere betyder det, at valget ikke længere er alt eller intet. Det betyder også, at gamle opsætninger skal gennemgås inden marts 2027.

Hvad er det fælles AI-signal i robots.txt?

Signalet __usage_ai-training er en fælles “policy token”, som et site skriver i robots.txt for at fortælle alle deltagende AI-selskaber, om indholdet må bruges til at træne sprogmodeller. Hidtil har udgivere skullet kende og spærre hver enkelt crawler for sig: GPTBot fra OpenAI, ClaudeBot fra Anthropic, Google-Extended fra Google, Applebot-Extended fra Apple og CCBot fra Common Crawl. Hver linje havde sine egne regler for, hvad den dækkede. Med det fælles signal kan ét fravalg gælde for alle de selskaber, der har tilsluttet sig.

Ifølge Googles dokumentation skrives signalet som en user-agent. Et site, der vil sige nej til træning på hele domænet, kan derfor skrive User-agent: __usage_ai-training efterfulgt af Disallow: /. En spærret sti betyder ifølge udkastet en præference imod AI-træning for netop den sti. Forslaget kommer fra arbejdsgruppen AIPREF under IETF, og det ligger stadig som et udkast på IETF’s datatracker. Signalet er en brugspræference og ikke en adgangskontrol. Robots.txt har altid bestemt, hvem der må hente sider. aisearch.dk beskrev for nylig, at robots.txt kun bestemmer adgang og ikke brug. Det nye signal er netop forsøget på at give filen et ord for, hvad indholdet må bruges til.

Hvordan vil Google behandle det nye signal?

Google vil tolke et fravalg via __usage_ai-training som et nej til Google-Extended, hvis sitet ikke selv har nævnt Google-Extended i robots.txt. Det skriver John Mueller fra Google i meddelelsen på Search Central-bloggen 30. oktober 2026. Google-Extended er den kontrol, Google har tilbudt siden 2023, og den styrer, om indhold må bruges til at træne og forbedre Gemini-modellerne. Google har tidligere oplyst, at Google-Extended ikke påvirker, om et site vises eller rangerer i Google Søgning.

De firmaspecifikke kontroller fortsætter side om side med det fælles signal. En udgiver kan altså give et bredt nej til alle og samtidig give Google et særskilt ja. Ifølge Google kan sites, der udtrykkeligt tillader Google-Extended, blive vist i svar og få klik via grounding i Gemini-apperne. Google påpeger også, at forslaget stemmer overens med EU’s adfærdskodeks for udbydere af AI-modeller til generelle formål under AI-forordningen. Kodekset anerkender robots.txt som den primære måde at udtrykke maskinlæsbare præferencer på. Google sigter mod at understøtte signalet i 2027, og siden om Googles fælles crawlere nævner begyndelsen af 2027. Googles meddelelse nævner ikke AI Overviews eller AI Mode, så signalet kan ikke læses som et fravalg af de to flader i Google Søgning.

Hvad ændrer Bing med de nye AI-indstillinger?

Microsoft Bing giver nu udgivere tre separate valg: AI-træning, AI-grounding og begrænset grounding. Grounding er den proces, hvor en AI-tjeneste henter sider i det øjeblik, den svarer på et spørgsmål, og derefter citerer eller opsummerer dem. Træning er den tidligere proces, hvor selve sprogmodellen bygges. Indtil nu har de fleste udgivere været tvunget til at behandle de to ting som én beslutning. Krishna Madhavan, Principal Product Manager hos Microsoft Bing, står bag meddelelsen, som Search Engine Roundtable har gennemgået.

AI-træning styres via det fælles signal i robots.txt for et helt site eller en sti, og Bing tilføjer præferencer på sideniveau. AI-grounding sættes kun på sideniveau, for eksempel med HTTP-headeren X-Robots-Tag: Bingbot: ai-grounding:disallow, skriver Relevant Audience. Der findes ingen grounding-præference for hele sitet i robots.txt. Den tredje mulighed, begrænset grounding, lader indholdet understøtte Microsofts egne AI-produkter, men ikke de grounding-tjenester, Microsoft sælger til andre selskabers chatbots. En udgiver kan dermed spærre for træning og stadig lade Copilot citere sine artikler. Microsoft understreger, at de traditionelle Bing-placeringer ikke påvirkes. Et nej til grounding kan til gengæld mindske synligheden i AI-svar.

Hvornår træder ændringerne i kraft?

Bings nye præferencer respekteres fra 1. februar 2027, og Googles støtte til det fælles signal er planlagt til begyndelsen af 2027. Bing har lagt en præcis tidsplan frem, mens Google kun har angivet et tidsrum. Den vigtigste dato for danske sites er 1. marts 2027. Efter den dato tæller NoArchive og NoCache ikke længere som AI-præferencer hos Bing. Mange udgivere har brugt de to direktiver som en nødløsning for at holde indhold ude af AI-svar, og de opsætninger mister altså deres virkning.

• 30. oktober 2026 Google og Microsoft annoncerer støtte til det fælles træningssignal
• 15. december 2026 Midlertidige grounding-indstillinger i Bing Webmaster Tools for sites med NoArchive eller NoCache
• Begyndelsen af 2027 Google planlægger at understøtte __usage_ai-training
• 1. februar 2027 Bing begynder at respektere de nye præferencer, når sider crawles
• 1. marts 2027 Frist for sites med de gamle direktiver, hvis spærringen skal bevares
• 30. september 2027 Bings midlertidige grounding-præferencer udløber

Hvad betyder ændringerne for danske udgivere og virksomheder?

Danske udgivere kan fra 2027 sige nej til AI-træning uden samtidig at forsvinde fra de AI-svar, der sender læsere videre. Hos aisearch.dk skelner vi mellem tre lag i AI-søgning: sprogmodellen, datagrundlaget og fladen, hvor svaret serveres. Træningssignalet handler om det første lag, mens Bings grounding-valg handler om, hvad modellen må hente, når et svar skrives. Den skelnen gør beslutningen langt mere præcis end en samlet spærring af en crawler.

Tag en dansk regionalavis som eksempel. Avisen har i dag måske fem linjer i robots.txt, der spærrer GPTBot, ClaudeBot, Google-Extended, CCBot og Applebot-Extended. Avisen vil gerne have betaling, før indholdet bruges til træning, men den vil også gerne citeres i Copilot og Gemini, fordi citater kan give klik. I 2027 kan avisen erstatte meget af listen med det fælles signal og lade grounding være åben hos Bing. En webshop står et andet sted. Her vejer synlighed i AI-svar typisk tungere end træningsspørgsmålet, og et nej til grounding vil sjældent give mening. Meta står ikke blandt de selskaber, der er nævnt i meddelelserne. Danske virksomheder skal derfor stadig forholde sig særskilt til Metas nye vilkår om crawling.

Er den fælles standard færdig?

Den fælles standard er ikke færdig, og signalet er stadig et udkast i IETF. Selskaberne har forpligtet sig til at understøtte signalet, men ikke til en fastlåst definition af, hvad træning dækker. Et udkast kan ændre ordlyd, omfang og syntaks, før det bliver vedtaget. Udgiveren Nate Hake, der har deltaget i arbejdsgruppen det seneste år, skriver på X, at arbejdet ikke er afsluttet på IETF-niveau, og at der stadig er væsentlige uenigheder.

Nate Hake er især utilfreds med, at det nuværende udkast i praksis undtager alt, hvad en bruger selv gør, fra præferencerne. Ifølge ham rammer det kunstnere og skabere, der kopieres af AI-genereret spam. Der er også en forskel mellem de to store søgeaktører. Googles signal dækker kun træning, mens Bing skelner mellem træning og svar. Et site, der vil citeres i Googles AI-svar uden at indgå i Geminis træningsdata, skal derfor stadig læse to sæt dokumentation, skriver PPC Land.

Et nej til AI-træning er ikke længere et nej til at blive citeret. Den skelnen bliver det vigtigste valg for danske udgivere i 2027.

Sådan forbereder du din robots.txt

Forberedelsen af robots.txt kan begynde i dag, selv om signalet først virker i 2027. De fleste skridt handler om at vide, hvad sitet allerede gør, og hvad man egentlig ønsker.

1. Kortlæg de nuværende AI-linjerFind de user-agents i robots.txt, der i dag spærrer AI-crawlere, for eksempel GPTBot, ClaudeBot, Google-Extended, CCBot og Applebot-Extended.
2. Tjek for NoArchive og NoCacheBruger sitet de to direktiver som AI-spærring hos Bing, skal de nye præferencer sættes op senest 1. marts 2027.
3. Beslut træning og grounding hver for sigAfgør, om indholdet må træne modeller, og om det må hentes og citeres i AI-svar. Svarene kan sagtens være forskellige.
4. Tilføj det fælles signal, når støtten er bekræftetBehold de firmaspecifikke linjer, indtil udbyderne har bekræftet, at __usage_ai-training faktisk respekteres.
5. Følg citaterne bagefterBrug rapporten AI Performance i Bing Webmaster Tools, der viser citater, citerede URL’er og grounding-forespørgsler.

Ofte stillede spørgsmål

Kilder: Google Search Central Blog (30. oktober 2026), Search Engine Roundtable om Google og Bing, PPC Land, Relevant Audience og IETF. Datoer kan flytte sig, mens udkastet behandles.

Senest revideret 31. oktober 2026. Artiklen gennemgås løbende, når AI-søgelandskabet flytter sig.