Du kan sige nej til, at dit indhold træner AI-modeller, uden at miste din plads i søgeresultaterne. Apple skrev det direkte ind i sin Applebot-dokumentation i weekenden op til 7. september 2026: reglerne for Applebot-Extended tæller ikke med i ranking for Search. Google har samme adskillelse for Google-Extended. Guiden her viser, hvilke robotter der findes, hvad du mister ved at blokere hver enkelt, og hvordan reglerne skrives.
- Træning, søgning og bruger-udløst hentning styres af hver sin robot — ét nej rammer ikke det hele.
- Apple og Google oplyser begge, at deres trænings-tokens ikke påvirker placeringer i søgning.
- Blokerer du OAI-SearchBot, forsvinder du fra ChatGPT’s søgesvar.
- Bruger-udløste hentninger som ChatGPT-User og Claude-User følger ikke nødvendigvis robots.txt.
- OpenAI oplyser, at der går cirka 24 timer, fra du retter robots.txt, til systemerne justerer sig.
Hvad er forskellen på de robotter, der henter dit indhold?
Robotterne falder i tre grupper, og de har hver sit formål. Den første gruppe henter indhold til træning af sprogmodeller. Den anden bygger det indeks, som AI-tjenesternes søgefunktion slår op i. Den tredje henter en enkelt side, fordi en bruger lige har stillet et spørgsmål, der kræver siden.
Adskillelsen er hele pointen. Et forlag kan sige nej til træning og ja til at blive fundet. En webshop kan gøre det modsatte. Blander man grupperne sammen, ender man let med at lukke for den trafik, man gerne ville have, mens træningen fortsætter et andet sted fra. AIsearch ser den fejl ofte i danske robots.txt-filer, hvor et enkelt bredt Disallow skal dække alt.
Bemærk også, at robots.txt er en instruks, ikke en lås. De store selskaber følger den. Anthropic oplyser desuden, at blokering på IP-adresser ikke virker pålideligt, fordi adresserne skifter.
Koster det synlighed at sige nej til AI-træning?
Nej — hos Apple og Google koster et nej til træning ikke synlighed i søgning. Apple tilføjede i september 2026 sætningen om, at regler for Applebot-Extended ikke indgår i ranking for Search. Apple skriver samtidig, at indholdet fortsat kan findes gennem Spotlight, Siri og Safari, selv om du blokerer Applebot-Extended.
Google beskriver Google-Extended på samme måde. Tokenet styrer, om indhold må bruges til at træne kommende Gemini-modeller og til grounding, hvor modellen får materiale fra søgeindekset undervejs i et svar. Google oplyser, at Google-Extended hverken påvirker et sites optagelse i Google Søgning eller bruges som rangeringssignal.
Prisen ligger et andet sted. Siger du nej til grounding hos Google, kan dit indhold ikke bruges som grundlag, når Gemini-apps svarer. Du kan altså blive ved med at ligge nummer et på en søgning og alligevel være fraværende i det AI-svar, der står over resultaterne.
Hvilke tokens skal en dansk udgiver kende?
Fire selskaber dækker langt størstedelen af trafikken. Tabellen samler deres tokens og konsekvensen af at blokere hver enkelt. Navnene skal skrives præcis som vist, for et stavefejlet token bliver simpelthen ignoreret af robotten.
| Token | Selskab | Hvad den gør | Det mister du ved at blokere |
|---|---|---|---|
| Google-Extended | Træning af Gemini-modeller og grounding i Gemini-apps | Ikke synlighed i Google Søgning, men grundlag i Gemini-svar | |
| GPTBot | OpenAI | Henter indhold, der kan bruges til at træne modellerne | Ikke placering i ChatGPT’s søgesvar |
| OAI-SearchBot | OpenAI | Indekserer sider til ChatGPT’s søgefunktion | Du vises ikke i ChatGPT’s søgesvar |
| Applebot-Extended | Apple | Træning af Apples foundation-modeller | Intet i Search; Spotlight og Siri fungerer fortsat |
| ClaudeBot | Anthropic | Henter indhold til træning af Claude | Ikke søgesynlighed, som styres af Claude-SearchBot |
Hvordan skriver du reglerne i robots.txt?
Reglerne skrives som grupper med et user-agent-navn og en disallow-linje. Filen skal ligge i roden af domænet, altså på dinside.dk/robots.txt, og hvert subdomæne har sin egen fil. Har du både www og et shop-subdomæne, skal begge steder rettes.
- Beslut dig førstVælg for hver af de tre grupper — træning, søgning, bruger-udløst — om du vil sige ja eller nej.
- Skriv én gruppe per robotEksempel: linjen User-agent: Applebot-Extended efterfulgt af Disallow: / lukker for Apples træning.
- Lad søgerobotterne væreRør ikke ved Googlebot eller OAI-SearchBot, hvis du gerne vil findes.
- Gentag på hvert subdomæneAnthropic understreger, at fravalget skal gentages for hvert subdomæne, du vil have med.
- Vent et døgnOpenAI oplyser, at der kan gå omkring 24 timer, før ændringen slår igennem i søgesvarene.
Skriver du et fravalg til Applebot-Extended, så husk at Applebot følger Googlebots regler, hvis Applebot ikke selv er nævnt i filen. En bred Disallow-regel til Googlebot kan derfor lukke Apple ude af Spotlight og Siri, uden at du har bedt om det.
Hvordan ser en robots.txt ud, der åbner for de mest relevante robotter?
En balanceret robots.txt lukker for trænings-tokens og lader søge-robotterne arbejde uforstyrret. Eksemplet herunder er den opsætning, AIsearch anbefaler som udgangspunkt til et dansk medie eller en dansk webshop, der gerne vil findes i Google, ChatGPT, Claude og Apples produkter, men sige nej til at levere gratis træningsdata.
# Søgerobotter — hold disse åbne, hvis du vil findes User-agent: Googlebot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Applebot Allow: / # Trænings-tokens — luk dem her, hvis du siger nej til AI-træning User-agent: Google-Extended Disallow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Applebot-Extended Disallow: / Sitemap: https://dinside.dk/sitemap.xml
Læg mærke til rækkefølgen: søgerobotterne står øverst med Allow, så det er tydeligt for den, der retter filen senere, hvad der er bevidst holdt åbent. Husk at erstatte dinside.dk med dit eget domæne, og gentag filen på hvert subdomæne, som beskrevet i trin 4 ovenfor. Vil du i stedet sige ja til træning på arkivstof men nej på nyheder, flyttes Disallow-linjerne ned på mappeniveau, for eksempel Disallow: /arkiv/ i stedet for Disallow: /.
Hvad kan robots.txt ikke klare?
Robots.txt dækker ikke de hentninger, en bruger selv sætter i gang. OpenAI beskriver ChatGPT-User som agenten, der besøger en side, fordi brugeren har stillet et spørgsmål, der kræver den. Fordi handlingen kommer fra et menneske, gælder robots.txt-reglerne ikke nødvendigvis. Anthropic har tilsvarende Claude-User til bruger-udløste opslag.
Til gengæld findes der et værktøj mere. Apple peger på meta-tagget nosnippet, hvis du ikke vil have dit indhold brugt som ekstra kontekst i brede vidensspørgsmål i Apples produkter. Samme direktiv kan sendes som HTTP-header med X-Robots-Tag, hvilket er praktisk for PDF-filer og billeder, hvor et meta-tag ikke kan sættes.
Har du betalingsmur, understøtter Applebot desuden schema.org-egenskaben isAccessibleForFree, som markerer, at siden ligger bag en mur. Den slags markering er en oplysning til robotten, ikke en teknisk spærring.
Robots.txt er et skilt på døren, ikke en lås — men de store selskaber læser skiltet.
Hvordan tjekker du, om reglerne virker?
Serverloggen er facit. Søg efter navnene GPTBot, OAI-SearchBot, ClaudeBot og Applebot i loggen, og se om besøgene fortsætter efter et par dage. Både Apple, OpenAI og Google udgiver desuden lister over de IP-adresser, robotterne kommer fra, så du kan skelne ægte besøg fra forfalskede user-agent-strenge.
Kontroller også, at du ikke har lukket for det, du gerne vil beholde. Google Search Console viser, om siderne stadig indekseres, og rapporten over generativ AI viser, hvor ofte indholdet optræder i AI-svar. Vi har beskrevet den rapport i artiklen om, at alle nu kan se, hvor ofte Google bruger deres indhold i AI-svar.
Hvad bør en dansk udgiver vælge?
Valget afhænger af, hvor pengene kommer fra. Lever du af abonnenter og eget brand, taler meget for at blokere trænings-tokens og beholde søgerobotterne. Lever du af at blive fundet af nye læsere, er et bredt nej dyrt, fordi du så også forsvinder fra de flader, hvor stadig flere begynder deres søgning.
En mellemvej findes. Du kan blokere træning på arkivet og tillade det på nyhedssektionen, fordi robots.txt accepterer regler på mappeniveau. AIsearch anbefaler at skrive beslutningen ned sammen med datoen, så du om et halvt år kan se, hvad du valgte, og hvorfor. Landskabet flytter sig hurtigt, og aftaler mellem udgivere og AI-selskaber ændrer forudsætningerne. Vi har samlet dem i vores overblik over licensaftaler mellem udgivere og AI-selskaber.
Ofte stillede spørgsmål
Falder mine placeringer i Google, hvis jeg blokerer Google-Extended?
Google-Extended påvirker ikke placeringer. Google oplyser i sin dokumentation fra juli 2026, at tokenet hverken har betydning for, om et site optages i Google Søgning, eller bruges som rangeringssignal. Tokenet styrer alene træning af Gemini-modeller og grounding.
Hvad er forskellen på GPTBot og OAI-SearchBot?
GPTBot henter indhold, der kan indgå i træningen af OpenAI’s modeller. OAI-SearchBot indekserer sider til ChatGPT’s søgefunktion. Blokerer du OAI-SearchBot, optræder dit site ikke i ChatGPT’s søgesvar, men kan stadig optræde som navigationslink.
Kan jeg stoppe ChatGPT-User og Claude-User med robots.txt?
ChatGPT-User og Claude-User er bruger-udløste agenter, og OpenAI oplyser, at robots.txt-regler ikke nødvendigvis gælder for dem. De henter en enkelt side på foranledning af et menneske og bruges ikke til automatisk crawl. Vil du begrænse dem, skal du bruge adgangskontrol på serveren.
Kilder: Apples Applebot-dokumentation, Googles oversigt over almindelige crawlere (opdateret 14. juli 2026), OpenAI’s crawler-dokumentation og Anthropics vejledning til sitejere. Apples tilføjelse blev noteret af Search Engine Roundtable den 7. september 2026.
Senest revideret 8. september 2026. Artiklen gennemgås løbende, når AI-søgelandskabet flytter sig.
