AI-crawlere har ingen Search Console: Googles Mueller anbefaler sitemap.xml og RSS

AI-crawlere har ingen Search Console, så du kan ikke indsende dit sitemap til dem. Googles John Mueller anbefaler derfor danske og andre udgivere at holde sig til standardnavnet sitemap.xml eller satse på RSS-feeds. Rådet kom i Googles podcast Search Off the Record 1. oktober 2026. Mueller fortalte samtidig, at han har set AI-crawlere hente både hans oversigtsfil og hans RSS-filer i sine egne serverlogs.

Hvad sagde John Mueller om AI-crawlere og sitemaps?

John Mueller sagde, at AI-crawlere, der indsamler træningsdata, normalt ikke giver webstedsejere nogen mulighed for at indsende et sitemap. Udtalelsen faldt i episoden “Do sitemaps still matter?” af Googles podcast Search Off the Record, som Mueller lavede sammen med kollegaen Martin Splitt, skriver Search Engine Journal. Mueller er Googles chef for Search Relations og en af de mest citerede stemmer om, hvordan Google crawler nettet.

Mueller fortalte også, at han i sine egne serverlogs har set AI-crawlere hente hans XML-oversigt og hans RSS-filer. Han navngav ikke crawlerne. Han sagde desuden, at han ikke ved, om AI-selskaberne dokumenterer adfærden, eller hvad de bruger filerne til. Udtalelsen er altså en observation fra én persons logs, ikke en officiel specifikation. For aisearch.dk’s læsere er den alligevel værdifuld, fordi den kommer fra en person, der kender crawling indefra, og fordi den peger på noget, alle kan tjekke på eget site.

Hvorfor kan du ikke indsende et sitemap til AI-crawlere?

Du kan ikke indsende et sitemap til AI-crawlere, fordi de fleste AI-selskaber ikke har et værktøj svarende til Google Search Console eller Bing Webmaster Tools. Mueller formulerede det sådan, at de “usually don’t have any kind of a Console”. Hos Google og Bing kan du selv aflevere filen og følge, om den bliver læst. Hos de selskaber, der træner sprogmodeller, må crawleren selv finde filerne.

Mueller beskrev samtidig en metode, nogle sites bruger til at holde deres URL-oversigt privat. Man giver filen et usædvanligt navn, udelader den fra robots.txt og indsender den kun direkte til Google. Ulempen er, at ingen andre systemer kan finde filen, og at Bing sandsynligvis kræver sin egen indsendelse. aisearch.dk’s pointe til danske udgivere er derfor, at en skjult oversigtsfil er et aktivt fravalg. Det holder også de AI-crawlere ude, som du måske gerne vil have med, og det skal være en bevidst beslutning.

Hvilket filnavn skal dit sitemap have?

Din XML-oversigt bør ligge på standardadressen /sitemap.xml, hvis du vil gøre det let for AI-crawlere at finde den. Mueller sagde direkte: “either you stick to the generic naming, call it sitemap.xml, or you focus on RSS feeds”. Derudover bør robots.txt have en Sitemap-linje. Ifølge sitemaps-protokollen er Sitemap-linjen uafhængig af user-agent-linjerne, så den gælder for alle crawlere, der understøtter direktivet.

Mange danske WordPress-sites bruger ikke det generiske navn. WordPress laver selv en oversigt på /wp-sitemap.xml, og SEO-tillægget Yoast bruger /sitemap_index.xml. Tag et tænkt eksempel: En lokalavis i Sønderjylland kører WordPress med Yoast og har aldrig tjekket, hvad der sker på /sitemap.xml. Svarer adressen med en fejl, og mangler robots.txt en Sitemap-linje, har en AI-crawler kun forsiden og de interne links at gå efter. Løsningen tager fem minutter: åbn /sitemap.xml i browseren, og se om den svarer eller viderestiller til den rigtige fil.

Hvorfor er RSS-feedet pludselig vigtigt igen?

RSS-feedet er vigtigt igen, fordi det er en af de få filer, AI-crawlere kan finde uden hjælp. Mueller forklarede, at feeds er lettere at opdage end XML-oversigter, fordi de normalt er linket fra sidens HTML-head. En crawler, der lander på en hvilken som helst artikel, kan altså se adressen på feedet. Feedet viser desuden de nyeste artikler først, hvilket passer til crawlere, der leder efter nyt indhold.

Mange danske udgivere har haft RSS kørende i årevis uden at tænke over det. WordPress laver et feed på /feed/ som standard, men nogle temaer og sikkerhedstillæg fjerner linket fra head eller slår feedet helt fra. aisearch.dk anbefaler at tjekke tre ting: at feedet svarer, at det er linket i kildekoden, og at det indeholder de artikler, du faktisk vil have fundet. Feedet er også nyttigt for nyhedslæsere, aggregatorer og overvågningsværktøjer, så der er ingen ulempe ved at holde det sundt.

Kan llms.txt erstatte et sitemap?

llms.txt kan ikke erstatte et XML-sitemap, ifølge John Mueller. llms.txt er en foreslået Markdown-fil, der skal give sprogmodeller et overblik over et site. Mueller sammenlignede filen med et HTML-sitemap og sagde, at Googles systemer ikke kan bruge den som sitemap, fordi den mangler det strenge format. “I think the hope is bigger than the reality,” sagde han og tilføjede, at søgesystemer måske læser Markdown-filer en dag.

Mueller har ikke noget imod, at sites eksperimenterer med llms.txt, men han ville ikke stole på filen. I august 2026 fortalte han, at de eneste crawlere på hans testsites, der påstod at tage imod Markdown, var SEO-værktøjer. I maj 2026 listede Googles egen guide til AI-optimering llms.txt blandt de tiltag, sites ikke behøver for at blive vist i Googles generative AI-funktioner. For en dansk marketingafdeling med begrænset tid er prioriteringen derfor klar: en fungerende XML-oversigt og et sundt RSS-feed kommer før llms.txt.

Hvorfor viser Search Console “Couldn’t fetch” på et gyldigt sitemap?

Search Console kan vise “Couldn’t fetch” på et gyldigt sitemap af to årsager, som Mueller nævnte: serverbelastning og lavt crawlbehov. Den første årsag ligger hos Google, hvis systemer kan være for travle til at hente filen. Den anden er mere ubehagelig, fordi Google springer filen over, når systemerne ikke ser behov for at crawle mere fra sitet.

Crawlbehovet hænger ifølge Mueller “very often” sammen med den oplevede kvalitet af et website, og det er “not purely a technical thing”. Allerede i februar 2026 sagde han til en Reddit-bruger, at Google ikke bruger oversigten, hvis Google ikke er overbevist om, at der er nyt og vigtigt indhold at indeksere. Search Consoles hjælpeside nævner også blokeringer i robots.txt, uløste manuelle handlinger og forkerte URL’er som mulige årsager. En dansk udgiver, der ser fejlen, bør derfor tjekke de tekniske ting først og derefter spørge, om indholdet giver Google en grund til at komme igen.

Skal du åbne eller lukke for AI-crawlerne?

Om du skal åbne eller lukke for AI-crawlere, afhænger af, om du vil have dit indhold med i sprogmodellernes datagrundlag. Muellers råd gælder sites, der ønsker at blive fundet. Udgivere, der ikke vil i træningsdata, kan blokere træningscrawlere som OpenAIs GPTBot og samtidig lukke søgecrawlere som OAI-SearchBot ind. Forskellen er vigtig: træningscrawlere henter tekst til selve sprogmodellen, mens søgecrawlere henter sider til de svar, en AI-flade viser med kildelinks.

En oversigtsfil med standardnavn og en henvisning i robots.txt overstyrer ikke dine blokeringer. Hvis du har lukket for en crawler i robots.txt, gælder blokeringen stadig for de crawlere, der respekterer den. aisearch.dk har samlet valgmulighederne i guiden om hvad AI-robotterne må med dit indhold. Tag beslutningen bevidst, så synligheden ikke afgøres af tilfældige tekniske standarder.

Et skjult sitemap og et slukket RSS-feed er også en beslutning om AI-synlighed. Bare en, du ikke har truffet aktivt.

Sådan tjekker du, om AI-crawlere kan finde dit indhold

Danske webstedsejere kan tjekke deres egen situation på en halv time med fem skridt, der bygger direkte på Muellers råd.

1. Åbn /sitemap.xmlSkriv dit domæne efterfulgt af /sitemap.xml i browseren. Siden skal vise din XML-oversigt eller viderestille til den.
2. Tjek robots.txtÅbn /robots.txt og se, om der står en Sitemap-linje med den fulde adresse. Tilføj den, hvis den mangler.
3. Find RSS-feedet i kildekodenSe kildekoden på en artikel og søg efter “application/rss+xml”. Linket skal pege på et feed, der svarer.
4. Læs dine serverlogsSøg efter kendte AI-crawlere som GPTBot, ClaudeBot og CCBot, og se hvilke filer de henter. Det er her, Mueller selv så aktiviteten.
5. Afstem med din robots.txt-politikKontrollér, at de crawlere du vil have ind, ikke er blokeret, og at dem du vil holde ude, stadig er det.

Ofte stillede spørgsmål om AI-crawlere og sitemaps

Kilde: Search Engine Journal 5. oktober 2026 om Googles podcast Search Off the Record (1. oktober 2026) med John Mueller og Martin Splitt. Lokalaviseksemplet er tænkt.

Senest revideret 6. oktober 2026. Artiklen gennemgås løbende, når AI-søgelandskabet flytter sig.