CrawlerPulse
CrawlerPulse / Europe / Germany / deutschlandfunk.de

deutschlandfunk.de

deutschlandfunk.de · Germany · measured 8 Oct 2026

Google Search
Allowed
Google-Extended
Allowed
OpenAI
Allowed
Anthropic
Allowed
Perplexity
Allowed
Meta
Allowed
Common Crawl
Allowed
ByteDance
Allowed
Apple
Allowed
Amazon
Allowed

robots.txt

As read on 8 Oct 2026, 994 bytes. No rule names an AI crawler.

User-agent: *
Disallow: /*.print?
Disallow: /*play=1
sitemap: https://www.deutschlandfunk.de/europathemen-100.sitemap
sitemap: https://www.deutschlandfunk.de/filter-heute-neu-100.sitemap
sitemap: https://www.deutschlandfunk.de/filter-heute-neu-audios-100.sitemap
sitemap: https://www.deutschlandfunk.de/filter-nachrichten-vertieft-100.sitemap
sitemap: https://www.deutschlandfunk.de/gesellschaftsthemen-100.sitemap
sitemap: https://www.deutschlandfunk.de/kulturthemen-100.sitemap
sitemap: https://www.deutschlandfunk.de/nachrichten-100.sitemap
sitemap: https://www.deutschlandfunk.de/nachrichten-110.sitemap
sitemap: https://www.deutschlandfunk.de/podcast-filter-296.sitemap
sitemap: https://www.deutschlandfunk.de/politikthemen-100.sitemap
sitemap: https://www.deutschlandfunk.de/thema-filter-100.sitemap
sitemap: https://www.deutschlandfunk.de/wirtschaftsthemen-100.sitemap
sitemap: https://www.deutschlandfunk.de/wissensthemen-100.sitemap
Crawl-delay: 5

History

Changes recorded since June 2026.

No change recorded.

In context

Germany
71.7% block at least one AI crawler
Behind Cloudflare
No