CrawlerPulse
CrawlerPulse / Europe / Germany / zdf.de

zdf.de

zdf.de · Germany · measured 8 Oct 2026

Google Search
Allowed
Google-Extended
Allowed
OpenAI
Allowed
Anthropic
Allowed
Perplexity
Allowed
Meta
Allowed
Common Crawl
Allowed
ByteDance
Allowed
Apple
Allowed
Amazon
Allowed

robots.txt

As read on 8 Oct 2026, 1,619 bytes. 1 rule group name AI crawlers; shown first.

User-agent: CCBot
User-agent: Google-Extended
User-agent: GPTBot
User-agent: ChatGPT-User
User-Agent: scrapy
User-Agent: scrapybot
User-Agent: SemrushBot
User-Agent: sentibot
User-Agent: SEOkicks-Robot
User-Agent: TkBot
User-Agent: trendkite-akashic-crawler
User-Agent: Vagabondo
User-Agent: WBSearchBot
User-Agent: grapeshot
User-Agent: iCjobs
User-Agent: linkdexbot
User-Agent: magpie-crawler
User-Agent: MegaIndex
User-Agent: MJ12bot
User-Agent: proximic
User-Agent: QuerySeekerSpider
Disallow: /video/kurzfassungen/bundesliga-saison-2023-2024-fussball-highlights-zusammenfassung-100/
Disallow: /video/kurzfassungen/bundesliga-fussball-highlights-zusammenfassung-100/
Disallow: /video/kurzfassungen/fussball-highlights-zusammenfassung-100/
Disallow: /video/kurzfassungen/bundesliga-saison-2022-2023-fussball-highlights-100/
Disallow: /video/kurzfassungen/fussball-highlights-spiele-ergebnisse-zusammenfassungen-100/
Disallow: /video/kurzfassungen/2-bundesliga-fussball-highlights-zusammenfassung-102/
Disallow: /play/kurzfassungen/bundesliga-saison-2023-2024-fussball-highlights-zusammenfassung-100/
Disallow: /play/kurzfassungen/bundesliga-fussball-highlights-zusammenfassung-100/
Disallow: /play/kurzfassungen/fussball-highlights-zusammenfassung-100/
Disallow: /play/kurzfassungen/bundesliga-saison-2022-2023-fussball-highlights-100/
Disallow: /play/kurzfassungen/fussball-highlights-spiele-ergebnisse-zusammenfassungen-100/
Disallow: /play/kurzfassungen/2-bundesliga-fussball-highlights-zusammenfassung-102/

Sitemap: https://www.zdf.de/mediathek-sitemap.xml
Sitemap: https://www.zdf.de/sitemap-zdfunternehmen.xml

History

Changes recorded since June 2026.

No change recorded.

In context

Germany
71.7% block at least one AI crawler
Behind Cloudflare
No