CrawlerPulse
CrawlerPulse / Europe / Italy / milano.corriere.it

Corriere Milano

milano.corriere.it · Italy · RCS Mediagroup · measured 8 Oct 2026

Google Search
Allowed
Google-Extended
Blocked
OpenAI
Blocked
Anthropic
Blocked
Perplexity
Allowed
Meta
Blocked
Common Crawl
Blocked
ByteDance
Blocked
Apple
Blocked
Amazon
Blocked

robots.txt

As read on 8 Oct 2026, 10,173 bytes. 18 rule groups name AI crawlers; shown first.

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Disallow: /
Allow: /nativeadv/

User-agent: Claude-Web
Disallow: /
Allow: /nativeadv/

User-agent: PerplexityBot
Allow: /

User-agent: PetalBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Diffbot-User
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: *
Allow: /
Content-Signal: search=yes, ai-train=yes, ai-input=no
Disallow: /*?*app_name=
Disallow: /*?*matchcenter=
Disallow: *{{data.c.link_offerId}}
Disallow: /*_print.html$
Disallow: /notizie-ultima-ora/dup/
Disallow: */localwebapp
Disallow: /apw.js
Disallow: /*app_v2
Disallow: /*app_v1
Disallow: /cronache/articoli/2008/08_Agosto/08/crac_bburago_beni_sequestrati_appartamenti_trulli.shtml
Disallow: /milano/notizie/cronaca/10_ottobre_19/PROVA_non_Toccare-1703984172750.shtml
Disallow: /milano/notizie/cronaca/11_agosto_23/annega-biopiscina-mercallo-1901344751989.shtml
Disallow: /cronache/articoli/2008/10_Ottobre/01/truffe_informatiche_frode_fisco_agenzia_entrate_tangenti.shtml
Disallow: /cronache/articoli/2008/10_Ottobre/01/truffe_informatiche_frode_fisco_agenzia_entrate_tangenti.html
Disallow: /milano/notizie/cronaca/11_dicembre_5/piazza-bernini-box-condanne-1902429509559.shtml
Disallow: /milano/notizie/cronaca/09_gennaio_14/cancelliera_tribunale_avvisava_indagato_amore-150897105889.shtml
Disallow: /gallery/milano/01-2011/melania/1/bagno-sexy-melania_49d6edd8-2571-11e0-9e30-00144f02aabc.shtml
Disallow: /milano/notizie/cronaca/13_aprile_25/amici-suicidio-patto-segreto-212838575489.shtml
Disallow: /milano/notizie/cronaca/10_febbraio_18/cantante-arrestato-stalking-produttore-sanremo-1602495024416.shtml
Disallow: /milano/notizie/cronaca/09_febbraio_17/derivati_truffa_comune_banche_sette_avvisi_garanzia-1501008530145.shtml
Disallow: /milano/notizie/cronaca/13_aprile_23/due-amici-padri-separati-si-uccidono-insieme-gas-212806009055.shtml
Disallow: /milano/notizie/cronaca/13_aprile_24/padri-separati-suicidio-misteri-duplice-suicidio-gas-fidanzata-lavoro-212819957854.shtml
Disallow: /milano/notizie/cronaca/13_aprile_26/guido-schiatti-duplice-suicidio-ultime-ore-londra-appartamento-condivisione-212849854964.shtml
Disallow: /milano/dilatua/cronache/articoli/2013/04/25/amici-suicidio-patto-segreto_full.shtml
Disallow: /milano/notizie/cronaca/13_aprile_22/giovani-trovati-morti-suicidio-gas-appartamento-mancanza-lavoro-affetti-212793285973.shtml
Disallow: /milano/dilatua/cronache/articoli/2013/04/23/due-amici-padri-separati-si-uccidono-insieme-gas_full.shtml
Disallow: /milano/dilatua/cronache/articoli/2013/04/24/padri-separati-suicidio-misteri-duplice-suicidio-gas-fidanzata-lavoro_full.shtml
Disallow: /dilatua/cronache/articoli/2013/04/26//guido-schiatti-duplice-suicidio-ultime-ore-londra-appartamento-condivisione_full.shtml
Disallow: /cronache/articoli/2008/02_Febbraio/12/fallimento_burago.shtml
Disallow: /milano/notizie/cronaca/13_luglio_3/imprenditore-boldrocchi-arrestato-guardia-finanza-truffa-ministero-attivita-produttive-2221973623766.shtml
Disallow: /milano/notizie/cronaca/12_luglio_7/expo-azienda-legalita-appalto-201910463099.shtml
Disallow: /milano/notizie/cronaca/09_novembre_13/arresti-anarchici-centrosociale-1602003777510.shtml
Disallow: /milano/notizie/cronaca/13_marzo_3/chirurgo-estetico-intervento-donna-212627279.shtml
Disallow: /milano/notizie/cronaca/11_febbraio_1/schiacciata-semaforo-auto-marciapiede-pedoni-181372606425.shtml
Disallow: /milano/notizie/cronaca/12_novembre_24/fashion-blogger-denunciata-furto-capi-abbigliamento-firmati-2112861525601.shtml
Disallow: /gallery/milano/11-2012/olivia-alexandra/1/olivia-alexandra-blogger-denunciata_cb526a3a-3687-11e2-bfd1-d22e58b0f7cd.shtml
Disallow: /milano/notizie/cronaca/11_marzo_14/mani-da-evitare-190217793300.shtml
Disallow: /milano/notizie/cronaca/11_marzo_22/arresti-tangenti-buccinasco-190278039648.shtml
Disallow: /milano/notizie/cronaca/11_marzo_23/sindaco-buccinasco-loris-cereda-ferrari-prestito-190291364918.shtml
Disallow: /milano/notizie/cronaca/11_marzo_22/arresti-tangenti-buccinasco-190278039648.shtml
Disallow: /milano/notizie/cronaca/15_gennaio_21/sistema-sesto-ritratta-aula-l-architetto-accusatore-penati-972bf54c-a150-11e4-8f86-063e3fa7313b.shtml
Disallow: /milano/notizie/cronaca/12_novembre_8/falso-promotore-finanziario-truffa-milioni-euro-massimo-di-liberto-2112607537983.shtml
Disallow: /milano/notizie/cronaca/13_gennaio_22/aler-ferrovie-nord-mm-perquisizioni-noleggio-auto-appalti-truccati-compagnia-opere-kaleidos-2113651624730.shtml
Disallow: /milano/notizie/cronaca/12_gennaio_28/adescava-ragazze-facebook-legnano-dimissioni-presidente-consiglio-comunale-1903049229163.shtml
Disallow: /milano/notizie/cronaca/11_settembre_14/commercialista-arrestato-frode-fiscale-prostitute-prestanome-1901534768722.shtml
Disallow: /vivimilano/concerti/articoli/2003/03_Marzo/25etichette.shtml
Disallow: /concerti/articoli/2003/03_Marzo/25/etichette.shtml
Disallow: /milano/concerti/articoli/2003/03_Marzo/25/etichette.shtml
Disallow: /milano/notizie/cronaca/12_maggio_4/evasore-fiscale-sequestrato-yacht-debito-fisco-umberto-ruta-monza-dieci-milioni-restituire-stato-nullatenente-20125256361.shtml
Disallow: /milano/notizie/cronaca/12_ottobre_9/affari-amicizie-numero-due-istituto-ciechi-simona-ravizza-2112171041185.shtml
Disallow: /notizie/cronaca/12_ottobre_13/picheca-prefetto-cena-comune-mazzette-palazzo-2112245304706.shtml
Disallow: /milano/notizie/cronaca/12_ottobre_13/picheca-prefetto-cena-comune-mazzette-palazzo-2112245304706.shtml
Disallow: /milano/notizie/cronaca/11_dicembre_20/commissario-arrestato-colleghi-rubava-beni-sequestrati-1902601755279.shtml
Disallow: /notizie/cronaca/11_dicembre_20/commissario-arrestato-colleghi-rubava-beni-sequestrati-1902601755279.shtml
Disallow: /milano/notizie/cronaca/11_ottobre_28/arese-scoperta-coltivazione-marijuana-appartamento-1901979195429.shtml
Disallow: /notizie/cronaca/11_ottobre_28/arese-scoperta-coltivazione-marijuana-appartamento-1901979195429.shtml
Disallow: /milano/notizie/cronaca/11_dicembre_22/evasore-sconosciuto-stato-auto-lusso-casa-piscina-lugano-milano-1902625415788.shtml
Disallow: /notizie/cronaca/11_dicembre_22/evasore-sconosciuto-stato-auto-lusso-casa-piscina-lugano-milano-1902625415788.shtml
Disallow: /milano/notizie/cronaca/11_marzo_15/voti-calabresi-ai-politici-190226517952.shtml
Disallow: /notizie/cronaca/11_marzo_15/voti-calabresi-ai-politici-190226517952.shtml
Disallow: /notizie/cronaca/11_gennaio_11/incendi-business-rottami-riciclati-181232421014.shtml
Disallow: /milano/notizie/cronaca/11_gennaio_11/incendi-business-rottami-riciclati-181232421014.shtml
Disallow: /milano/notizie/cronaca/09_febbraio_5/racket_cimiteri_pompe_funebri_arresti_dirigenti_comune_pillitteri-150970833414.shtml
Disallow: /milano/notizie/cronaca/09_febbraio_5/racket_caro_estinto_santi_paradiso_intercettazioni-150970878214.shtml
Disallow: /milano/notizie/cronaca/09_febbraio_6/tangenti_funerali_interrogatorio_balladore_ferrari-150975810899.shtml
Disallow: /milano/notizie/cronaca/09_ottobre_9/dirigenti-comune-condanne-racket-funerali-caro-estinto-1601860831580.shtml
Disallow: /milano/dilatua/cronache/articoli/2011/12/22/5e003dba-2c81-11e1-a06d-72efe21acfe6_6/evasore-sconosciuto-stato-auto-lusso-casa-piscina-lugano-milano_full.shtml
Disallow: /milano/dilatua/cronache/articoli/2011/12/22/5e003dba-2c81-11e1-a06d-72efe21acfe6_4/evasore-sconosciuto-stato-auto-lusso-casa-piscina-lugano-milano_full.shtml
Disallow: /notizie/cronaca/14_dicembre_17/ndrangheta-pusher-coca-cabina-macchinisti-metro-eb29d26c-85c7-11e4-a2bf-0fba46a30b83.shtml
Disallow: /milano/notizie/cronaca/09_agosto_21/cantieri_expo_business_ndrangheta_giuzzi-1601687417204.shtml
Disallow: /milano/notizie/cronaca/15_marzo_26/cure-sbagliate-una-paziente-dentista-condannato-cassazione-e65f08b6-d3af-11e4-9231-aa2c4d8b5ec3.shtml
Disallow: /milano/notizie/cronaca/13_gennaio_23/kaleidos-societa-noleggio-auto-ferrovie-nord-compagnia-opere-cl-2113668369514.shtml
Disallow: /milano/notizie/cronaca/10_giugno_5/assessore-moratti-molestie-comune-milano-1703144541803.shtml
Disallow: /milano/notizie/cronaca/11_marzo_30/concorsi-universitari-truccati-perquisizioni-bocconi-statale-190342929639.shtml
Disallow: /milano/notizie/cronaca/14_aprile_11/spariti-74-milioni-imprenditore-arrestato-bancarotta-48b847b6-c14b-11e3-9f36-c28ea30209b6.shtml
Disallow: /milano/notizie/cronaca/13_settembre_18/beinasco-leroy%20merlin-minacce-immobiliarista-2223165204510.shtml
Disallow: /milano/notizie/cronaca/16_maggio_03/condannato-bancarotta-3-anni-fondatore-palestre-getfit-7a4cd9c2-1149-11e6-950d-3d35834ec81d.shtml
Disallow: /milano/notizie/cronaca/16_maggio_03/condannato-bancarotta-3-anni-fondatore-palestre-getfit-7a4cd9c2-1149-11e6-950d-3d35834ec81d_preview.shtml
Disallow: /milano/notizie/cronaca/09_ottobre_21/Fondi-neri-per-ventidue-milioni-arrestati-imprenditore-e-assessore-luigi-ferrarella-1601901304607.shtml
Disallow: /milano/notizie/cronaca/09_ottobre_20/arresti-santa-giulia-montecity-grossi-1601899543227.shtml
Disallow: /milano/notizie/cronaca/15_marzo_04/pavia-appalto-ribasso-san-matteo-fermati-padre-figlio-imprenditori-6c0438f4-c25f-11e4-9c34-ed665d94116e.shtml
Disallow: /_template/
Disallow: /*/localwebapp/proRecensione.do*
Disallow: /cronistipercaso/loadArg.do*
Disallow: /ricerca/
Sitemap: https://www.corriere.it/dynamic-sitemap/sitemap-last-100/Milano.xml

User-agent: AmazonAdBot
Allow: /

User-agent: AppleBot
Disallow: /
Allow: /nativeadv/

User-agent: Amzn-SearchBot
Allow: /

User-agent: Yandex
Disallow: / # prohibits crawling for the entire site

User-agent: Scrapy
Disallow: /

User-agent: NovriumRanker
Disallow: /

User-agent: Stucco5000
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider-render
Disallow: /

History

Changes recorded since June 2026.

No change recorded.

In context

Italy
54.5% block at least one AI crawler
Behind Cloudflare
No
Same group
up.corriere.it, corriere.it, gazzetta.it, magic.gazzetta.it