CrawlerPulse
CrawlerPulse / Europe / Ukraine / atn.ua

atn-ua

atn.ua · Ukraine · measured 8 Oct 2026

Google Search
Allowed
Google-Extended
Allowed
OpenAI
Allowed
Anthropic
Allowed
Perplexity
Allowed
Meta
Allowed
Common Crawl
Allowed
ByteDance
Allowed
Apple
Allowed
Amazon
Allowed

robots.txt

As read on 8 Oct 2026, 8,087 bytes. No rule names an AI crawler.

User-agent: *                  # Создаем секцию правил для роботов. * значит для всех
Disallow: /cgi-bin             # Стандартная папка на хостинге.
Disallow: /wp-                 # Все связанное с WP - это: /wp-content /wp-admin
Disallow: /assets/
Disallow: /wp/                 # Каталог куда установлено ядро WP (если ядро установлено
Disallow: /?                   # Все параметры запроса на главной.
Disallow: *?s=                 # Поиск.
Disallow: *&s=                 # Поиск.
Disallow: /search              # Поиск.
Disallow: /author/             # Архив автора.
Disallow: */embed$             # Все встраивания.
Disallow: */page/              # Все виды пагинации.
Disallow: */xmlrpc.php         # Файл WordPress API
Disallow: *utm*=               # Ссылки с utm-метками
Disallow: *openstat=           # Ссылки с метками openstat
Allow:    */wp-*/*ajax*.php    # AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow:    */wp-sitemap         # карта сайта (главная и вложенные)
Allow:    */uploads            # открываем uploads
Allow:    */wp-*/*.js          # внутри /wp- (/*/ - для приоритета)
Allow:    */wp-*/*.css         # внутри /wp- (/*/ - для приоритета)
Allow:    */wp-*/*.png         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.jpg         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.jpeg        # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.gif         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.svg         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.webp        # файлы в плагинах, cache папке и т.д.
Allow:    */wp-*/*.swf         # файлы в плагинах, cache папке и т.д.
Allow:    */wp-*/*.pdf         # файлы в плагинах, cache папке и т.д.
Allow:    */assets*/*ajax*.php    # AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow:    */assets*/*.js          # внутри /wp- (/*/ - для приоритета)
Allow:    */assets*/*.css         # внутри /wp- (/*/ - для приоритета)
Allow:    */assets*/*.png         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.jpg         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.jpeg        # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.gif         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.svg         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.webp        # файлы в плагинах, cache папке и т.д.
Allow:    */assets*/*.swf         # файлы в плагинах, cache папке и т.д.
Allow:    */assets*/*.pdf         # файлы в плагинах, cache папке и т.д.

User-agent: facebookexternalhit                  # Создаем секцию правил для роботов. * значит для всех
Disallow: /cgi-bin             # Стандартная папка на хостинге.
Disallow: /wp-                 # Все связанное с WP - это: /wp-content /wp-admin
Disallow: /assets/
Disallow: /wp/                 # Каталог куда установлено ядро WP (если ядро установлено
Disallow: /?                   # Все параметры запроса на главной.
Disallow: *?s=                 # Поиск.
Disallow: *&s=                 # Поиск.
Disallow: /search              # Поиск.
Disallow: /author/             # Архив автора.
Disallow: */embed$             # Все встраивания.
Disallow: */page/              # Все виды пагинации.
Disallow: */xmlrpc.php         # Файл WordPress API
Disallow: *utm*=               # Ссылки с utm-метками
Disallow: *openstat=           # Ссылки с метками openstat
Allow:    */wp-*/*ajax*.php    # AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow:    */wp-sitemap         # карта сайта (главная и вложенные)
Allow:    */uploads            # открываем uploads
Allow:    */wp-*/*.js          # внутри /wp- (/*/ - для приоритета)
Allow:    */wp-*/*.css         # внутри /wp- (/*/ - для приоритета)
Allow:    */wp-*/*.png         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.jpg         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.jpeg        # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.gif         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.svg         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.webp        # файлы в плагинах, cache папке и т.д.
Allow:    */wp-*/*.swf         # файлы в плагинах, cache папке и т.д.
Allow:    */wp-*/*.pdf         # файлы в плагинах, cache папке и т.д.
Allow:    */assets*/*ajax*.php    # AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow:    */assets*/*.js          # внутри /wp- (/*/ - для приоритета)
Allow:    */assets*/*.css         # внутри /wp- (/*/ - для приоритета)
Allow:    */assets*/*.png         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.jpg         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.jpeg        # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.gif         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.svg         # картинки в плагинах, cache папке и т.д.
Allow:    */assets*/*.webp        # файлы в плагинах, cache папке и т.д.
Allow:    */assets*/*.swf         # файлы в плагинах, cache папке и т.д.
Allow:    */assets*/*.pdf         # файлы в плагинах, cache папке и т.д.
Sitemap: https://atn.ua/news-sitemap.xml
Sitemap: https://atn.ua/sitemap_index.xml

History

Changes recorded since June 2026.

No change recorded.

In context

Ukraine
9.0% block at least one AI crawler
Behind Cloudflare
No