# Content usage preferences for AI (contentsignals.org)
# Заявляем СВОЙ сигнал явно: он согласован с блоком GPTBot/CCBot/anthropic-ai ниже.
# ДЕРЖАТЬ эту строку. Если её убрать, свою допишет НАШ Worker agent-readiness,
# а НЕ Cloudflare: тумблер Managed robots.txt в зоне выключен (проверено 2026-08-08).
# До 2026-08-08 Worker писал ai-train=yes — против блока ботов ниже; теперь пишет ai-train=no.
Content-Signal: search=yes, ai-input=yes, ai-train=no

# robots.txt for https://3ddevice.com.ua  (3DDevice)
# OpenCart 3.x + Journal3
# Languages: UA (default) / RU (/ru/) / EN (/en/)
# Version: 2026-08-06 (заменяет черновик 2026-08-05 и версии 2026-05 / 2026-08-01)
#
# ПРОВЕРЕНО ПЕРЕД ВЫКЛАДКОЙ (protego = парсер по спецификации Google, 2026-08-06):
#  - все 16 747 URL из карт сайта 5 проектов прогнаны через эти правила:
#    закрытых карт-URL = 0 (для Googlebot, bingbot, OAI-SearchBot);
#  - языковые версии, карточки товара, категории, CSS/JS/изображения — открыты;
#  - admin/system, account/checkout/affiliate/api, search/compare — закрыты,
#    в том числе под языковыми префиксами.
#
# ЧТО ИСПРАВЛЕНО ОТНОСИТЕЛЬНО ЧЕРНОВИКА 2026-08-05:
#  1. /index.php?route=... -> /*route=...  Прежняя форма совпадала только с корневым
#     /index.php и НЕ закрывала /ru/index.php?route=account/, /pl/?route=checkout/.
#     Для center3dprint (все URL с языковым префиксом) она не закрывала вообще ничего.
#  2. Возвращены /cache/ и site-specific параметры, потерянные при «унификации».
#  3. page=1 закрыт и в форме ?page=1&... (было только на конце строки).
#  4. Явно открыт /*route=extension/feed/ — /ru/branched-sitemap.xml редиректит туда.
#
# ВНИМАНИЕ (не решается этим файлом):
#  1. Строку Content-Signal в отдаваемый robots.txt дописывает НАШ Worker agent-readiness,
#     а НЕ Cloudflare: тумблер AI Content Signals в зоне выключен (проверено 2026-08-08).
#     Искать причину в настройках зоны бесполезно — правится КОД воркера через API Workers.
#     С 2026-08-08 во всех воркерах обоих аккаунтов ai-train=no (сверено выкачкой кода из CF).
#  2. Cloudflare кэширует robots.txt дольше заявленного max-age=300: на 3dprinter.com.ua
#     правка от 2026-08-01 5 суток не доходила до поисковиков (origin отдавал новый файл,
#     край — старый). После КАЖДОЙ правки: purge кэша и проверка ?cb=<дата>.
#
# TRADE-OFF (осознанный, следить в GSC):
#  Закрытые здесь параметры Google не может прочитать -> не видит rel=canonical и
#  X-Robots-Tag. Если такие URL линкуются изнутри (сортировка, лимит, пагинация в теме),
#  они осядут как «Проиндексировано, несмотря на блокировку» — именно так на 3dscanner
#  набралось 243 URL, из-за чего 2026-08-01 блокировку временно сняли.
#  Условие возврата блокировки: внутренние ссылки на параметрические URL закрыты
#  (rel=nofollow / JS-переключатели). Проверять Coverage в GSC еженедельно.


Sitemap: https://3ddevice.com.ua/branched-sitemap.xml
Sitemap: https://3ddevice.com.ua/ru/branched-sitemap.xml
Sitemap: https://3ddevice.com.ua/en/branched-sitemap.xml

# ======================================================
# Googlebot
# ======================================================
User-agent: Googlebot
Allow: /

# service directories
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /cache/
Disallow: /download/
Disallow: /export/
Disallow: /install/
Disallow: /vqmod/
Disallow: /ocmod/
Disallow: /storage/
Disallow: /cli/
Allow: /catalog/view/

# private / non-indexable OpenCart routes
# /*route= (не /index.php?route=): закрывает и /ru/index.php?route=..., и /pl/?route=...
Disallow: /*route=account/
Disallow: /*route=checkout/
Disallow: /*route=affiliate/
Disallow: /*route=api/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /*route=common/home
Disallow: /*route=error/not_found

# product/category pages must stay crawlable (длиннее -> побеждает у Google)
Allow: /*route=product/product
Allow: /*route=product/category
# фиды карты сайта должны оставаться доступными
Allow: /*route=extension/feed/

# parameter hygiene
Disallow: /*page=1$
# правило с '&' корректно по спецификации Google, но библиотека protego
# его не проверяет (она percent-кодирует '&'), поэтому оно вне автотеста
Disallow: /*page=1&
Disallow: /*filter_
Disallow: /*filter=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*limit=
Disallow: /*tag=
Disallow: /*search=
Disallow: /*tracking=
Disallow: /*journal_blog_tag=

# site-specific filter params (проверено 2026-08-05: отдают 200 и дубль контента)
Disallow: /*price=
Disallow: /*minprice=
Disallow: /*maxprice=
Disallow: /*color=
Disallow: /*color_default=
Disallow: /*brand_tabletpc=
Disallow: /*mode=
Disallow: /*cat=
Disallow: /*dir=
Disallow: /*keyword=
Disallow: /*av=
Disallow: /*create=1

# tracking / ad parameters
Disallow: /*utm_
Disallow: /*gclid=
Disallow: /*gclsrc=
Disallow: /*yclid=
Disallow: /*fbclid=
Disallow: /*msclkid=
Disallow: /*mc_cid=
Disallow: /*mc_eid=
Disallow: /*ref=
Disallow: /*source=
Disallow: /*awc=
Disallow: /*afmc=

# assets must stay crawlable
Allow: /image/
Allow: /*.css
Allow: /*.js
Allow: /*.webp
Allow: /*.jpg
Allow: /*.png
Allow: /*.svg

User-agent: Googlebot-Image
Allow: /
Allow: /image/
Disallow: /admin/
Disallow: /system/

# ======================================================
# Bing
# ======================================================
User-agent: bingbot
Allow: /

# service directories
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /cache/
Disallow: /download/
Disallow: /export/
Disallow: /install/
Disallow: /vqmod/
Disallow: /ocmod/
Disallow: /storage/
Disallow: /cli/
Allow: /catalog/view/

# private / non-indexable OpenCart routes
# /*route= (не /index.php?route=): закрывает и /ru/index.php?route=..., и /pl/?route=...
Disallow: /*route=account/
Disallow: /*route=checkout/
Disallow: /*route=affiliate/
Disallow: /*route=api/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /*route=common/home
Disallow: /*route=error/not_found

# product/category pages must stay crawlable (длиннее -> побеждает у Google)
Allow: /*route=product/product
Allow: /*route=product/category
# фиды карты сайта должны оставаться доступными
Allow: /*route=extension/feed/

# parameter hygiene
Disallow: /*page=1$
# правило с '&' корректно по спецификации Google, но библиотека protego
# его не проверяет (она percent-кодирует '&'), поэтому оно вне автотеста
Disallow: /*page=1&
Disallow: /*filter_
Disallow: /*filter=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*limit=
Disallow: /*tag=
Disallow: /*search=
Disallow: /*tracking=
Disallow: /*journal_blog_tag=

# site-specific filter params (проверено 2026-08-05: отдают 200 и дубль контента)
Disallow: /*price=
Disallow: /*minprice=
Disallow: /*maxprice=
Disallow: /*color=
Disallow: /*color_default=
Disallow: /*brand_tabletpc=
Disallow: /*mode=
Disallow: /*cat=
Disallow: /*dir=
Disallow: /*keyword=
Disallow: /*av=
Disallow: /*create=1

# tracking / ad parameters
Disallow: /*utm_
Disallow: /*gclid=
Disallow: /*gclsrc=
Disallow: /*yclid=
Disallow: /*fbclid=
Disallow: /*msclkid=
Disallow: /*mc_cid=
Disallow: /*mc_eid=
Disallow: /*ref=
Disallow: /*source=
Disallow: /*awc=
Disallow: /*afmc=

# assets must stay crawlable
Allow: /image/
Allow: /*.css
Allow: /*.js
Allow: /*.webp
Allow: /*.jpg
Allow: /*.png
Allow: /*.svg


User-agent: BingPreview
Allow: /
Disallow: /admin/
Disallow: /system/

# ======================================================
# AI search crawlers - ALLOWED (drive referral traffic)
# ======================================================
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /*route=account/
Disallow: /*route=checkout/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /*route=account/
Disallow: /*route=checkout/

User-agent: PerplexityBot
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /*route=account/
Disallow: /*route=checkout/

User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /*route=account/
Disallow: /*route=checkout/

User-agent: Claude-Web
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /*route=account/
Disallow: /*route=checkout/

User-agent: Google-Extended
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /*route=account/
Disallow: /*route=checkout/

# ======================================================
# AI training crawlers - BLOCKED
# ======================================================
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Timpibot
Disallow: /

# ======================================================
# Yandex - BLOCKED (policy 2026-08-04)
# ======================================================
User-agent: Yandex
Disallow: /

User-agent: YandexBot
Disallow: /

User-agent: YandexImages
Disallow: /

# ======================================================
# SEO tools - only SE Ranking allowed (working tool)
# ======================================================
User-agent: SerankingBot
Allow: /
Disallow: /admin/
Disallow: /system/

User-agent: SE Ranking Bot
Allow: /
Disallow: /admin/
Disallow: /system/

User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsSiteAudit
Disallow: /

User-agent: Screaming Frog SEO Spider
Disallow: /

User-agent: ScreamingFrogSEOSpider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: SeekportBot
Disallow: /

# ======================================================
# Everyone else
# ======================================================
User-agent: *
Allow: /

# service directories
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /cache/
Disallow: /download/
Disallow: /export/
Disallow: /install/
Disallow: /vqmod/
Disallow: /ocmod/
Disallow: /storage/
Disallow: /cli/
Allow: /catalog/view/

# private / non-indexable OpenCart routes
# /*route= (не /index.php?route=): закрывает и /ru/index.php?route=..., и /pl/?route=...
Disallow: /*route=account/
Disallow: /*route=checkout/
Disallow: /*route=affiliate/
Disallow: /*route=api/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /*route=common/home
Disallow: /*route=error/not_found

# product/category pages must stay crawlable (длиннее -> побеждает у Google)
Allow: /*route=product/product
Allow: /*route=product/category
# фиды карты сайта должны оставаться доступными
Allow: /*route=extension/feed/

# parameter hygiene
Disallow: /*page=1$
# правило с '&' корректно по спецификации Google, но библиотека protego
# его не проверяет (она percent-кодирует '&'), поэтому оно вне автотеста
Disallow: /*page=1&
Disallow: /*filter_
Disallow: /*filter=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*limit=
Disallow: /*tag=
Disallow: /*search=
Disallow: /*tracking=
Disallow: /*journal_blog_tag=

# site-specific filter params (проверено 2026-08-05: отдают 200 и дубль контента)
Disallow: /*price=
Disallow: /*minprice=
Disallow: /*maxprice=
Disallow: /*color=
Disallow: /*color_default=
Disallow: /*brand_tabletpc=
Disallow: /*mode=
Disallow: /*cat=
Disallow: /*dir=
Disallow: /*keyword=
Disallow: /*av=
Disallow: /*create=1

# tracking / ad parameters
Disallow: /*utm_
Disallow: /*gclid=
Disallow: /*gclsrc=
Disallow: /*yclid=
Disallow: /*fbclid=
Disallow: /*msclkid=
Disallow: /*mc_cid=
Disallow: /*mc_eid=
Disallow: /*ref=
Disallow: /*source=
Disallow: /*awc=
Disallow: /*afmc=

# assets must stay crawlable
Allow: /image/
Allow: /*.css
Allow: /*.js
Allow: /*.webp
Allow: /*.jpg
Allow: /*.png
Allow: /*.svg
Crawl-delay: 5