Инструмент Электрика и свет Ручной инструмент Офис и дом Строительные материалы Спецодежда и СИЗ Расходные материалы Складское оборудование Крепёж Климатическое оборудование Сантехника Автосервисное оборудование Строительное оборудование Спорт и туризм Станки Всё для сада Клининговое оборудование
Главная

AI-документация

AI-policy и robots.txt

AI-policy, robots.txt и правила доступа AI-агентов

Человекочитаемое описание AI-policy и robots.txt. Каноническая декларация использования контента опубликована в /.well-known/ai.txt, а правила обхода — в /robots.txt. Исходный файл для машинного чтения: /.well-known/ai.txt.

Версия AI-документации: 1.2.0. Ревизия: sha256:a4ae035640892ae20b7d475033d730504a40d2a7395b7b49aeae7d6bb15de32a.

Группы доступа

ГруппаUser-AgentНазначение
User-initiated AI accessClaude-User, Perplexity-User, MistralAI-User, Meta-ExternalFetcher, Amzn-User, Google-Agent, Google-CloudVertexBot, Google-GeminiNotebook; Google-NotebookLM сохранён как legacy-совместимостьРазрешены публичные страницы, поиск, query-параметры, корзина, избранное и юридические страницы оформления; служебные и приватные разделы закрыты.
Automated AI crawlersClaude-SearchBot, OAI-SearchBot, MistralAI-Index, Meta-WebIndexer, Amzn-SearchBot, DuckAssistBot, OAI-AdsBot, MistralAI-Training, Meta-ExternalAgent, Applebot, Amazonbot, YouBot + compatibility aliasesПоисковые, индексирующие и model/service crawler-ы используют единые SEO-ограничения; AI-документация и разрешённая статика доступны явно.
Explicit full accessGPTBot, ChatGPT-User, ClaudeBot, Claude-Web, Google-Extended, Bytespider, CCBot, FacebookBot, PerplexityBot, Applebot-ExtendedВсе десять токенов находятся в одной группе с Crawl-delay: 0 и общим Allow: /. Нулевая задержка не ограничивает обход; токены не входят в restrictive-группы.
Default*Базовая политика для остальных crawler-ов; разрешены AI-документация, sitemap и нужная статика с прежними SEO-ограничениями.

Общие AI-ресурсы

  • /.well-known/ai.txt — каноническая декларация политики использования контента AI-системами.
  • /ai.txt — совместимый URL того же файла для клиентов, которые проверяют корень сайта.
  • Оба URL отдают один UTF-8 файл как text/plain, разрешают CORS-запросы GET/OPTIONS и публикуют пятиминутный cache TTL.
  • /agent.json — AWP v0.2-манифест фактических WebMCP-инструментов; отдаётся как application/json с CORS и тем же cache TTL.
  • /llms.txt — краткий маршрутизатор.
  • /llms-full.txt — полный текстовый контекст.
  • /llms/ — тематические Markdown-инструкции.
  • /for_ai/ — человекочитаемые HTML-зеркала.
  • Content-Signal явно разрешает search, ai-input и ai-train. В ai.txt этому соответствуют разрешённые training, scraping, indexing и caching.

Фактический ai.txt

Формат соответствует развивающемуся draft-car-ai-txt-wellknown-00. Это рабочий Internet-Draft, а не утверждённый RFC. Отдельное разрешение ai-input=yes публикуется через Content-Signal, поскольку текущий draft ai.txt не имеет самостоятельного поля AI-Input.

# ai.txt - AI Policy Declaration
# Format: draft-car-ai-txt-wellknown-00 (work in progress)
Spec-Version: 1.0
Site-Name: Vesremont
Site-URL: https://vesremont.com/
Description: Russian online store for renovation, construction, home and garden products.
Policy-URL: https://vesremont.com/for_ai/robots_ai/

Training: allow
Scraping: allow
Indexing: allow
Caching: allow

Явные положительные декларации для AI-ботов

Для десяти токенов, проверяемых AI-readiness валидаторами, опубликована одна группа с последовательными строками User-agent, нулевым Crawl-delay: 0 и общим Allow: /. Нулевая задержка не ограничивает частоту обхода; парсеры, не принимающие нестандартную директиву или её нулевое значение, могут её игнорировать. Google не поддерживает Crawl-delay, а Яндекс не учитывает его с 2018 года; группы основных поисковых роботов этой правкой не изменены.

Claude-Web и FacebookBot оставлены только как legacy-совместимость с валидаторами. Актуальные документированные Anthropic-токены: ClaudeBot, Claude-User и Claude-SearchBot; актуальные Meta-токены для AI-доступа уже представлены отдельными Meta-WebIndexer, Meta-ExternalAgent и Meta-ExternalFetcher.

Фактический robots.txt

Ниже показана актуальная версия файла, из которой построена эта HTML-страница.

# =========================================================
# AI agents: user-initiated access
# These agents fetch pages on behalf of a user or site owner.
# Public site functions, query parameters, search, sorting,
# favorites and basket are intentionally available to them.
# Content-Signal publishes the site-wide AI use policy.
# Public content is allowed for search, AI input and AI training.
# =========================================================
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
User-agent: Google-Agent
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
# Legacy compatibility identifier; current Google name is Google-GeminiNotebook.
User-agent: Google-NotebookLM
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/ai.txt
Allow: /ai.txt
Allow: /agent.json
Allow: /llms.txt
Allow: /llms-full.txt
Allow: /llms/
Allow: /for_ai/
# Explicit compatibility rules for user-initiated AI fetchers.
# Restrictions in later crawler groups are not intended for the user agents above.
Allow: /catalog/
Allow: /catalog/*?*
Allow: /search/
Allow: /search/?search=*
Allow: /personal/basket/
Allow: /favorits/
Allow: /about/personal_data/
Allow: /about/user_agreement/
Disallow: /bitrix
Disallow: /*index*.php
Disallow: /login
Disallow: /cr_on
Disallow: /servis/*
Disallow: /search_ajax/*
Allow: /


# =========================================================
# Automated AI crawlers / search / indexing / policy tokens
# These agents and content-use tokens use the same SEO restrictions.
# The compatibility names at the end are best-effort aliases;
# unknown agents still fall back to the User-agent: * policy.
# =========================================================
User-agent: Claude-SearchBot
User-agent: OAI-SearchBot
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Amzn-SearchBot
User-agent: DuckAssistBot
User-agent: OAI-AdsBot
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Applebot
User-agent: Amazonbot
User-agent: YouBot
User-agent: DeepSeekBot
User-agent: GrokBot
User-agent: xAI-Bot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/ai.txt
Allow: /ai.txt
Allow: /agent.json
Allow: /llms.txt
Allow: /llms-full.txt
Allow: /llms/
Allow: /for_ai/
Disallow: /bitrix
Disallow: /*index*.php
Disallow: /search
Disallow: /login
Disallow: /personal
Disallow: /cr_on
Disallow: /favorits
Disallow: /about/personal_data
Disallow: /about/user_agreement/
Disallow: /*?sorts
Disallow: /*?sort=price_min
Disallow: /*?sort=price_max
Disallow: /*?*
Disallow: /servis/*
Disallow: /search/*
Disallow: /search_ajax/*
Allow: /*?page=*
Allow: /bitrix/js
Allow: /bitrix/fonts/*
Allow: /bitrix/components
Allow: /assets/image
Allow: /assets/js/*
Allow: /assets/*
Allow: /assets/css/*
Allow: /*/assets/js/*
Allow: /*/assets/*
Allow: /*/assets/css/*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.js*
Allow: /*.css*
Allow: /*/*.js
Allow: /*/*.css
Allow: /*/*.js*
Allow: /*/*.css*
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.png
Allow: /upload/iblock/*.gif
Allow: /upload/iblock/*.webp
Allow: /*/*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*/*.js


# =========================================================
# Explicit full-access declarations for AI readiness scanners.
# These tokens share one group with the same full-access rule and
# do not inherit Disallow rules from restrictive groups.
# Access control for service URLs remains server-side.
# =========================================================
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Google-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: FacebookBot
User-agent: PerplexityBot
User-agent: Applebot-Extended
Crawl-delay: 0
Allow: /


# =========================================================
# Default policy for all other crawlers
# Preserved from the previous robots.txt.
# =========================================================
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/ai.txt
Allow: /ai.txt
Allow: /agent.json
Allow: /llms.txt
Allow: /llms-full.txt
Allow: /llms/
Allow: /for_ai/
Clean-param: clid
Clean-param: back_url_admin
Clean-param: clear_cache
Clean-param: show_include_exec_time
Clean-param: show_page_exec_time
Clean-param: show_sql_stat
Clean-param: srsltid

Disallow: /bitrix
Disallow: /*index*.php
Disallow: /search
Disallow: /login
Disallow: /personal
Disallow: /cr_on
Disallow: /favorits
Disallow: /about/personal_data
Disallow: /about/user_agreement/
Disallow: /*?sorts
Disallow: /*?sort=price_min
Disallow: /*?sort=price_max
Disallow: /*?*
Disallow: /servis/*
Disallow: /search/*
Disallow: /search_ajax/*

Allow: /*?page=*
Allow: /bitrix/js
Allow: /bitrix/fonts/*
Allow: /bitrix/components
Allow: /assets/image
Allow: /assets/js/*
Allow: /assets/*
Allow: /assets/css/*
Allow: /*/assets/js/*
Allow: /*/assets/*
Allow: /*/assets/css/*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.js*
Allow: /*.css*
Allow: /*/*.js
Allow: /*/*.css
Allow: /*/*.js*
Allow: /*/*.css*
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.png
Allow: /upload/iblock/*.gif
Allow: /upload/iblock/*.webp
Allow: /*/*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*/*.js

Sitemap: https://vesremont.com/sitemaps/sitemap_page.xml