AI-policy и правила доступа AI-агентов

Группы доступа

Группа	User-Agent	Назначение
User-initiated AI access	MistralAI-User, Meta-ExternalFetcher, Amzn-User, Google-Agent, Google-CloudVertexBot, Google-GeminiNotebook; Google-NotebookLM сохранён как legacy-совместимость	Разрешены публичные страницы, поиск, query-параметры, корзина, избранное и юридические страницы оформления; служебные и приватные разделы закрыты.
Automated AI crawlers	Claude-SearchBot, MistralAI-Index, Meta-WebIndexer, Amzn-SearchBot, DuckAssistBot, OAI-AdsBot, MistralAI-Training, Meta-ExternalAgent, Applebot, Amazonbot, YouBot + compatibility aliases	Поисковые, индексирующие и model/service crawler-ы используют единые SEO-ограничения; AI-документация и разрешённая статика доступны явно.
Explicit full access	GPTBot, ChatGPT-User, ClaudeBot, Claude-Web, Google-Extended, Bytespider, CCBot, FacebookBot, PerplexityBot, Applebot-Extended, OAI-SearchBot, Claude-User, Perplexity-User	Все перечисленные токены находятся в одной группе с Crawl-delay: 0 и общим Allow: /. Публичный контент разрешён для AI-поиска и ответов; доступ к служебным URL независимо ограничивается сервером.
Default	*	Базовая политика для остальных crawler-ов; разрешены AI-документация, sitemap и нужная статика с прежними SEO-ограничениями.

Общие AI-ресурсы

/.well-known/ai.txt — каноническая декларация политики использования контента AI-системами.
/ai.txt — совместимый URL того же файла для клиентов, которые проверяют корень сайта.
/.well-known/ai.json — JSON-представление той же политики; /ai.json отдаёт тот же физический файл для клиентов, которые проверяют корень сайта.
/docs/llms.txt — scoped-индекс browser WebMCP, REST/OpenAPI, OAuth, MCP, A2A, UCP, SDK и CLI.
Оба URL ai.txt отдают один UTF-8 файл как text/plain, разрешают CORS-запросы GET/OPTIONS и публикуют пятиминутный cache TTL.
/.well-known/ard.json — канонический ARD-манифест; /.well-known/ai-catalog.json отдаёт тот же физический файл для Lighthouse 13.5 и совместимых клиентов.
/agent.json — AWP v0.2-манифест фактических WebMCP-инструментов; отдаётся как application/json с CORS и тем же cache TTL.
/llms.txt — краткий маршрутизатор.
/llms-full.txt — полный текстовый контекст.
/llms/ — тематические Markdown-инструкции.
/for_ai/ — человекочитаемые HTML-зеркала.
Content-Signal явно разрешает search, ai-input и ai-train. В ai.txt этому соответствуют разрешённые training, scraping, indexing и caching.

Фактический ai.txt

Формат соответствует развивающемуся draft-car-ai-txt-wellknown-00. Это рабочий Internet-Draft, а не утверждённый RFC. Отдельное разрешение ai-input=yes публикуется через Content-Signal, поскольку текущий draft ai.txt не имеет самостоятельного поля AI-Input.

# ai.txt - AI Policy Declaration
# Text compatibility policy; canonical JSON: https://vesremont.com/.well-known/ai.json
Spec-Version: 1.0
Site-Name: Vesremont
Business-Name: Vesremont
Brand-Name: Vesremont
Legal-Name: ООО «Афганец»
Site-URL: https://vesremont.com/
Official-Profile: https://yandex.ru/profile/1265084338, https://vk.ru/vesremont_com, https://t.me/vesremont_com
Description: Vesremont — русскоязычный интернет-магазин товаров для ремонта, строительства, дома и сада: инструмента, электрики, стройматериалов, крепежа, сантехники, оборудования, спецодежды и товаров для профессиональных задач. Публичный каталог содержит актуальные страницы категорий, брендов и товаров; цены, остатки и возможность заказа проверяются на текущей странице и в корзине.
Services: инструменты, электрика, строительные материалы, крепёж, сантехника, оборудование, спецодежда, товары для дома и сада
Contact: info@vesremont.com
Policy-URL: https://vesremont.com/for_ai/robots_ai/

Training: allow
Scraping: allow
Indexing: allow
Caching: allow

Content-Signal: search=yes, ai-input=yes, ai-train=yes

Canonical-Identity: https://vesremont.com/identity.json
Documentation: https://vesremont.com/llms.txt
Catalog: https://vesremont.com/catalog/
Buyer-Policies: https://vesremont.com/about/how_to_order/
Dynamic-Data: Prices, stock and orderability must be read from the current product or catalog page and checked again in the cart.
Interaction-Mode: browser_webmcp
Interaction-Modes: browser_webmcp, rest, mcp, a2a, ucp
API-Documentation: https://vesremont.com/llms/api.md
Authentication-Documentation: https://vesremont.com/auth.md
AI-JSON: https://vesremont.com/.well-known/ai.json
Compatibility-AI-JSON: https://vesremont.com/ai.json

Явные положительные декларации для AI-ботов

Для положительно разрешённых AI-токенов опубликована одна группа с последовательными строками User-agent, нулевым Crawl-delay: 0 и общим Allow: /. В неё входят также актуальные citation/search fetcher-ы OAI-SearchBot, Claude-User и Perplexity-User. Нулевая задержка не ограничивает частоту обхода; фактическая защита служебных URL остаётся серверной.

Claude-Web и FacebookBot оставлены только как legacy-совместимость с валидаторами. Актуальные документированные Anthropic-токены: ClaudeBot, Claude-User и Claude-SearchBot; актуальные Meta-токены для AI-доступа уже представлены отдельными Meta-WebIndexer, Meta-ExternalAgent и Meta-ExternalFetcher.

Фактический robots.txt

Ниже показана актуальная версия файла, из которой построена эта HTML-страница.

# =========================================================
# AI agents: user-initiated access
# These agents fetch pages on behalf of a user or site owner.
# Public site functions, query parameters, search, sorting,
# favorites and basket are intentionally available to them.
# Content-Signal publishes the site-wide AI use policy.
# Public content is allowed for search, AI input and AI training.
# =========================================================
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: Amzn-User
User-agent: Google-Agent
User-agent: Google-CloudVertexBot
User-agent: Google-GeminiNotebook
# Legacy compatibility identifier; current Google name is Google-GeminiNotebook.
User-agent: Google-NotebookLM
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/ai.txt
Allow: /.well-known/ai.json
Allow: /ai.json
Allow: /.well-known/api-catalog
Allow: /.well-known/agent-skills/
Allow: /.well-known/security.txt
Allow: /ai.txt
Allow: /agent.json
Allow: /agents/
Allow: /developers/
Allow: /developers.md
Allow: /index.md
Allow: /identity.json
Allow: /brand.txt
Allow: /faq-ai.txt
Allow: /developer-ai.txt
Allow: /robots-ai.txt
Allow: /pricing.md
Allow: /auth.md
Allow: /docs/llms.txt
Allow: /llms.txt
Allow: /llm.txt
Allow: /llms.html
Allow: /llms-full.txt
Allow: /llms/
Allow: /for_ai/
# Explicit compatibility rules for user-initiated AI fetchers.
# Restrictions in later crawler groups are not intended for the user agents above.
Allow: /catalog/
Allow: /catalog/*?*
Allow: /search/
Allow: /search/?search=*
Allow: /personal/basket/
Allow: /favorits/
Allow: /about/personal_data/
Allow: /about/user_agreement/
Disallow: /bitrix
Disallow: /*index*.php
Disallow: /login
Disallow: /cr_on
Disallow: /servis/*
Disallow: /search_ajax/*
Allow: /


# =========================================================
# Automated AI crawlers / search / indexing / policy tokens
# These agents and content-use tokens use the same SEO restrictions.
# The compatibility names at the end are best-effort aliases;
# unknown agents still fall back to the User-agent: * policy.
# =========================================================
User-agent: Claude-SearchBot
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Amzn-SearchBot
User-agent: DuckAssistBot
User-agent: OAI-AdsBot
User-agent: MistralAI-Training
User-agent: Meta-ExternalAgent
User-agent: Applebot
User-agent: Amazonbot
User-agent: YouBot
User-agent: DeepSeekBot
User-agent: GrokBot
User-agent: xAI-Bot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/ai.txt
Allow: /.well-known/ai.json
Allow: /ai.json
Allow: /.well-known/api-catalog
Allow: /.well-known/agent-skills/
Allow: /.well-known/security.txt
Allow: /ai.txt
Allow: /agent.json
Allow: /agents/
Allow: /developers/
Allow: /developers.md
Allow: /index.md
Allow: /identity.json
Allow: /brand.txt
Allow: /faq-ai.txt
Allow: /developer-ai.txt
Allow: /robots-ai.txt
Allow: /pricing.md
Allow: /auth.md
Allow: /docs/llms.txt
Allow: /llms.txt
Allow: /llm.txt
Allow: /llms.html
Allow: /llms-full.txt
Allow: /llms/
Allow: /for_ai/
Disallow: /bitrix
Disallow: /*index*.php
Disallow: /search
Disallow: /login
Disallow: /personal
Disallow: /cr_on
Disallow: /favorits
Disallow: /about/personal_data
Disallow: /about/user_agreement/
Disallow: /*?sorts
Disallow: /*?sort=price_min
Disallow: /*?sort=price_max
Disallow: /*?*
Disallow: /servis/*
Disallow: /search/*
Disallow: /search_ajax/*
Allow: /*?page=*
Allow: /bitrix/js
Allow: /bitrix/fonts/*
Allow: /bitrix/components
Allow: /assets/image
Allow: /assets/js/*
Allow: /assets/*
Allow: /assets/css/*
Allow: /*/assets/js/*
Allow: /*/assets/*
Allow: /*/assets/css/*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.js*
Allow: /*.css*
Allow: /*/*.js
Allow: /*/*.css
Allow: /*/*.js*
Allow: /*/*.css*
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.png
Allow: /upload/iblock/*.gif
Allow: /upload/iblock/*.webp
Allow: /*/*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*/*.js


# =========================================================
# Explicit full access for AI readiness, search and user fetchers.
# These tokens share one group with the same full-access rule and
# do not inherit Disallow rules from restrictive groups.
# Access control for service URLs remains server-side.
# =========================================================
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Google-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: FacebookBot
User-agent: PerplexityBot
User-agent: Applebot-Extended
User-agent: OAI-SearchBot
User-agent: Claude-User
User-agent: Perplexity-User
Crawl-delay: 0
Allow: /


# =========================================================
# Default policy for all other crawlers
# Preserved from the previous robots.txt.
# =========================================================
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /.well-known/ai.txt
Allow: /.well-known/ai.json
Allow: /ai.json
Allow: /.well-known/api-catalog
Allow: /.well-known/agent-skills/
Allow: /.well-known/security.txt
Allow: /ai.txt
Allow: /agent.json
Allow: /agents/
Allow: /developers/
Allow: /developers.md
Allow: /index.md
Allow: /identity.json
Allow: /brand.txt
Allow: /faq-ai.txt
Allow: /developer-ai.txt
Allow: /robots-ai.txt
Allow: /pricing.md
Allow: /auth.md
Allow: /docs/llms.txt
Allow: /llms.txt
Allow: /llm.txt
Allow: /llms.html
Allow: /llms-full.txt
Allow: /llms/
Allow: /for_ai/
Clean-param: clid
Clean-param: back_url_admin
Clean-param: clear_cache
Clean-param: show_include_exec_time
Clean-param: show_page_exec_time
Clean-param: show_sql_stat
Clean-param: srsltid
Disallow: /bitrix
Disallow: /*index*.php
Disallow: /search
Disallow: /login
Disallow: /personal
Disallow: /cr_on
Disallow: /favorits
Disallow: /about/personal_data
Disallow: /about/user_agreement/
Disallow: /*?sorts
Disallow: /*?sort=price_min
Disallow: /*?sort=price_max
Disallow: /*?*
Disallow: /servis/*
Disallow: /search/*
Disallow: /search_ajax/*
Allow: /*?page=*
Allow: /bitrix/js
Allow: /bitrix/fonts/*
Allow: /bitrix/components
Allow: /assets/image
Allow: /assets/js/*
Allow: /assets/*
Allow: /assets/css/*
Allow: /*/assets/js/*
Allow: /*/assets/*
Allow: /*/assets/css/*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.js*
Allow: /*.css*
Allow: /*/*.js
Allow: /*/*.css
Allow: /*/*.js*
Allow: /*/*.css*
Allow: /upload/iblock/*.jpg
Allow: /upload/iblock/*.png
Allow: /upload/iblock/*.gif
Allow: /upload/iblock/*.webp
Allow: /*/*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*/*.js

Sitemap: https://vesremont.com/sitemaps/sitemap_page.xml
# Schema map: https://vesremont.com/schemamap.xml

AI-policy, robots.txt и правила доступа AI-агентов

Группы доступа

Общие AI-ресурсы

Фактический ai.txt

Явные положительные декларации для AI-ботов

Фактический robots.txt