--- title: "AI-policy, robots.txt и правила доступа AI-агентов" description: "Политика ai.txt и robots.txt Vesremont с пояснением разрешённых способов использования публичного контента и правил обхода." canonical: "https://vesremont.com/for_ai/robots_ai/" last_modified: "2026-10-23T16:44:40+00:00" --- # AI-policy, robots.txt и правила доступа AI-агентов > Индекс документации: https://vesremont.com/llms.txt — используйте его для обнаружения остальных публичных страниц и машинных представлений Vesremont. Каноническая HTML-страница: https://vesremont.com/for_ai/robots_ai/ Политика ai.txt и robots.txt Vesremont с пояснением разрешённых способов использования публичного контента и правил обхода. [Главная](https://vesremont.com/) [AI-документация](https://vesremont.com/for_ai/) AI-policy и robots.txt [Обзор](https://vesremont.com/for_ai/) [Выбор задачи и интерфейса](https://vesremont.com/for_ai/capabilities_ai/) [Точка входа агента](https://vesremont.com/agents/) [Vesremont API: разработчикам](https://vesremont.com/developers/) [Vesremont Public API](https://vesremont.com/for_ai/api_ai/) [OAuth и WebMCP: авторизация](https://vesremont.com/auth.md) [OpenAPI: схемы и операции](https://vesremont.com/openapi.json) [Remote MCP: описание](https://vesremont.com/.well-known/mcp.json) [Начало работы](https://vesremont.com/for_ai/getting-started_ai/) [Карта документации](https://vesremont.com/for_ai/llms_ai/) [Agent manifest](https://vesremont.com/agent.json) [API catalog](https://vesremont.com/.well-known/api-catalog) [Agent Skills](https://vesremont.com/.well-known/agent-skills/index.json) [Канонические Markdown](https://vesremont.com/llms/) [Вся документация](https://vesremont.com/for_ai/full_ai/) [AI-policy и robots.txt](https://vesremont.com/for_ai/robots_ai/) [Главная в Markdown](https://vesremont.com/for_ai/home_ai/) [Навигация по каталогу](https://vesremont.com/for_ai/catalog_ai/) [URL и параметры](https://vesremont.com/for_ai/url-patterns_ai/) [Фильтры и диапазоны](https://vesremont.com/for_ai/filters_ai/) [Данные карточки товара](https://vesremont.com/for_ai/products_ai/) [Цена и возможность заказа](https://vesremont.com/for_ai/availability_ai/) [Поиск по сайту](https://vesremont.com/for_ai/search_ai/) [Навигация по брендам](https://vesremont.com/for_ai/brands_ai/) [Корзина и оформление](https://vesremont.com/for_ai/purchase_ai/) [Доставка и оплата](https://vesremont.com/for_ai/delivery_ai/) [Отзывы и вопросы](https://vesremont.com/for_ai/reviews_ai/) [Версии и изменения](https://vesremont.com/for_ai/changelog_ai/) [Sitemap и обнаружение URL](https://vesremont.com/for_ai/sitemaps_ai/) [Инструменты взаимодействия](https://vesremont.com/for_ai/tools_ai/) Человекочитаемое описание AI-policy и robots.txt. Каноническая декларация использования контента опубликована в /.well-known/ai.txt, а правила обхода — в /robots.txt. Исходный файл для машинного чтения: [/.well-known/ai.txt](https://vesremont.com/.well-known/ai.txt) . Версия AI-документации: `1.14.30` . Ревизия: `sha256:317241497d3785a8b41693cbc8f5e9c052850b3458cc50252d5f3dfff6b5e8d4` . - [Группы доступа](https://vesremont.com/for_ai/robots_ai/#doc-section-1) - [Общие AI-ресурсы](https://vesremont.com/for_ai/robots_ai/#doc-section-2) - [Фактический ai.txt](https://vesremont.com/for_ai/robots_ai/#doc-section-3) - [Явные разрешения AI-ботов](https://vesremont.com/for_ai/robots_ai/#doc-section-4) - [Фактический robots.txt](https://vesremont.com/for_ai/robots_ai/#doc-section-5) #### Группы доступа | Группа | User-Agent | Назначение | | User-initiated AI access | MistralAI-User, Meta-ExternalFetcher, Amzn-User, Google-Agent, Google-CloudVertexBot, Google-GeminiNotebook; Google-NotebookLM сохранён как legacy-совместимость | Разрешены публичные страницы, поиск, query-параметры, корзина, избранное и юридические страницы оформления; служебные и приватные разделы закрыты. | | Automated AI crawlers | Claude-SearchBot, MistralAI-Index, Meta-WebIndexer, Amzn-SearchBot, DuckAssistBot, OAI-AdsBot, MistralAI-Training, Meta-ExternalAgent, Applebot, Amazonbot, YouBot + compatibility aliases | Поисковые, индексирующие и model/service crawler-ы используют единые SEO-ограничения; AI-документация и разрешённая статика доступны явно. | | Explicit full access | GPTBot, ChatGPT-User, ClaudeBot, Claude-Web, Google-Extended, Bytespider, CCBot, FacebookBot, PerplexityBot, Applebot-Extended, OAI-SearchBot, Claude-User, Perplexity-User | Все перечисленные токены находятся в одной группе с Crawl-delay: 0 и общим Allow: /. Публичный контент разрешён для AI-поиска и ответов; доступ к служебным URL независимо ограничивается сервером. | | Default | * | Базовая политика для остальных crawler-ов; разрешены AI-документация, sitemap и нужная статика с прежними SEO-ограничениями. | #### Общие AI-ресурсы - `/.well-known/ai.txt` — каноническая декларация политики использования контента AI-системами. - `/ai.txt` — совместимый URL того же файла для клиентов, которые проверяют корень сайта. - `/.well-known/ai.json` — JSON-представление той же политики; `/ai.json` отдаёт тот же физический файл для клиентов, которые проверяют корень сайта. - `/docs/llms.txt` — scoped-индекс browser WebMCP, REST/OpenAPI, OAuth, MCP, A2A, UCP, SDK и CLI. - Оба URL ai.txt отдают один UTF-8 файл как `text/plain` , разрешают CORS-запросы `GET` / `OPTIONS` и публикуют пятиминутный cache TTL. - `/.well-known/ard.json` — канонический ARD-манифест; `/.well-known/ai-catalog.json` отдаёт тот же физический файл для Lighthouse 13.5 и совместимых клиентов. - `/agent.json` — AWP v0.2-манифест фактических WebMCP-инструментов; отдаётся как `application/json` с CORS и тем же cache TTL. - `/llms.txt` — краткий маршрутизатор. - `/llms-full.txt` — полный текстовый контекст. - `/llms/` — тематические Markdown-инструкции. - `/for_ai/` — человекочитаемые HTML-зеркала. - `Content-Signal` явно разрешает `search` , `ai-input` и `ai-train` . В `ai.txt` этому соответствуют разрешённые training, scraping, indexing и caching. #### Фактический ai.txt Формат соответствует развивающемуся `draft-car-ai-txt-wellknown-00` . Это рабочий Internet-Draft, а не утверждённый RFC. Отдельное разрешение `ai-input=yes` публикуется через `Content-Signal` , поскольку текущий draft ai.txt не имеет самостоятельного поля AI-Input. #### Явные положительные декларации для AI-ботов Для положительно разрешённых AI-токенов опубликована одна группа с последовательными строками `User-agent` , нулевым `Crawl-delay: 0` и общим `Allow: /` . В неё входят также актуальные citation/search fetcher-ы `OAI-SearchBot` , `Claude-User` и `Perplexity-User` . Нулевая задержка не ограничивает частоту обхода; фактическая защита служебных URL остаётся серверной. `Claude-Web` и `FacebookBot` оставлены только как legacy-совместимость с валидаторами. Актуальные документированные Anthropic-токены: `ClaudeBot` , `Claude-User` и `Claude-SearchBot` ; актуальные Meta-токены для AI-доступа уже представлены отдельными `Meta-WebIndexer` , `Meta-ExternalAgent` и `Meta-ExternalFetcher` . #### Фактический robots.txt Ниже показана актуальная версия файла, из которой построена эта HTML-страница.