Проверить robots.txt онлайн — бесплатный валидатор
Введите URL сайта — инструмент найдёт файл robots.txt, разберёт все правила для поисковых роботов (Яндекс, Google) и покажет закрытые разделы, ссылки на карту сайта и возможные ошибки.
Что такое robots.txt и зачем его проверять
robots.txt — текстовый файл в корне сайта, который управляет доступом поисковых роботов к страницам. Яндекс.Бот и Googlebot читают его при каждом визите, прежде чем начать обход сайта.
Ошибки в robots.txt — одна из самых распространённых причин потери трафика. Одна лишняя директива Disallow: / полностью закрывает сайт от индексации. Вы этого не заметите в интерфейсе сайта, но Яндекс и Google перестанут добавлять новые страницы в поиск.
Наш инструмент загружает файл по адресу https://ваш-сайт/robots.txt, парсит все директивы и выдаёт понятный визуальный отчёт: зелёным — открытые разделы, красным — заблокированные.
Как читать результат проверки
Частые проблемы в robots.txt
Закрыт весь сайт. Правило Disallow: / для User-agent: * блокирует все страницы. Встречается при смене CMS или копировании тестового файла на продакшн.
Нет Sitemap. Без указания sitemap роботу труднее обнаружить новые страницы. Рекомендуется всегда добавлять строку Sitemap: https://сайт/sitemap.xml.
Конфликт Allow/Disallow. Если закрыт раздел /catalog/, но нужно открыть /catalog/sale/ — порядок и длина пути важны. Яндекс выбирает наиболее длинное совпадение.
Файл robots.txt недоступен. Ответ 404 или 500 трактуется роботом как «ограничений нет» — он обойдёт весь сайт. Но задержка загрузки может замедлить индексацию.