WordPress
Закрывает админку, поиск по сайту и служебные адреса, оставляя доступными файлы темы и загрузки.
Бесплатный сервис · работает в браузере
Проверка robots.txt и генератор файла
Введите домен — загрузим robots.txt, разберём правила по роботам и предупредим об ошибках. Во второй вкладке соберёте новый файл для WordPress, Битрикс и других CMS.
Введите домен — проверка займёт несколько секунд. Результат хранится 15 минут.
Движок сайта
Правила
robots.txt
Как пользоваться
- 01Введите доменДостаточно адреса сайта, файл robots.txt мы найдём сами.
- 02Изучите разборКод ответа, размер файла и правила сгруппированы по роботам.
- 03Проверьте страницуВпишите путь страницы и узнайте, разрешён ли он Яндексу и Google.
- 04Соберите файлВ генераторе выберите CMS, отметьте нужное, скопируйте или скачайте готовый текст.
Директивы robots.txt: что значит каждая
| Директива | Что делает | На что смотретьнаш вариант |
|---|---|---|
| User-agent | Задаёт робота, для которого действуют правила | Звёздочка означает всех роботов, для Яндекса и Google группы можно писать отдельно |
| Disallow | Запрещает обход пути | Пустое значение ничего не закрывает, а слэш закрывает весь сайт |
| Allow | Открывает путь внутри закрытого раздела | Побеждает правило с более длинным путём |
| Sitemap | Указывает адрес карты сайта | Нужен полный адрес с https, строк может быть несколько |
| Clean-param | Склеивает адреса, отличающиеся метками | Понимает только Яндекс, обычно им закрывают utm-метки и yclid |
| Crawl-delay | Задаёт паузу между запросами робота | Яндекс перестал её учитывать, Google игнорирует |
| Host | Указывал главное зеркало сайта | Устарела: зеркало задают редиректом и каноническим адресом |
Какие проблемы находит проверка robots.txt
- Сайт закрыт целиком: для всех роботов стоит Disallow со слэшем
- В файле нет строки Sitemap, и роботу сложнее найти карту сайта
- Файл больше 500 КБ: лишнее робот может не прочитать
- Встретилась неизвестная директива, чаще всего из-за опечатки
- Правило стоит до первого User-agent и ни к кому не относится
- Файл отвечает не кодом 200: при 404 ограничений нет, при 5xx Google временно не обходит сайт
- Используется устаревшая директива Host
Как робот выбирает правило для страницы
Если под путь подходят и Allow, и Disallow, действует то правило, у которого путь длиннее. При равной длине выигрывает Allow. Звёздочка заменяет любые символы, а знак доллара фиксирует конец адреса. Поле «Проверить адрес» считает именно так, отдельно для Яндекса и Google.
- Disallow: /catalog/ закрывает раздел целиком
- Allow: /catalog/sale/ открывает в нём одну папку
- Disallow: /*.pdf$ закрывает все файлы PDF
Генератор robots.txt: шаблоны и галочки
Выберите основу, отметьте нужное, и файл пересоберётся сразу.
1С-Битрикс
Скрывает служебные папки, личный кабинет, корзину и страницы сортировки.
OpenCart
Закрывает системные каталоги, оформление заказа, сравнение и страницы с параметрами.
Joomla
Убирает из обхода каталоги ядра, кэш и временные файлы.
Метки и Clean-param
Одна галочка добавляет правила для utm-меток, yclid и gclid, чтобы адреса не плодили дубли.
Закрытие на время разработки
Закрывает сайт целиком, пока он не готов. Перед запуском галочку нужно снять.
Сайт выпал из поиска? Разберёмся
Найдём, что мешает обходу: правила, редиректы, карту сайта. Берём на поддержку сайты на WordPress, в том числе сделанные другими разработчиками.
Вопросы
и ответы
Введите домен и запустите проверку. Мы загрузим файл по адресу сайта/robots.txt, покажем код ответа, размер и правила по каждому роботу. Найденные проблемы выделены предупреждениями.
Только в корне сайта, по адресу https://ваш-домен/robots.txt. Для каждого поддомена нужен свой файл. Файл в подпапке роботы не читают.
Для всех роботов задайте User-agent со звёздочкой и Disallow со слэшем. Так закрывают сайт на время разработки. Запрет обхода не гарантирует, что адрес не попадёт в поиск: для этого нужен метатег noindex.
Введите путь страницы в поле «Проверить адрес». Сервис применит правило самого длинного совпадения и покажет результат отдельно для каждого поисковика. Звёздочка и знак доллара учитываются.
Нет. Яндекс её больше не использует. Главное зеркало задают редиректом с неглавных адресов и каноническим адресом на страницах.
Не больше 500 КБ: и Яндекс, и Google читают файл только до этого предела. Правила за границей будут проигнорированы. Если файл разросся, объединяйте правила масками.
Robots.txt управляет обходом: робот не заходит на страницу. Метатег robots управляет индексированием: робот страницу видит, но в поиск не берёт. Чтобы страница исчезла из поиска, нужен метатег, а не запрет в файле.
Другие сервисы
01
IndexNow: переобход в Яндексе
Сгенерируйте ключ IndexNow и отправьте в Яндекс и Bing сотни тысяч адресов: из списка, файла или карты сайта, пакетами по хостам и поддоменам. Бесплатно и без регистрации.
Открыть 02Мета-теги и микроразметка
Проверка мета тегов страницы: title и description с превью сниппета, заголовки H1–H6, canonical, Open Graph, JSON-LD и микроданные, hreflang. Покажем, что исправить. Бесплатно и без регистрации.
Открыть 03Проверка sitemap.xml
Проверка sitemap.xml: найдём карту в robots.txt, посчитаем адреса, увидим даты lastmod, дубли и ошибки XML, проверим коды ответа. Подскажем, что исправить. Бесплатно и без регистрации.
Открыть 04Транслит для ЧПУ
Транслит онлайн для ЧПУ: вставьте заголовок или список — получите адреса латиницей по схеме Яндекса, ГОСТ 7.79-2000 или загранпаспорта. Убирает предлоги, подсказывает длину, работает в браузере без регистрации.
Открыть 05На чём сделан сайт
Узнайте, на чем сделан сайт: определим CMS или конструктор, сервер, защиту, аналитику и виджеты по открытым признакам. Для каждой находки покажем, по чему её нашли. Бесплатно и без регистрации.
ОткрытьВсе сервисы
Проверка сайта и домена, robots.txt и карта сайта, мета-теги, сжатие фото, пароли и генераторы — бесплатно и без регистрации.
СмотретьОцените и оставьте отзыв
Проверка robots.txt и генератор файла
Пока нет опубликованных отзывов. Поделитесь своим опытом — даже короткий отзыв полезен.
Оставить отзыв
Можно написать без входа.
Мои отправленные сообщения
Расскажите
о задаче
Напишите — ответим в мессенджере или на почту в течение рабочего дня. Быстрее всего — в Telegram.
wolf@siterussia.ru
Работаем по всей России удалённо
Или оставьте заявку — мы напишем сами: