⚠️ Важное предупреждение перед настройкой!
Блокировка ботов — это палка о двух концах. Внедряйте эти настройки осознанно:
- АИ-трафик: Блокируя GPTBot или ClaudeBot, вы запрещаете нейросетям читать ваш контент. Это значит, что ваш сайт не попадет в ответы ChatGPT и не будет ранжироваться в новом генеративном поиске (AI Search). Если вы рассчитываете на трафик из нейросетей — исключите их из черного списка.
- Аудит вашего сайта: Если вы захотите проверить свой сайт через Ahrefs, Semrush или Key.so, вы не увидите своих данных (или увидите ошибки). На время проведения собственного аудита защиту нужно временно отключать.
- Поисковики: Никогда не копируйте списки бездумно. Убедитесь, что вы случайно не заблокировали YandexBot или Googlebot.
Ваш сайт постоянно сканируют десятки сервисов. Одни (как Google и Яндекс) приносят пользу и трафик. Другие (как Key.so, Ahrefs, MegaIndex) собирают данные о вашей структуре и ссылках, чтобы продать их вашим конкурентам. Кроме того, агрессивные боты создают огромную нагрузку на хостинг, вызывая ошибки и замедляя работу сайта.
В этой статье разберем, как заблокировать доступ «шпионам» и снизить нагрузку на сервер, не навредив SEO-продвижению.
Кого мы блокируем и зачем?
Важно понимать разницу:
- Позиции в поиске скрыть нельзя. Сервисы вроде Key.so парсят выдачу Яндекса и Гугла. Если ваш сайт там есть — конкуренты увидят ваши запросы.
- Структуру и контент защитить можно. Блокируя ботов, вы не даете сервисам сканировать ваши внутренние страницы, искать скрытые ссылки, анализировать тексты и нагружать ваш сервер.
Мы будем блокировать три группы ботов:
- Анализаторы конкурентов (RU):so, MegaIndex, Serpstat.
- Мировые SEO-гиганты: Ahrefs, Semrush, Majestic.
- ИИ и агрессивные парсеры: ChatGPT, TikTok (Bytespider), китайские поисковики.
Полный список ботов для блокировки (Blacklist)
Этот список включает самых популярных и активных «шпионов». Используйте его для настройки блокировки любым из способов ниже.
KeyssoBot
Key-So-Bot
AhrefsBot
SemrushBot
SemrushBot-SA
MJ12bot
MegaIndex.ru
MegaIndex
main.megaindex
SerpstatBot
LinkpadBot
Rogerbot
DotBot
BLEXBot
PetalBot
Bytespider
CCBot
GPTBot
ChatGPT-User
ClaudeBot
anthropic-ai
Omgilibot
Barkrowler
SeekportBot
⛔ ВАЖНО: Никогда не добавляйте в этот список Yandex, YandexBot, Googlebot или Bingbot. Если вы заблокируете их, ваш сайт пропадет из поиска!
Способ 1. Для сайтов на WordPress (Плагин All In One Security)
Самый простой метод, если вы используете WordPress. Нам понадобится популярный плагин All In One Security (AIOS).
- Зайдите в админку WordPress.
- Перейдите в раздел WP Security (Безопасность) → Blacklist Manager (Управление черным списком).
- Поставьте галочку Enable Ban User Agents (Включить бан по User Agent).
- В поле Enter User Agents скопируйте список ботов выше (каждое название с новой строки).
- Нажмите Save Settings.
Теперь плагин будет автоматически блокировать доступ этим роботам.
Способ 2. Универсальный (через .htaccess)
Этот метод самый надежный и быстрый. Он работает для любых сайтов (WordPress, чистый HTML, PHP) на серверах Apache. Блокировка происходит на уровне сервера, поэтому боты даже не успевают нагрузить ваш сайт.
- Зайдите на хостинг в Файловый менеджер.
- В корневой папке сайта найдите файл .htaccess.
- Вставьте следующий код в самое начало файла:
Apache
<IfModule mod_rewrite.c>
RewriteEngine On
# Блокировка SEO-ботов и парсеров
RewriteCond %{HTTP_USER_AGENT} (KeyssoBot|Key-So-Bot|AhrefsBot|SemrushBot|SemrushBot-SA|MJ12bot|MegaIndex|SerpstatBot| [NC]
RewriteRule .* — [F,L]
</IfModule>
Этот код отдает команду серверу: «Если имя бота совпадает с кем-то из списка — выдать ошибку 403 (Доступ запрещен)».
Способ 3. «Вежливая просьба» (robots.txt)
Файл robots.txt — это не забор, а табличка «По газону не ходить». Честные боты (Ahrefs, Semrush) послушаются, агрессивные — проигнорируют. Рекомендуем использовать этот способ в дополнение к первым двум.
Добавьте в ваш файл robots.txt следующие директивы:
User-agent: KeyssoBot
Disallow: /
User-agent: Key-So-Bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Bytespider
Disallow: /
(Вы можете продолжить список по аналогии для остальных ботов).
Как проверить результат?
Чтобы убедиться, что вы случайно не закрыли сайт от людей или поисковиков:
- Откройте сайт в браузере в режиме Инкогнито — он должен работать.
- Воспользуйтесь сервисом проверки ответа сервера (например, io).
- В настройках выберите User Agent: Googlebot — должен быть ответ 200 OK.
- В настройках впишите свой User Agent: KeyssoBot — должен быть ответ 403 Forbidden.
Итог
Применив эти настройки, вы решаете две задачи:
- Защита данных: Конкурентам становится сложнее анализировать вашу ссылочную массу и структуру сайта через сервисы типа Key.so и MegaIndex.
- Стабильность: Вы снимаете с хостинга паразитную нагрузку от агрессивных ботов, что особенно важно для «тяжелых» сайтов на Elementor.