Как удалить или заблокировать роботов в WordPress через robots.txt

Файл robots.txt играет ключевую роль в управлении индексацией вашего сайта поисковыми системами. Правильная настройка этого файла позволяет блокировать нежелательных роботов, ограничивать доступ к конфиденциальным разделам и оптимизировать SEO вашего WordPress-сайта.

Что такое robots.txt и зачем он нужен в WordPress

Файл robots.txt — это простой текстовый файл, который размещается в корневой директории сайта. Он содержит инструкции для поисковых роботов (краулеров) о том, какие страницы и разделы сайта можно индексировать, а какие — нет.

Для WordPress, который по умолчанию генерирует динамические URL и имеет множество системных путей, правильная настройка robots.txt помогает избежать индексации дублированного контента, страниц с параметрами и админ-панели.

Без корректного файла robots.txt вы рискуете, что поисковые системы будут индексировать служебные разделы, что негативно скажется на ранжировании и безопасности сайта.

Как проверить и отредактировать robots.txt в WordPress

По умолчанию WordPress не создает физический файл robots.txt, а генерирует виртуальный. Проверить его можно, перейдя по адресу https://ваш-домен/robots.txt. Для точной настройки рекомендуем создать реальный файл в корне сайта через FTP или через файловый менеджер хостинга.

Пример базового содержимого файла robots.txt для WordPress:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ваш-домен/sitemap.xml

Здесь мы запрещаем индексировать админ-панель и системные папки, разрешая при этом AJAX-запросы и указывая на карту сайта.

Создание и редактирование файла robots.txt

Чтобы создать файл robots.txt, выполните следующие шаги:

• Подключитесь к серверу через FTP или воспользуйтесь файловым менеджером хостинга.
• В корневой папке сайта создайте файл с именем robots.txt.
• Добавьте необходимые правила и сохраните файл.
• Проверьте доступность по адресу https://ваш-домен/robots.txt.

Для удобного управления можно использовать плагин Clearfy Pro, который позволяет редактировать robots.txt прямо из панели WordPress, а также оптимизировать другие аспекты безопасности и SEO.

Как заблокировать конкретных роботов в robots.txt

Иногда требуется заблокировать не всех роботов, а только определенные агенты, например, вредоносных или слишком активных. Для этого в robots.txt можно использовать директиву User-agent с именем конкретного робота.

Пример блокировки робота Ahrefs:

User-agent: AhrefsBot
Disallow: /

Такой код полностью запрещает роботу Ahrefs индексировать сайт.

Если вам нужно заблокировать сразу несколько роботов, укажите их последовательно:

User-agent: BadBot
Disallow: /

User-agent: AnotherBot
Disallow: /

Важно понимать, что robots.txt — это соглашение, которое не все роботы обязательно будут соблюдать. Для более надежной блокировки используйте дополнительно файлы .htaccess или плагины безопасности.

Пример блокировки роботов через .htaccess

Добавьте следующий код в файл .htaccess, чтобы заблокировать доступ для конкретных User-Agent:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} BadBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AnotherBot [NC]
RewriteRule .* - [F,L]

Этот метод не позволяет нежелательным роботам даже заходить на сайт.

Как автоматически обновлять robots.txt через код в WordPress

Если вы хотите динамически менять содержимое файла robots.txt, можно использовать хук do_robots. Это удобно, если нужно добавлять правила в зависимости от условий.

Пример функции для добавления правила в robots.txt через файл functions.php вашей темы:

function wplinkru_add_robots_rules() {
    echo "Disallow: /private-data/\n";
}
add_action('do_robots', 'wplinkru_add_robots_rules');

В этом примере мы запрещаем индексацию папки /private-data/ без создания физического файла.

Плагины для работы с robots.txt и защитой от роботов

Для удобства управления и расширенной защиты рекомендуем обратить внимание на следующие плагины:

• Clearfy Pro — позволяет редактировать robots.txt, блокировать нежелательных ботов и оптимизировать безопасность.
• Wordfence Security — мощный плагин безопасности с возможностью блокировки по User-Agent и IP.
• Blackhole for Bad Bots — простой плагин для автоматической блокировки плохих ботов.

Использование этих инструментов совместно с правильной настройкой robots.txt обеспечит надежную защиту и оптимизацию индексации сайта.

Итоговые рекомендации по настройке robots.txt в WordPress

Для эффективного управления индексированием и защиты сайта:

• Создайте физический файл robots.txt в корне сайта.
• Закройте от индексации системные папки /wp-admin/, /wp-includes/, а также страницы логина.
• Укажите ссылку на карту сайта sitemap.xml для поисковиков.
• Блокируйте нежелательных роботов через User-agent.
• Используйте плагины типа Clearfy Pro для удобного управления и расширенной защиты.
• Для полностью запрещенного доступа используйте правила в .htaccess.

Соблюдая эти рекомендации, вы защитите свой WordPress-сайт от нежелательного сканирования и улучшите SEO-показатели.