На небольшом сайте архивы авторов и тегов часто выглядят безобидно, но именно они создают лишние страницы с почти одинаковым содержимым. В результате поисковик тратит обход на второстепенные URL, а в индексе появляются страницы, которые не дают трафик и размывают сигналы релевантности. Если задача не в том, чтобы продвигать теги как отдельные посадочные страницы, такие архивы лучше либо закрыть от индексации, либо привести к одному понятному сценарию.
Ниже — рабочий разбор: как понять, что дубли есть, чем отличается noindex от удаления архива, как настроить это в коде и через плагин, а потом проверить результат без гадания.
Когда архивы становятся проблемой
Чаще всего дубли появляются в трех ситуациях: у записей есть авторские архивы с тем же списком материалов, что и главная лента; теги размечены слишком дробно и ведут на страницы с 1–2 записями; категории и теги пересекаются по смыслу, а контент на них почти одинаковый. Для поисковика это не «ошибка», а просто лишние URL, которые он должен оценить, просканировать и, возможно, оставить в индексе.
Проверять нужно не абстрактно, а по факту: какие архивы реально доступны, есть ли на них уникальный текст, сколько записей в выдаче, не совпадает ли title и description с другими страницами сайта. Если архив пустой или почти пустой, его ценность обычно ниже стоимости индексации.
Быстрая диагностика
- Откройте несколько страниц тегов и авторов в браузере и сравните заголовки, описание и список записей.
- Проверьте, есть ли на архиве уникальный текст выше списка материалов.
- Посмотрите, не индексируются ли служебные страницы через поиск по
site:example.com tagилиsite:example.com author. - В Search Console откройте отчет по страницам и посмотрите, не растет ли число малоценных архивов.
Что делать: закрыть, удалить или оставить
У каждого варианта есть своя логика. Если архив нужен пользователям как навигация, но не нужен в поиске, ставят noindex,follow. Если архив вообще не несет пользы, его лучше убрать из публичной выдачи и настроить редирект или отдать 404/410 в зависимости от сценария. Если теговая страница — полноценная посадочная с уникальным текстом, ее можно оставить открытой, но тогда она должна отличаться от других архивов не только названием.
| Подход | Когда подходит | Компромисс |
|---|---|---|
noindex,follow | Архив нужен для навигации, но не для поиска | Страница доступна пользователю, но не должна ранжироваться |
| Удаление архива | Архив бесполезен и только плодит дубли | Нужно аккуратно обработать старые URL |
| Оставить открытым | Есть уникальный контент и смысловая ценность | Нужна редактура и контроль качества |
Пошаговое решение через код
Если нужен точечный контроль без лишнего плагина, можно задать мета-тег robots для архивов авторов и тегов через wp_head. Это не отключает страницы для пользователей, но подсказывает поисковым роботам не индексировать их.
<?php
add_action( 'wp_head', function () {
if ( is_author() || is_tag() ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );
Если нужно убрать архивы авторов совсем, в WordPress можно отключить их генерацию на уровне запроса и при этом не ломать остальной сайт. Для этого обычно используют фильтр author_rewrite_rules или перенаправление на главную/страницу команды, но решение зависит от структуры сайта. Если авторские страницы уже в индексе, сначала лучше поставить редирект, а не просто удалить URL.
<?php
add_action( 'template_redirect', function () {
if ( is_author() ) {
wp_safe_redirect( home_url( '/' ), 301 );
exit;
}
} );
Этот вариант уместен только если архивы авторов точно не нужны. Если на сайте несколько авторов и у каждого есть своя страница с биографией и подборкой материалов, редирект на главную будет плохой заменой. Тогда лучше оставить архив, но закрыть его от индексации и доработать контент.
Настройка через плагин и где здесь Clearfy Pro
Если не хочется поддерживать собственный код, задачу можно решить через SEO-плагин или через плагин для технической чистки сайта. В Clearfy Pro есть инструменты для удаления дублей и настройки служебных страниц, что удобно, когда нужно быстро привести архивы в порядок без ручной правки шаблонов. Это не отменяет проверки результата, но снижает шанс ошибиться в нескольких местах сразу. Ссылка на продукт: Clearfy Pro.
Практически это выглядит так: вы отключаете индексацию архивов, проверяете, не дублируются ли title и description, и отдельно смотрите, не остались ли в меню ссылки на страницы, которые больше не нужны. Если плагин умеет управлять мета-robots, этого обычно достаточно для тегов и авторов. Но если архивы уже успели попасть в индекс, одного noindex мало — нужно дождаться переобхода и следить за статусом страниц в Search Console.
Как проверить, что решение сработало
Проверка должна быть технической, а не визуальной. Откройте архив тега или автора и посмотрите исходный код страницы: в <head> должен появиться noindex,follow, если вы выбрали этот сценарий. Затем проверьте HTTP-ответ и убедитесь, что страница не отдает редирект туда, куда вы не планировали. После этого отправьте URL на повторную проверку в Search Console и посмотрите, как меняется статус индексации.
- В исходнике есть
<meta name="robots" content="noindex,follow" />. - Страница открывается без ошибок 200/301 в неожиданное место.
- В Search Console URL постепенно уходит из индекса или перестает попадать в новые отчеты.
- Внутренние ссылки на архивы не ведут на пустые или бесполезные страницы.
Если вы делали редирект, проверьте его отдельно через curl -I https://example.com/author/admin/ или аналогичный инструмент. В ответе должен быть понятный 301 на нужный адрес, а не цепочка из нескольких переходов.
Частые ошибки и как их исправить
Ставят noindex, но оставляют дублированные title
Это частая недоработка: страница не должна индексироваться, но ее заголовок все равно совпадает с другими архивами. Для пользователя это не критично, а для диагностики — лишний шум. Исправление простое: задайте уникальные title хотя бы для тех архивов, которые остаются открытыми.
Удаляют архивы без редиректа
Если URL уже был в индексе или на него есть внутренние ссылки, резкое удаление создает 404-цепочку. Для старых адресов лучше заранее продумать 301-редирект на релевантную страницу или оставить страницу с noindex, пока поисковик не переобойдет сайт.
Закрывают все теги подряд
Иногда теги действительно полезны как навигационный слой. Закрывать их без разбора — значит потерять удобные входные страницы для пользователей и внутреннюю перелинковку. Сначала отберите теги, которые реально дают смысл, и только потом принимайте решение по остальным.
Путают noindex и robots.txt
Если закрыть URL только в robots.txt, поисковик может не увидеть мета-тег на самой странице и продолжить держать адрес в индексе по внешним сигналам. Для уже существующих дублей чаще нужен именно noindex на самой странице, а не запрет обхода.
Что стоит учесть для безопасности и производительности
Лишние архивы — это не только SEO-проблема. Каждый публичный URL увеличивает объем обхода, а значит, косвенно влияет на нагрузку на сервер и на то, как быстро робот доходит до важных страниц. Если сайт большой, имеет смысл регулярно пересматривать структуру таксономий и не плодить теги «на всякий случай».
Для безопасности важно не закрывать все подряд через случайные редиректы в functions.php без проверки прав и контекста. Если вы пишете код сами, тестируйте его в staging и держите резервную копию перед изменениями. Для массовых правок лучше использовать понятный плагин или узкий сниппет, а не набор разрозненных правок в шаблоне.
Если задача шире и включает чистку дублей, служебных страниц и технических настроек SEO, удобнее собрать это в одном инструменте, чем держать несколько конфликтующих решений. Но в любом случае проверка после внедрения обязательна: без нее легко закрыть не те страницы и потерять полезные входы из поиска.