Если в поиске начинают всплывать страницы вида /page/2/, /page/3/ и дальше, это не всегда ошибка. Но часто такие URL действительно создают лишние дубли: на второй и следующих страницах почти тот же набор блоков, заголовков и шаблонных элементов, а полезного контента там меньше, чем на первой. В WordPress это обычно решают не удалением пагинации, а ограничением её индексации.
Ключевой момент здесь простой: пагинация нужна для обхода сайта пользователями и поисковыми роботами, но не всегда нужна в индексе. Если сделать всё грубо, можно испортить обход каталога, блога или архива. Поэтому сначала стоит понять, что именно вы хотите закрыть и как это повлияет на сайт.
Когда пагинацию лучше не индексировать
Обычно закрывать от индексации имеет смысл страницы пагинации архивов записей, рубрик, меток, авторов и похожих списков, если:
- на второй и следующих страницах почти нет уникального текста;
- в выдаче уже ранжируется первая страница архива, а остальные только дублируют её структуру;
- в поиске появляются десятки или сотни URL с
/page/, которые не дают трафика; - сайт небольшой, и поисковику не нужно держать в индексе все страницы списка.
Оставлять пагинацию в индексе обычно разумно, если это крупный каталог или большой архив, где каждая страница списка реально помогает найти контент, а сами страницы получают переходы из поиска. Для обычного блога и большинства информационных сайтов чаще выбирают именно ограничение индексации.
Что важно не сломать при закрытии страниц пагинации
Есть распространённая ошибка: люди ставят noindex на страницы пагинации и одновременно закрывают их в robots.txt. Так делать не стоит. Если робот не может зайти на страницу, он не увидит мета-тег noindex и не сможет нормально пройти по ссылкам внутри пагинированного списка.
Для обхода сайта поисковику обычно нужно, чтобы страницы пагинации оставались доступными по HTTP, а уже индексация ограничивалась на уровне HTML-мета-тега или заголовка. То есть страница должна открываться, но не попадать в индекс.
Ещё один важный момент: не путайте индексацию и обход. Если убрать пагинацию из индекса, это не значит, что поисковик перестанет переходить по ссылкам на следующие страницы. На практике как раз наоборот — доступность нужна, чтобы робот видел весь список и находил новые материалы.
Самый безопасный способ в WordPress: noindex для страниц пагинации
Самый надёжный вариант — добавить для страниц пагинации мета-тег noindex,follow. Тогда страница не будет попадать в индекс, но ссылки на ней останутся доступными для обхода. Это особенно удобно для архивов WordPress, где следующая страница списка нужна как часть навигации.
Если у вас уже стоит SEO-плагин, сначала проверьте его настройки. Многие плагины умеют отдельно закрывать архивы и пагинацию. Это предпочтительнее ручных правок, потому что плагин обычно корректно работает с шаблонами и не ломает обновления темы.
Если нужен ручной способ, его обычно добавляют в functions.php дочерней темы или в небольшой функциональный плагин. Ниже пример, который ставит noindex,follow на страницы пагинации архивов и главной ленты блога.
add_action( 'wp_head', function () {
if ( is_paged() ) {
echo "<meta name=\"robots\" content=\"noindex,follow\" />\n";
}
} );Этот вариант технически рабочий, но использовать его стоит только если вы понимаете, что в теме уже нет другого вывода robots-мета-тега. Иначе можно получить дублирование директив. Если SEO-плагин уже управляет robots-метками, лучше настроить всё в нём, а не добавлять второй источник.
Когда лучше использовать плагин, а не код
Для большинства сайтов удобнее настроить это через SEO-плагин. Так проще управлять архивами, не лезть в тему и не терять настройку после обновления. Подход особенно полезен, если у вас несколько типов архивов: рубрики, метки, авторы, дата, поиск по сайту.
Если нужен именно инструмент для чистки дублей и SEO-настроек WordPress, можно посмотреть Clearfy Pro. В таких задачах он удобен тем, что позволяет централизованно управлять техническими SEO-опциями без ручного кода. Но если у вас уже есть другой SEO-плагин, дублировать функциональность не нужно.
Как проверить, что страницы пагинации действительно закрылись
После настройки не ограничивайтесь визуальной проверкой. Откройте страницу вида /page/2/ и посмотрите исходный код страницы. В нём должен быть мета-тег robots с noindex, если вы выбрали этот способ.
Дальше проверьте ответ сервера и отсутствие конфликтов:
- страница открывается в браузере без ошибки 404 или 500;
- на ней есть ссылки на следующую и предыдущую страницы списка;
- в исходнике нет двух разных robots-меток с противоречивыми директивами;
- если используете SEO-плагин, он не переопределяется темой.
Если у вас есть доступ к Google Search Console или Яндекс Вебмастеру, можно дополнительно посмотреть, как робот видит эти URL. Но сразу ждать исчезновения из выдачи не стоит: после изменения директив поисковикам нужно время на переобход.
Что делать с robots.txt и canonical
robots.txt для этой задачи обычно не нужен. Закрывать пагинацию через Disallow имеет смысл только в редких случаях, когда вы точно понимаете последствия. Для обычной SEO-настройки это плохой вариант, потому что робот перестаёт заходить на страницу и не видит её содержимое и ссылки.
С canonical тоже нужно быть аккуратнее. Для страниц пагинации не стоит бездумно ставить canonical на первую страницу архива, если это делает шаблон автоматически и при этом вы хотите, чтобы робот корректно понимал структуру списка. На многих сайтах canonical на саму страницу пагинации или на соответствующую страницу архива работает предсказуемее, чем принудительная склейка всего в первую страницу. Здесь многое зависит от темы и SEO-плагина, поэтому после изменений лучше проверить исходный код нескольких страниц.
Если пагинация уже попала в индекс
Когда URL /page/2/ и похожие уже есть в индексе, одного изменения настроек мало. Сначала нужно закрыть их от индексации корректным способом, а затем дождаться переобхода. Обычно поисковик убирает такие страницы постепенно.
Если нужно ускорить процесс, можно:
- убедиться, что на страницах стоит
noindex,follow; - не блокировать их в
robots.txt; - проверить, что они отдают код ответа 200, а не редирект на главную или 404;
- при необходимости отправить страницы на переобход через инструменты для вебмастеров.
Не пытайтесь решать проблему массовым удалением URL без понимания структуры сайта. Если пагинация используется для навигации по архиву, её нужно не ломать, а аккуратно вывести из индекса.
Коротко о правильной схеме
Для большинства WordPress-сайтов рабочая схема такая: страницы пагинации остаются доступными для пользователей и роботов, но получают noindex,follow; robots.txt их не блокирует; canonical и robots-метки не конфликтуют; после настройки вы проверяете исходный код и ответ сервера. Это убирает мусорные дубли из индекса и не мешает поисковику обходить сайт.
Если у вас небольшой блог или сайт с обычными архивами, этого обычно достаточно. Если же речь о крупном каталоге или нестандартной теме, сначала проверьте, как именно она формирует архивы и мета-теги, а уже потом меняйте индексацию пагинации.