Как удалить дубли страниц на wordpress. Как убрать дубли страниц на wordpress

Всем привет! На днях обнаружил баг в WordPress, который создает бесчисленное множество дублей страниц. Проблема касается всех, у кого есть сайты на этой CMS. Да-да, многими любимый движок может создать большое количество идентичных документов.

Напугал? Не переживайте =) . Баг, действительно, серьезный, но исправить его можно достаточно просто. Ниже я расскажу, что это за зверь и как от него избавиться.

И вот, зайдя в статистику для блога, был неприятно шокирован - сотни дублей несуществующих документов.

Оказывается, если к любому посту в блоге добавить любые цифры, то WordPress создаст такую страницу - она будет идентична основной записи. Баг с постраничной навигацией отдельных постов - сотни или тысячи вероятных дублей.

На таких страницах нет мета-тега robots и есть canonical, который в качестве канонического документа указывает именно дубль.

Проверьте, у вас также?

Усугубляет ситуацию связь с плагином All in one SEO pack, который дополнительно дает ссылку на предыдущую запись: поисковый робот не только заходит, по сути, на несуществующую страницу, но и начинает ходить по другим таким же. Добавлялось и удалялось сотни подобных "постов".

Я начал копать глубже и создал топик на wordpress.org. Оказалось, что еще в 2014 был баг при создании многостраничных постов с помощью тега . Тогда также создавались несуществующие документы, но canonical для 2-й, 3-й или последующих страниц, наоборот, указывали всегда на первую, то есть не индексировались.

Начиная с WordPress 4.4 баг с canonical убрали (у каждой "пагинированной" страницы поста появился свой каноникал), а вот ошибку с созданием несуществующих документов не убрали. Поэтому сейчас индексируется больше, чем нужно .

Что делать и как убрать дубли?

Сперва, хочу сказать, что в одной из ближайших версий вордпресса этот баг постараются исправить.

Пока же нам придется убирать его, так называемыми, "костылями" . Существует 2 варианта.

1) Плагин After Last Page Fix от Белотицкого Юрия. Скачать можно . Установка в один клик, настроек нет. Скрипт вместо создания множества дублированных документов отдает 404-ошибку. На мой взгляд, самый удачный вариант. Недостатки:

• плагин добавляет дубль rel="canonical";
• и shortlink.

2) Дополнительная настройка All in One SEO Pack. Разработчики этого плагина, скорее всего, оказались в курсе данного бага и в новых версиях появились дополнительные чекбоксы.

Несуществующие записи будут создаваться, но в них будет указан мета-тег robots, запрещающий их индексирование.

В других SEO-плагинах для wordpress не смотрел. Вероятно, в Yoast SEO или подобных будут такие же настройки. UPD . Да, действительно, в плагине от Yoast прописывается каноникал на основную запись.

Вот и все ! Баг достаточно серьезный, но исправляется, можно сказать, в один клик. Вам остается проверить, создаются ли у вас подобные страницы. Если да, то выбрать один из вариантов решения проблемы.

Получается, что, обновляясь на новую версию wordpress, не только устраняешь старые ошибки CMS, но можешь и получить новые. Интересно, какая у вас версия движка и создаются ли такие несуществующие посты? Поделитесь статистикой в комментариях .

Приветствую, дорогие читатели. Блоги, созданные на wordpress, нередко сталкиваются с появлением дублей страниц, создаваемых древовидными комментариями. К основному адресу страницы добавляется окончание, содержащее replytocom и номер комментария. Сегодня я покажу, как избавиться от дублей replytocom раз и навсегда.

Мой блог сталкивался с проблемой появления таких ссылок несколько раз. Каждый раз я находил способ, чтобы от них избавиться, но решение либо мне не нравилось, либо не исправляло ситуацию до конца. Пока я не нашел выход.

Я покажу вам все способы удаления дублей replytocom, включая тот, на котором остановился сам.

Что такое replytocom и как он появляется

Блог это не только площадка, на которой размещаются статьи, это еще и место для общения людей. Иногда, в комментариях появляются дискуссии, ценность которых на порядок выше, чем материал, размещенный в посте.

Для удобства общения в wordpress есть возможность включить древовидные комментарии. Это формат, при котором оставлять отзывы можно не только к основной записи, но и к отзывам других комментаторов.

Включается эта функция в админке, в разделе «Настройки» -> «Обсуждение».

Установка галочки, разрешающей вложенные комментарии добавляет к каждому сообщению специальную кнопку – «Ответить». С помощью этой кнопки можно вести дискуссию в рамках конкретной ветки сообщений с выбранным комментатором. Переписка не затеряется среди массы других комментариев, так как все сообщения одной ветки будут находиться рядом.

Обратите внимание, мой ответ первому комментатору был написан позже, чем сообщения, находящиеся ниже, но так как он адресован Марине, то находится рядом с ее сообщением и немного сдвинут вправо.

Максимальная глубина такой ветки задается на той же странице – «Обсуждение».

Я ушел немного в сторону. Нас интересует сама кнопка «Ответить» – ссылка этой кнопки как раз и создает дубль страницы.

И таких ссылок создается ровно столько, сколько существует комментариев на вашем блоге.

Зачем удалять replytocom

На данный момент мой блог содержит 3849 комментариев. Это, потенциально, 3849 неуникальных, никому не нужных дублированных страниц.

SEO эффект

Многие боятся того, что большое количество дублей replytocom приведет к пессимизации сайта в поисковой выдаче. Я с этим не совсем согласен.

Дубли, конечно вредны, но в данном случае этот вред будет ощутимым лишь в том случае, если у вас не сделана SEO оптимизация сайта (канонические адреса и запрет индексации ненужных страниц).

Канонические URL, настройки индексации и правильная конфигурация файла Robots.txt защитят сайт от появления любых дублей в индексе поисковиков.

По крайней мере, появление страниц с replytocom на моем блоге ни разу не приводило к изменению позиций в поисковой выдаче.

В данном случае, вебмастера часто добавляют в этот файл код (у меня он тоже стоял), который запрещает поисковикам индексировать все адреса содержащие?replytocom. Выглядит код вот так:

User-agent: * Disallow: /?replytocom*

Добавление этого кода не удаляет сами страницы дублей, но говорит поисковым роботам, что эти страницы в поиск попадать не должны.

Есть ли от него польза? Несомненно, есть. Если вы не используете другие способы борьбы с дублями, то это один из элементов, предохраняющий выдачу по вашему сайту от мусора и, спасающий его от наложения фильтров.

Как убрать replytocom из wordpress

Мы рассмотрим 5 способов удалить дубли replytocom. Первый вас повеселит, второй напряжет, третий даст понять, что любые проблемы решаются легко, четвертый докажет, что все гениальное просто, а пятый заставит забыть о проблеме навсегда. Поехали.

Способ 1. Отключить древовидную структуру комментариев

Самый простой выход из сложившейся ситуации. Снимаем галочку напротив древовидных комментариев, и проблема решается – быстро и навсегда.

Такой способ подойдет в том случае, если на ваши статьи оставляют мало отзывов и дискуссии возникают крайне редко. Отключение кнопки «ответить» удаляет и ссылку, создающую дубль поста.

Включить вложенные комментарии обратно вы сможете в любое время, но проблема сразу вернется, так что сохраните эту статью себе в закладки (перечитаете когда вновь включите вложенные комментарии).

Способ 2. Изменить файл comment-template.php

Этот способ удаляет корень зла – исправляет функцию, создающую replytocom, удаляя из нее ненужные аргументы.

Этим способом я пользовался очень долго по одной причине – 100% решение проблемы. В самой ссылке не формируется replytocom. Но есть один недостаток, о нем скажу ниже.

Сделать нужно так. Открываем для редактирования файл comment-template.php. Это стандартный файл wordpress, он находится в папке /wp-includes/. В нем находим приведенный ниже участок кода, обычно он начинается с 1425 строки.

$link = sprintf("%s", esc_url(add_query_arg("replytocom", $comment->comment_ID)) . "#" . $args["respond_id"], $onclick, esc_attr(sprintf($args["reply_to_text"], $comment->comment_author)), $args["reply_text"]);

Удаляем вот этот участок ‘replytocom’, $comment->comment_ID . Он отвечает за добавление к ссылке лишнего хвоста.

После сохранения дубли пропадут, но не навсегда. При обновления версии wordpress, все файлы движка обновятся, включая этот, и все изменения придется вносить заново. Пару раз я забывал это делать и вспоминал только тогда, когда в яндекс.вебмастерс начинало резко расти количество исключенных из индекса страниц.

Способ 3. Плагин WordPress Thread Comment

Этот плагин был написан специально для создания древовидных комментариев на wordpress Насколько я помню, когда он появился, такой функции в саму CMS встроено еще не было, и я его использовал. Устанавливается он через поиск плагинов в админке (как это делать смотрите ).

В принципе он решает все проблемы, так как выводит ссылку “Ответить” скриптом. Но есть некоторые но:

• Плагин не использует оформление, встроенное в тему, поэтому придется либо мириться с его ущербным видом, либо самостоятельно наводить ему красоту правками CSS.
• Последнее его обновление было 6 лет назад. Разработчиками он заброшен.
• Все плагины добавляют лишнюю нагрузку сайту. Там где возможно, лучше обходиться без них.
• На мою тему оформления он встал, но не заработал, выдав ошибку (не смог найти ID формы комментирования). Вот так вот, где ее взять я понятия не имею. Раньше на другом шаблоне функционировал нормально.

Если у вас он заработает, то можете использовать, дублей replytocom не будет.

Способ 4. Постоянный 301 редирект в htaccess

Как я и обещал, в конце самое вкусное и простое решение. В сайте ничего менять не нужно. Мы просто настраиваем постоянную переадресацию (301 редирект) со всех страниц с replytocom на основные страницы статей в файле.htaccess.

Для этого добавляем следующий код:

RewriteCond %{QUERY_STRING} replytocom= RewriteRule ^(.*)$ /$1?

Сами ссылки с replytocom на страницах остаются, но, переходя по ним, роботы попадают на каноническую страницу статьи, которая им уже известна. Благодаря редиректу, через некоторое время и Яндекс и Гугл полностью удалят ссылки с хвостами из своих баз и вы будете навечно защищены от дублей.

После того, как вы сделаете редирект – не забудьте удалить в файле robots.txt запрет на индексацию этих ссылок. Это необходимо, чтобы поисковики получили разрешение на переходы по ним и смогли проиндексировать изменения.

Опять же, остается одна проблема – лишние ссылки, по которым должны ходить роботы. Хоть они и перестают влиять на выдачу и ранжирование сайта, но нагрузку по-прежнему создают.

Способ 5. Функция, отменяющая вывод ссылки

Об этом методе я узнал совсем недавно, благодаря Виталию Кирилову и его блогу seo-mayak.com . Способ заключается в том, что мы вносим в файл function.php нашей темы дополнительный код, который преобразует ссылки формата в тег . В результате, кнопка или ссылка «Ответить» превращается в нессылочный элемент. При этом, нажатие на нее приводит к аналогичному результату – к ответу на соответствующий комментарий.

Данный подход решает абсолютно ВСЕ проблемы, возникающие с дублями страниц replytocom в вашем wordpress блоге.

Через админку открываем файл function.php темы оформления и в конце файла, перед закрывающим ?> вставляем этот код:

/*** удаляем replytocom ***/ function mayak_replycom_remove($mayak_remove) { $cut = "!(.*?)!si"; $insert = "\\4"; return preg_replace($cut, $insert, $mayak_remove); } add_filter("comment_reply_link", "mayak_replycom_remove");

На этом проблема со ссылками решена, и остается настроить внешний вид новых кнопок. Так как они перестали быть ссылками, их CSS свойства меняются. Нам необходимо поправить свойства элемента comment-reply-link, если он у вас уже был, и создать такой элемент, если в файле style.css его не существовало.

Если делать стиль с нуля, то вам нужно вставить с новой строки в style.css следующий блок:

Comment-reply-link { color:#000; /*Устанавливает цвет ссылки*/ text-decoration:none; /*Отменяет подчеркивание*/ cursor:pointer; /*Меняет курсор при наведении*/ }

Отталкиваясь от этого, вы можете задать любые стили, подходящие вашему дизайну (менять шрифты, цвета, размеры, делать кнопку и т.д.).

Важно!!! Если вы использовали последний способ, то удалите следы всех предыдущих вариантов в robots.txt и.htaccess. Вреда они не принесут, но зачем вам лишний мусор?

На этом на сегодня все, проблема решена.

Хочу сделать небольшое добавление ко всему сказанному. Если Вы почитаете в интернете посты некоторых известных блоггеров про то, как убрать дубли в WordPress из поисковой выдачи, то поймете, что разговор выходит довольно длинный , и это действительно так. Даже того, что было проделано в указанных статьях данного блога, недостаточно, чтобы полностью убрать лишний контент из поиска. Т.е. все это работает, но не до конца.

Разобьем сегодняшнюю задачу на части.

1. Удаление ненужного заголовка
2. Форматирование комментариев
3. Работа со страницами с пагинацией

Пройдемся по каждой из них.

Удаление ненужного заголовка

Вот казалось бы, мы пишем новые статьи, отвечаем комментаторам, ставим ссылки на свой блог, прописываем title к картинкам, везде где надо и не надо, но… что-то все равно идет не так, как хотелось бы. Работает все не совсем так, как ожидалось. Гугл нас весело индексирует, думаешь, куда ж он на этот раз впихнет ссылку на проиндексированную страницу… А Яндекс как-то не спешит. Нет, он сам по себе тормознутый неспешный. Может это еще не все?

Так вот было замечено, что автоматически добавляемый к ответу сервера заголовок rel=shortlink Яндекс не любит. Дубль по ней не создается, так как у Вас наверняка прописаны canonical для страниц, да и если вбить ссылку, которая приходит в заголовке (сейчас покажу), в яндексовский сервис «Проверка ответа сервера «, то ответом является 301 Moved Permanently. Видимо, Яндекс воспринимает это как мусор на странице, который ему не нравится.

Мы видим, что заголовок отдается. Но у меня на блоге установлен плагин кэширования , поэтому следующий тычок по кнопке отдает несколько другой набор заголовков, что видно на картинке ниже, так что имейте это ввиду при тестировании.

Чтобы отключить этот заголовок, открываем файл /wp-content / themes / ваша-тема / fuctions.php и пишем перед символами?> всего одну строчку:

remove_action(‘template_redirect’, ‘wp_shortlink_header’, 11);

remove_action (‘template _ redirect’, ‘wp_shortlink _ header’, 11 ) ;

Сохраняем файл, чистим кэш, если такой плагин у Вас используется, и видим, что заголовок исчез.

Форматирование комментариев

Тут придется поработать побольше, саму проблему стоит разделить на более мелкие кусочки.

1. Решение проблемы replytocom
2. Что делать с #comment ?

Возьмем с данного блога форму готового комментария и пронумеруем, к чему относятся данные проблемы.

Преобразование ссылки на сайт комментатора в тег span

Несмотря на то, что все URL сайтов комментаторов по умолчанию снабжены атрибутом rel=’external nofollow’, держать открытыми данные URL не есть гуд. Но убирать их совсем тоже нет никакого смысла, поскольку добрую часть ценных комментаторов с блога Вы уберете.

Не будем скрывать, что многие блоггеры оставляют комментарии на других блогах не только для того, чтобы просто оставить отзыв о работе, проделанной автором статьи, но и чтобы на том сайте появилась ссылочка на блог комментатора, по которой можно тыкнуть . Иными словами, комментатор привлекает на свой блог других людей с Вашего сайта. Увы, не будет и такой возможности, скорее всего, и комментариев почти не будет. Поэтому мы оставим возможность перейти на сайт комментатора, но саму ссылку «

Напомню, что у меня шаблон Reverie, необязательно, что код, приведенный ниже, непременно подойдет Вам, нужно лишь понять смысл происходящего . Открываем все тот же файл fuctions.php Вашей темы и перед тегом?> пишем:

function remove_tag_a_link($tag_remove) { $url = get_comment_author_url($comment_ID); $cut = array("

function remove_tag_a_link ($ tag _ remove) { $ url = get_comment_author_url ($ comment _ ID) ; $ cut = array (" $ insert = array (", " return str_replace ($ cut , $ insert , $ tag_remove ) ; add_filter ("get_comment_author_link" , "remove_tag_a_link" , "url" ) ;

Данный код элементы одного массива ($cut) заменяет элементами другого массива ($insert). Везде в интернете Вы найдете данный код, в котором в каждом из этих массивов 4 элемента, то есть последний заменяемый элемент в ссылке на сайт комментатора был rel=’external nofollow’. Но дело в том, что в моем шаблоне в теге «

Решение проблемы дублей replytocom

Честно говоря, мне тут и добавить нечего, просто дам ссылку на , где подробно описано, как сделать так, чтобы при щелчке на «Ответить» форма ответа выводилась скриптом, встроенным в WordPress, а сам этот элемент страницы перестал быть ссылкой. Если этого не сделать, то мы получаем в поисковых системах кучу дублей replytocom . И все наши труды по продвижению блога будут выброшены. Поисковики дубли все-таки не любят.

Лично я использовала метод добавления функции в файл functions.php, так что можете нажать сочетание клавиш Ctrl + F на странице блога SEO Маяк, скопировать туда имя этого файла, первое его упоминание на странице блога как раз встречается в нужном нам абзаце .

Что делать с #comment ?

Если Вы наведете курсор мыши на дату выпуска комментария, он изображен на рисунке выше, то увидите, что это ссылка, имеющая вид http://наш_сайт/… /#comment-230.

И сколько есть комментариев, столько подобных ссылок у Вас будет. Что же с ними делать, скажете Вы?!

Ответ: ничего !

Ничего, так как с точки зрения поисковых систем это не дубли, это якори для улучшения навигации по странице. Конечно, если Вы очень захотите, Вы можете удалить эту ссылку, но делать это совсем не обязательно, пусть будет .

Маленькая правка редиректа страниц с картинками

Если картинки, на которые были постоянные ссылки, все же попали в индекс поисковых систем, то они оттуда нескоро пропадут. По моему опыту, если прописать 301 редирект на них, они начнут массово исчезать из индекса примерно через месяц-два. Раньше ждать чудес не стоит.

В статье про удаление постоянных ссылок на картинки я приводила некий скрипт, в котором были прописаны редиректы для страниц с картинками. Когда я стала смотреть ответ сервера на некоторые, все же проскочившие в индекс гугла, страницы с картинками, то обнаружила, что некоторые из них отдают 302 редирект. Такие страницы могут висеть очень долго, так как поисковая система надеется, что может быть страничка еще «очухается», так как недаром данный редирект носит название «временный».

Поэтому открываем файл /wp-content / plugins / attachment-pages-redirect / attachment-pages-redirect.php и, если мы столкнулись с подобной ситуацией, просто меняем в функции sar_attachment_redirect строчку

wp_redirect(get_bloginfo("wpurl"), 302);

Table of Contents

Что такое дубли страниц?

Очень часто владельцы wordpress сайтов начинают беспокоиться, если не понимают из-за чего отдельные страницы проваливаются в выдаче. Причиной тому могут быть дубли страниц. Это страницы, содержащие материалы с идентичным или похожим контентом. Речь о страницах архивов дат, рубрик, авторов и комментариев. При этом они могут располагаться под разными адресами, что позволяет дублям конкурировать с основной статьей за место в поисковой выдаче. В этом материале мы расскажем как избавиться от дублей страниц.

Создание дублей страниц на сайте

Как мы уже рассказывали ранее, дубли одной конкретной страницы, где размещена одна конкретная статья создаются и в архивах дат, и в рубриках или категориях (могут называться по-разному), а также на страницах с комментариями. Благодаря этому пользователи могут сортировать посты и находить по определенным критериям нужные. Система делает это автоматически.

Давайте посмотрим как это выглядит на примере архива дат. Предположим нам нужно выбрать все статьи за ноябрь. На главной странице сайта кликните на ссылку в виджете с указанием месяца.

Дубли в комментариях

При работе с комментариями вебмастерам следует учитывать, что как таковые, дубли страниц создаются при наличии древовидной системы обсуждения. В том числе если обсуждений очень много и комментариям не хватает места на одной странице, то часть их перемещается на следующие. И в этом случае вам необходимо удалить дубли страниц в wordpress, иначе проиндексированные страницы станут своеобразной ловушкой для пользователей. Они просто попадут на страницу комментариев статьи, а не на саму статью, после чего посетители, скорее всего покинут сайт. SEO-продвижение явно пострадает от большого количества отказов.

Как удалить дубли с помощью плагина WordPress

Чтобы не разбираться с провалами в поисковой выдаче, лучше заранее провести профилактическую работу. А именно удалить дубли страниц в wordpress. Мы предлагаем вам воспользоваться плагином оптимизации сайтов . В его арсенале большой спектр полезных функций для удаления дублей страниц. Скачайте данное приложение и установите, так мы сможем рассказать о всех фичах более предметно.

После активации перейдите в меню настроек плагина: «Настройки» => «Clearfy меню» =>

Начнем по порядку, с удаления архивов дат. Здесь стоит сразу уточнить, что удалять дубли в буквальном смысле мы не будем. Их просто отключат от индексирования. И это важнее, чем избавиться фактически от копий страниц. Если дубликаты не видит поисковик, значит пользователь перейдет на основную, нужную вам для продвижения страницу и не заблудится в многообразии ссылок-клонов. Чтобы запустить функцию нажмите кнопку ВКЛ.

Чтобы удалить метки архивов, нужно поставить редирект со страниц тегов на главную. Для этого активируйте функцию ниже. Аналогично предыдущим. Обратите внимание на серую метку со знаком вопроса. Она указывает на то, что негативных последствий настройка не вызовет.

Для каждой фотографии или видео wordpress создает отдельную «страницу вложений» с возможностью комментирования, что является своеобразным якорем оптимизации. Подробней об этом мы говорили в предыдущей . Нажимаем кнопку ВКЛ.

Если у вас на сайте пагинация настроена таким образом, что контент размещается сразу на нескольких страницах, то в конце URL, в том или ином виде, будет добавляться порядковый номер каждой страницы. Clearfy же, предложит вам удалить постраничную навигацию записей. То есть каждая страница одной статьи будет редиректиться на основную. Нажмите кнопку ВКЛ.

Если у вас настроены древовидные комментарии, то их иерархия создаст благоприятные условия для создания копий страниц. Выглядит это так: вы отвечаете на чей-то комментарий и одновременно в URL появляется переменная?replytocom – это значит, что поисковик видит в этом не ответ на комментарий, а отдельную страницу, так как адрсе отличается. Удалить дубли страниц в wordpress и выполнить редирект вы можете активировав данную функцию.

Заключение

Время и силы, затраченные на продвижение сайта или отдельных статей могут уйти впустую. Если не позаботиться об удалении дублей страниц заранее. Они индексируются поисковиком и могут составить конкуренцию основным статьям. После прочтения данной статьи мы надеемся, что вы оценили весь спектр представленных функций и теперь вам будет несложно удалить дубли страниц в wordpress.

Приветствую всех читателей блога!

Сегодня я расскажу, как за дубли страниц на wordpress блоге, часто попадают по или БАН, начинающие владельцы сайтов, выбравшие эту sms для своего блога. В этом посте, Вы узнаете, как убрать дубли страниц с помощью файла robots.txt из индекса Яндекс и Google.

Но сначала я кратко расскажу о том, почему появляются дубли страниц на сайте, а затем, как решить эту проблему. Если предисловие читать не хотите, то можете сразу перейти ко второй части статьи.

Что такое дубли страниц на сайте

Самый распространённый движок wordpress, выбирают большинство пользователей для своих сайтов за его простоту, надёжность и богатый внутренний функционал. Но вместе с этой простотой, на wordpress, есть несколько недостатков, которые «недостатками» являются только для начинающих пользователей, до конца не изучивших все возможности и недостатки этой платформы.

Поэтому для всех, кто не знает, поясняю, что wordpress имеет технические свойства генерировать много дубликатов одних и тех же статей, каждая из которых, находится в категориях, метках, архивах по месяцам и по авторам. Дублируются ещё и странички из поисковой формы блога и пагинации, новостной ленты новостей RSS и дубли страниц комментариев.

• То есть если в действительности, у Вас на сайте, написано только 100 статей, то в реальности проиндексированных статей, будет в 3-5 раз больше. Как я уже сказал в предыдущем абзаце, каждая статья будет продублирована в тэге и архиве.

• Раньше, когда во всю процветал бизнес на продаже ссылок с сайта, то для получения максимальной прибыли, у сайта должно быть, как можно больше страниц. Поэтому wordpress, был идеальной платформой для создания многостраничных сайтов. Но со временем, поисковые алгоритмы научились распознавать этот обман и стали бороться с такими сайтами, накладывая на них АГС или БАН (последнее наказание, чаще).

Ничего не подозревающие пользователи, создавали сайт на этом движке, начинали наполнять его контентом и через некоторое, время обнаруживали, что их интернет ресурс, наказан и в поиске, осталось от 1 до 9 страниц.

Появление дубликатов страниц, поисковые алгоритмы расценили, как сайт, создающийся для торговли ссылками. Хотя, при этом, он ни в каких ссылочных биржах участвовал, то есть не продавал и не покупал ссылки с сайта и на сайт.

Как убрать дубли страниц

Совет 1

На самом деле ответ на вопрос, как убрать дубли страниц, простой. Для этого в файле robots.txt, нужно запретить индексацию того, чего не нужно «скармливать» в индекс ПС (смотрите список ниже). Вот и всё!

Как составить файл robots.txt я рассказывал в статье, ссылку на которую только что указал. Там же, Вы узнаете, что обозначает каждая строчка, и что мы запрещаем к индексации.

Типы дублей страниц:

1. replytocom
2. feed
3. page
4. comment-page
5. attachment
6. attachment_id
7. category
8. trackback

Из всего этого количества, можно не закрывать для индексации категории.

Совет 2

Обязательно нужно настроить редирект с www..ru и наоборот. Прямо сейчас, можете это проверить следующим образом. В строке браузера, наберите адрес сайта с www перед названием домена, то есть www..

Если всё нормально, то домен будет без www. Если у сайта доменов много, то с них делайте редирект на главное зеркало сайта.

Совет 3

Если установлен плагин All in One Seo Pack, а он должен быть обязательно установлен, то в настройках, обязательно поставьте галочки в чекбоксе «Канонические URL’ы».

Совет 4

Если заметили, что в индексе Google у Вас проиндексировано больше страниц, чем есть на самом деле, то нужно сделать следующее. Заходите в админ панели на вкладку «Параметры», «Обсуждение» и здесь обязательно (настоятельно рекомендую) снимите галочку напротив пункта «Разбивать комментарии верхнего уровня на страницы».

Если этого не сделать, то у каждого комментария, будет отдельная страница дубль со своим url адресом (replytocom), которая появляется, при нажатии на кнопку формы комментирования «Ответить», когда включены древовидные комментарии, которые нужно так же отключить. Иначе, сколько будет комментариев у отдельно взятой статьи, столько же и её дублей.

Проверить в Google дубли страниц с комментариями, можно введя url адрес своего блога, с приставкой site: перед доменом и replytocom после него. На скриншоте ниже, Вы можете видеть результат проверки моего блога. Как видите, всё в порядке.

Надеюсь, что после прочтения этой статьи, Вы знаете, как удалить дубли страниц. А после того, как примените все полученные знания на своём блоге, то если сделали всё так как нужно, то после индексации, кол-во страниц в индексе Google, должно уменьшится.

И ещё раз напоминаю, что в wordpress дубли страниц, появляются из за технических особенностей этого движка и появляются только в Google, решить которые я рассказал в Способах 2, 3 и 4.