Сеомания и сеомаразм: тег и атрибут noindex, nofollow.
Здравствуйте, уважаемые читатели блога сайт. Сегодня я хочу затронуть проблему понимания того, можно ли сейчас использовать и noindex для того, чтобы закрыть ссылку от индексации поисковыми системами Яндекс и Google, ибо за последние полгода или год произошло кардинальное изменение алгоритма работы nofollow.
Проблема здесь заключается в том, что Google изменил принцип расчета статического веса при его использовании rel nofollow и изменение это давно и горячо обсуждается на разных тематических форумах по продвижению и оптимизации сайтов.
Какое влияние оказывают rel nofollow и тег noindex
Да и Яндекс тоже не отстал от своего самого большого конкурента на рынке поиска рунета и изменил, начиная с 2010 года, свое отношение к nofollow (он стал его учитывать).
Раньше зеркало рунета его игнорировало, но теперь, как видно из скриншота снятого на этой странице хелпа, данный атрибут работает и учитывается.
Тег же noindex, который Яндекс ввел в оборот единолично и который до некоторых пор являлся единственной альтернативой нофоллоу, сейчас никак не влияет на учет закрытой им ссылки.
Но с помощью него по-прежнему можно закрывать от индексации отдельные фрагменты вебстраницы. Этот тэг является парным и учитываться поиском не будет все, что попало между его открывающим и закрывающим элементом.
Т.к. ноиндекс был чисто нашим местечковым изобретением, то, естественно, что он не был включен в реестр разрешенных тегов текущей версии языка Html 4.01 и валидатор на него по-прежнему ругается.
Во избежании этого можно использовать его в качестве , как это было показано на скриншоте выше. В этом случае , естественно, ругаться не будет, ибо в комментариях можно писать все, что угодно.
текст, индексирование которого нужно запретить
Яндекс пишет на своей странице хелпа, что noindex и nofollow следует интерпретировать точно так же, как и аналогичные значения, которые используются в .
Т.е. нофоллоу запрещает переход роботу поиска по данной ссылке, а ноиндекс запрещает добавлять заключенный в нем фрагмент текста в индекс.
Google так вообще никогда не учитывал noindex и, естественно, его с успехом игнорирует, равно как и любой другой поисковик кроме Яндекса. Изменилось отношение к подсчету статического веса на страницах, где находятся . Раньше их можно было вообще не учитывать, однако сейчас все стало немного сложнее и печальнее.
Но рассказать обо всем в двух словах — это не наш метод. Поэтому я сейчас немного подпущу «воды», как выражаются некоторые господа в комментариях, и попробую на пальцах и абстрактных примерах показать сложившееся положение. Да, сразу оговорюсь, что мое мнение ни в коей мере не является абсолютной истиной, ибо оно лишь выражает мою точку зрения на данную проблему. Заранее спасибо всем комментаторам, ибо в споре рождается истина.
Итак, давайте сначала вернемся немного в прошлое и посмотрим, как можно было с помощью тегов nofollow и noindex закрыть от индексации гиперссылки для поисковых систем (чаще всего все же пытаются закрыть от индексации внешние бэклинки, ибо они способствуют утеканию статического веса, но об этом поговорим чуть позже).
Так вот, тексты ссылок, которые называют еще анкорами, позволяют Яндексу и Гуглу проводить так называемое ссылочное ранжирование, существенно влияющее на положение ресурса в поисковой выдаче. Именно по этой причине для продвижения сайта по какому-либо запросу ( вам в помощь) оптимизаторы стараются закупить как можно больше бэклинков с текстами (анкорами), содержащими из того запроса, по которому продвигается данная страница.
В свое время ряд энтузиастов сделали так, что по запросу «жалкий неудачник» открывался ресурс тогдашнего президента Америки Буша младшего. Что примечательно, на самом ресурсе вообще не встречались данные ключевые слова, но зато на него была проставлена гигантская ссылочная масса с этим текстом (анкором), в результате чего вышел такой казус.
Сейчас уже такой фокус не пройдет, ибо ссылочное ранжирование не имеет такого колоссального влияния на ранжирование и нужно, чтобы и на самом портале Буша встречалась эта фраза, что маловероятно.
Но на этом роль ссылок в поисковом продвижении не заканчивается, ибо алгоритмы поиска в обязательном порядке для каждой страницы каждого отдельно взятого ресурса рассчитывают так называемый статический вес . Возможно, что разные системы рассчитывают его чуть по разному, но суть остается не измененной — статвес передается странице только по гиперссылке и при этом не учитывается ее анкор.
Правда, любая страница (документ, как их именуют поисковики) сразу после своего появления (индексации) имеет изначальный минимальный статический вес (), который может быть неограниченно увеличен за счет входящих внешних и внутренних ссылок на эту страницу. Тут ключевым моментом является то, что он передается не только внешними, но и внутренними ссылками.
Причем документ, ссылаясь на другие внешние или внутренние страницы, вовсе не теряет свой статический вес (pr для Google или для Яндекса), который целиком и полностью зависит только от количества и весомости входящих на нее гиперссылок. Под последним я подразумеваю собственный статвес страниц доноров (доноры — те, откуда проставлены беклинки на ваш документ, который в этом случае выступает акцептором).
Как закрыть от индексации внешние ссылки
Помните, в школе когда-то были популярны задачки про бассейн с несколькими входящими и исходящими трубами? Там еще нужно было рассчитать то ли время наполнения бассейна, то ли уровень воды в нем. Но не суть важно. Просто я хочу взять в качестве абстрактного примера для пущей наглядности именно такой бассейн, да не простой, а с рядом допущений.
Каждый документ на сайте можно будет представить как отдельный бассейн, в который будет подводиться вода по ряду труб разного диаметра (наши входящие внутренние и внешние гиперссылки из документов с разным статическим весом), а так же будет ряд труб, по которым вода побежит на другие документы вашего же или же какого-либо другого ресурса (исходящие внутренние и внешние линки).
Уровень же воды в бассейне будет эквивалентен статическому весу, набранному данным документом (вебстраницей вашего ресурса). Допущение же будет состоять в том, что вода, утекая по трубам исходящих ссылок, не будет уменьшать уровень воды в бассейне (статический вес документа).
Теперь смотрите внимательно. Допусти, что у нас с одного документа проставлено 4 внутренних ссылки и одна внешняя (в аналогии с бассейном это будет эквивалентно пяти исходящим трубам одинакового сечения). В результате максимальный статвес, который может передать этот документ (вебстраница), будет поделен ровно на 5 частей и лишь одна пятая этого веса передастся на каждую из 4 внутренних документов, а одна пятая уйдет по внешней.
А теперь представьте, что вы имеете возможность попросить поисковые системы Яндекс и Google не индексировать эту самую одну внешнюю ссылку (закрыть ее или в аналогии с бассейном — перекрыть вентиль на трубе, ведущей не на ваш проект).
Тогда максимальный вес документа, который он может передать, нужно будет делить уже не на 5 частей, а только на 4, что позволит внутренним ссылкам документа получить по одной четверти, а не по одной пятой максимального веса, что способна отдать данная вебстраница.
Вроде бы пустяк, но если у вашего ресурса тысяча страниц, а вы закроете от индексации несколько сквозных внешних ссылок (которые будут присутствовать на всех документа, например, со ), то суммарный прирост статвеса будет ощутимым. А он ведь напрямую влияет на положение вашего ресурса в выдаче Яндекса и Гугла при ранжировании (естественно, при прочих равных условиях оптимизации).
Думаю, что с вопросом, зачем закрывать внешние гиперссылки от индексации, мы разобрались и теперь осталось только выяснить, а как это сделать? Раньше было все просто — заключаете ненужную вам гиперссылку в открывающий и закрывающий тег noindex для того, чтобы ее не учитывал Яндекс, а в Html тег ссылки A прописываете атрибут (для Google), например, так:
В WordPress для автоматизации процесса закрытия от индексации всех внешних ссылок можно использовать, например, . При его использовании, если в тег гиперссылки прописать специальный класс, она останется открытой для индексации поисковыми системами. Это может понадобиться, например, при проставлении линка в постовом или рекламном обзоре.
Статический вес не передавался по закрытой таким образом гиперссылке и внутренние страницы вашего сайта, в результате, получали несколько большее его значение, чем в случае с открытой внешней ссылкой. Но так было раньше, а сейчас все стало очень и очень проблемно.
Это касается только удержания статвеса на сайте. Тут важно понимать, что, например, в комментариях просто необходимо закрывать линки от индексации, ибо большое количество ссылок на спамные ресурсы (вы в состоянии проверить все ресурсы комментаторов?) сделает ваш проект тоже спамным в глазах поисковых систем.
Итак, вернемся к тому, что Google изменил алгоритм работы — теперь по ссылке, в которую вставлен этот атрибут, статический вес на документ передаваться не будет, но в то же время это не увеличит долю веса , передаваемого на внутренние страницы, по проставленным с данного документа внутренним гиперссылкам.
Если вернуться к нашему примеру с бассейном и трубами, то ситуация с , которая была до нововведения, может быть представлена как перекрывание вентиля на трубе, ведущей на другой ресурс. И при этом больше воды (статического веса) перетекало по оставшимся трубам (внутренним).
А вот текущая ситуация выглядит, как выдирание трубы внешней с корнем — ссылочный вес уже не потечет на внешний ресурс, но и у нас в бассейне останется дырка, а следовательно, внутренние страницы вашего ресурса по прежнему будут недополучать статического веса .
Как Яндекс учитывает rel nofollow и noindex
Это мы все говорили за Гугл, а как обстоит ситуация с использованием для Яндекса, ведь это наш незабвенный лидер поиска в рунете. Тут все много туманнее, ибо однозначных суждений нет по этому вопросу.
Но похоже, что зеркало рунета, после того как стало учитывать rel nofollow в тегах гиперссылок, снял с noindex всякое влияние на запрет индексации ссылок.
Теперь noindex служит одной единственно цели — закрывать от индексации в Яндексе и Рамблере некоторые фрагменты текста. И если использовать его для ссылок, то он просто запретит этим поисковикам индексировать текст (анкор), а вот сама гиперссылка и передаваемый по ней статвес по-прежнему будут учитываться и браться в расчет.
Другой вопрос, как Яндекс учитывает rel nofollow? Копирует ли он схему работы у старого Google или же сразу взял на вооружение переделанный алгоритм расчета? Лично я затрудняюсь ответить на этот вопрос, но полагаю, что стоит рассчитывать именно на худший вариант.
Тогда получается, что у нас с вами уже не осталось инструментария, позволяющего полноценно закрыть от индексации ссылки, да так, чтобы не было утечки веса с сайта в пустоту.
По-прежнему мы можем закрыть от индексации целые страницы или гиперссылки на них с помощью мета тега Robots, назначение которого описано в статье приведенной в начале публикации, но вот с отдельно взятыми ссылками возникают сложности и rel nofollow перестал являться удачным решением для этой проблемы.
Можно, конечно же, проставлять внешние гиперссылки через редиректы или джаву, но Google их уже научился учитывать, а Яндекс, если еще и не научился, скоро обязательно научится. В связи с этим вообще не понятно как быть с бэклинками из комментариев и счетчиков посещений. Они по любому получается будут сосать статический вес с сайта в пустоту (при закрытии их в нофоллоу), либо на ресурсы комментаторов или счетчиков (в случае отказа от его использования).
Некоторые вебмастера, кстати, используют в комментариях external nofollow , хотя это тут вовсе не подразумевает закрытие внешних гиперссылок, а обозначает открытие страницы во внешнем окне (аналог атрибута target="_blank", который в XHTML стал не валидным, т.е. не соответствующим стандартам), но этот external работать будет только в связке еще и со специально написанным скриптом на javascript. В общем, это уже совсем из другой темы и к закрытию от индексации никакого отношения не имеет.
Собственно, я решил попробовать вообще убрать беклинки из комментариев и посмотреть как это повлияет на общее положение моего блога как в Гугле, так и в Яндексе. Если изменений в лучшую сторону не будет, то верну все как и было. Эксперимент получится, наверное, репрезентативным, ибо комментариев у меня около 6 000 и большинство из них имеют беклинк на ресурс комментатора.
Если кому-то интересно, то убрать ссылки из комментариев WordPress довольно просто. Вам нужно будет с помощью ftp клиента (менеджера) FileZilla подключиться по FTP и открыть на редактирование файл comments.php из папки с используемой вами темы Вордпресс. В нем вам нужно найти место, где прописан следующий кусочек кода:
и заменить его на чуть измененный вариант:
А так же для того, чтобы убрать из формы добавления нового комментария строчку для ввода URL, вам нужно будет удалить подобный участок кода:
Если приведенная мною теория насчет текущего положения с rel nofollow и noindex окажется правдивой, то должно произойти постепенное увеличение накопленного на блоге статического веса, что не преминет сказаться на позициях сайта в поисковой выдаче. В общем, поглядим.
P.S. Сейчас наиболее действенным способом закрытия ссылок и контента от индексации поисковиками является убирание их в Аякс . Об этом я писал в статье про (пункт номер 6 под вторым подзаголовком).
Удачи вам! До скорых встреч на страницах блога сайт
посмотреть еще ролики можно перейдя на");">
Вам может быть интересно
Как работают поисковые системы - сниппеты, алгоритм обратного поиска, индексация страниц и особенности работы Яндекса
Учет морфология языка и другие проблемы решаемые поисковыми системами, а так же отличие ВЧ, СЧ и НЧ запросов
Статистика поисковых запросов Яндекса, Google и Рамблера, как и зачем работать с Вордстатом
Онлайн сервисы для вебмастеров - все, что нужно для написания статей, их поисковой оптимизации и анализа ее успешности
Анкор - что это такое и насколько они важны в продвижении сайта
Способы оптимизации контента и учет тематики сайта при ссылочном продвижении для сведения затрат к минимуму
Правильное использование тега и атрибута noindex, nofollow – самый первый шаг в грамотной сео-оптимизации. Ведь noindex и nofollow играют огромную роль при передаче веса с одного сайта на другой.
Тег noindex (ноиндекс)
Как можно догадаться, тег ноиндекс используется для запрета индексации какой-то части html-кода (картинки и ссылки нельзя закрыть от индексации этим тегом , а лишь текст). Если все же закрыть анкор с ссылкой этим тегом, то не проиндексируется лишь анкор, а ссылка все равно попадет в индекс. Однако тег не является валидным, поэтому некоторые html-редакторы отказываются его воспринимать (в частности, визуальный редактор в wordpress удаляет noindex). Но тегу можно придать валидность:
в такой форме тэг абсолютно валиден – так его можно прописывать в редакторе wordpress не боясь, что тег исчезнет. Ноиндекс воспринимается исключительно поисковиком Яндексом, а Гугл на него никак не реагирует.
Не стоит путать обычный тег с мета-тегом noindex, прописываемым вначале страницы, их задачи разные. Простой тег запрещает для индексации только ту часть кода страницы, которая находится между открывающимся < noindex> и закрывающимся тегами. Пример:
Что же касается мета-тега, то он запрещает индексировать всю страницу (запрет прописывается в файле ) – такую страницу Яндекс вообще не индексирует.
Кстати, ошибается, когда советует закрывать все ссылки тэгами nofollow noindex, но об этом чуть ниже.
Тег работает безотказно: вся текстовая информация внутри него не попадает в индекс яндекса. Однако некоторые оптимизаторы утверждают, что порой текст внутри ноиндекс индексируются – увы, такое действительно бывает. Дело в том, что яндекс все же изначально индексирует весь html-код, даже тот, что внутри тега, но потом проводит фильтрацию. Поэтому первое время действительно текст внутри ноиндекс может быть проиндексирован, но вскоре тег срабатывает и «все лишнее» вылетает из индекса.
Кстати, соблюдать вложенность тегов noindex совершенно необязательно — тег сработает даже при неправильной вложенности (это написано в справке Яндекса):
Внимание!!! Используя открывающийся тег () , не забудьте поставить закрывающийся — ( ) , иначе весь текст, следующий после не будет проиндексирован.
Когда нужно использовать ноиндекс, а когда нет
Этот тэг стоит использовать в тех случаях, когда мы хотим спрятать от яндекса ненужную часть html-кода страницы, дабы в индекс робота этой поисковой системы не лезла «грязь». Основываясь на этом, можно сказать, что noindex стоит использовать, чтобы:
- спрятать коды различных счетчиков (liveinternet, rambler100, счетчики тИЦ и PR и т.д.);
- спрятать нехорошее слово или нецензурную речь, хотя «такое» лучше вообще не употреблять;
- спрятать повторяющийся или неуникальный контент (цитата, копипаст и т.д.);
- закрыть от индексации слишком часто или постоянно изменяющийся контент – индексация такой информации бессмысленна;
- не давать Яндексу видеть формы рассылок, подписок на почты и Rss и т.д.;
- не индексировать ненужную информацию в сайдбарах (баннер, лишнюю текстовую информацию).
Но тег ноиндекс не нужен в некоторых случаях.
- Не нужно закрывать от индексации рекламу от Яндекс.Директ, Гугл.Адсенс, Бегун.
- Не стоит помещать внутрь тега внешние или внутренние ссылки — тег на них не работает все равно. Посмотрите на ссылки с моего сайта, ни одна из них не заключена в тег noindex — это бессмысленно!
- Нет необходимости помещать в тег noindex ссылки в комментариях на блогах — опять же, он не работает!
Тэг nofollow
Атрибут nofollow предназначен для закрытия от индексации ссылок как для Гугла, так и для Яндекса. Он используется для того, чтобы не передавать вес со ссылающегося сайта на ссылаемый. То, что Яндекс не знает о нофоллоу — миф, убедитесь сами — ссылка . Кстати, тег nofollow не сохраняет вес на странице — если какая-та ссылка «нофоллоу», то вес по ней не перетекает, а сгорает , либо, если есть другие не закрытые данным тегом ссылки на странице, перераспределяется между ними. Кстати, отсюда следует, что если у вас на странице есть хотя бы одна активная внешняя гиперссылка, то вес со страницы уходит — поэтому не стоит закрывать все внешние ссылки тегом nofollow . Вес вы все равно не сохраните (он сгорит, если все внешние ссылки закрыть нофоллоу).
Принципиальное отличие между noindex nofollow: ноиндекс – тег, закрывающий от индексации текст, нофоллоу – атрибут тега , запрещающий передавать вес по ссылке. Пример использования нофоллоу:
< a href= "http://example.ru" rel= "nofollow" > анкорИспользование nofollow
Использовать атрибут nofollow нужно в том случае, если нет необходимости в передаче веса со ссылающегося сайта на тот web-ресурс, на который ведет ссылка. Поэтому тег используем, чтобы:
- не передавать вес по ссылкам, ведущим на «плохой» сайт с точки зрения поисковиков или просто какой-либо «левый» сайт, ничего не значащий для вас;
- закрыть от передачи веса ссылку на нетематический вашему сайт — такая ссылка нежелательна;
- перераспределять вес между ссылками на странице (полезно, если вы или продаете ссылки с сайта через биржи);
- уменьшить количество исходящих со страницы ссылок – это делается в том случае, если внешних или внутренних ссылок на странице слишком много;
- не отдавать вес на ссылку, ведущую на мегапопулярный ресурс (яндекс, гугл, subscrube и все сайты, тиц которых очень большой);
- закрыть ссылки в комментариях — передавать вес по ним не нужно (но только, если ваш блог не ).
Совместное использование тега и атрибута noindex nofollow
Оба тега, и ноиндекс , и нофоллоу отлично чувствуют себя, когда их ставят рядом друг с другом. Пример их совместного использования:
< noindex>< a href= "http://example.ru" rel= "nofollow" > анкорНо как и было сказано выше, совсем необязательно закрывать ссылки тегом noindex, это бессмысленно. Вы так сможете запретить индексировать анкор, но не саму ссылку. Самой ссылке хватает тега nofollow. Но несмотря на это, многие оптимизаторы (в большей степени — новички), страхуясь, закрывают ссылку обеими тегами — nofollow noindex . Они лишь делают лишнюю работу — толка от нее никакого, задачи этих тегов разные. Просмотрите любую мою статью (к примеру эту — ), ни одна ссылка там не закрыта тегом ноиндекс. Не доверяете мне, загляните на блог опытного оптимизатора. И школа Старт Ап, учащая своих студентов закрывать все ссылки ноиндексом, ошибается.
На десерт: сеомания и сеомаразм современных оптимизаторов
Исключительно для тех, кто дочитал до этих строг, я делюсь эксклюзивной информацией, которая, впрочем, известна опытным оптимизаторам, они ее и не скрывают, но не особо ей афишируют.
Новички-оптимизаторы занимаются настоящим маразмом: они все внешние ссылки с сайта прячут внутрь тега и атрибута noindex, nofollow . Или хуже того: вообще на страничке нет ни одной внешней ссылки, боясь потерять «драгоценный» тИЦ. Спрашивается, зачем это делать, зачем так бояться потерять немного веса со страницы? Что, от этого действия сильно упадет тИЦ сайта или PR странички? Или страницу невозможно будет вывести в топ по СЧ или НЧ-запросам? Глупости. Не нужно жадничать: 1-2 внешние ссылки со странички только улучшат доверие к ней со стороны поисковых систем, и сейчас я вам это докажу.
Любой текст, написанный кем-либо, должен содержать ссылки на источники, которые использовались при его написании, иначе возникнут сомнения по поводу достоверности излагаемого материала. Сами посудите, вы бы стали доверять книжке, у которой в списке литературы стояло бы 1-2 источника? Вдумайтесь, даже у маленькой брошюрки в источниках находится 10-20 материалов.
Как вообще определить, можно ли доверять информации в статье? Если мысли в тексте подкрепляются авторитетным мнением, то доверять можно. Вспомните про википедию, любая статья в ней содержит море ссылок, а если их недостаточно, то модераторы удаляют материал. Также и с любой статьей на вашем сайте: если у вас не будет стоять достаточно ссылок на сторонние АВТОРИТЕТНЫЕ ресурсы, то цена такому материалу нулевая! В первую очередь, вы должны заботиться о читателях, поэтому руководствуйтесь двумя правилами:
- ссылки — это основа интернета, поэтому рекомендуя (при помощи ссылок) хороший сайт/статью/информацию своим посетителям, вы тем самым и свой сайт делаете полезнее, ведь именно от вас читатель узнал про другой хороший сайт. Вывод: не бойтесь добавлять ссылки, которые действительно окажутся полезны вашим читателям.
- сама собой ссылка на сайте появиться не может, следовательно, ссылку ставит владелец сайта, и если он ссылается на «нехороший», неавторитетный, забаненный Яндексом ресурс, то для пс в дальнейшем сайт такого горе-вебмастера станет неавторитетным. Вывод: ссылайтесь на АВТОРИТЕТНЫЕ, полезные ресурсы.
Поисковики всегда помогут попасть в топ сайту, который сделан для людей, поэтому ссылайтесь на хорошие ресурсы, не бойтесь — 1-2 полезные ссылки не только не помешают, а еще и укрепят позиции сайта. И не забывайте, не стоит все внешние ссылки закрывать nofollow, не бойтесь делиться весом, он же все равно уйдет со странички. Мнение «не мне, так не другим» в корне не правильное, поделитесь сейчас вы открытой ссылкой, и потом кто-нибудь поставит ссылку на вас безвозмездно.
И еще: активно перераспределяйте вес между ссылками, закрывая некоторые nofollow (но не noindex — снова напоминаю, это бессмысленно). Нужные внешние ссылки оставляйте открытыми, а ненужные закрывайте, чтобы вес доставался только первым.
Сео-оптимизация в случае с noindex nofollow должна быть правильной. Надеюсь, из моей статьи стало понятно как правильно и неправильно использовать ноиндекс и нофоллоу .
‘Noindex’.
Предназначение тега является возможность закрыть от индексации поисковыми роботами нежелательные ссылки. В файле robots.txt можно закрыть от индексации только целые страницы или блоки, а как быть в том случае, если необходимо “спрятать” только одну-две ссылки со страницы, причем остальные оставить открытыми для поисковых роботов. В этом случае и приходят на помощь тег .
В чем разница между тегом
Тег
Атрибут rel=’nofollow’ тега был введен поисковиком Google задолго до Yandex. В отличие от тега
Как прописать тег
анкор вашей ссылки
В отличие от атрибута rel=’nofollow’ тега тег может скрыть от зорких глаз поискового робота Yandex не только ссылку, ни и целый участок кода, причем: неважно каким он будет по размеру. Все, что стоит между будет скрыто от Yandex. Данная отличие тега
Если вы захотите исключить передачу веса ссылки абсолютно для всех поисковых систем, не прописывая запреты в файле robots.txt, то вам придется воспользоваться как тегом
Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.
Внимание! Поисковый робот не обнаружит директиву noindex , если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).
Директива noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому ее рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.
Как добавить атрибут noindex
Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.
Тег
Чтобы заблокировать большинство поисковых роботов , добавьте следующий метатег в раздел
веб-страницы:
Если вы хотите закрыть доступ к странице только роботам Google , используйте такой код:
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
Помогите нам обнаружить метатеги
Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента . Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt .
Заголовок ответа HTTP
Вместо метатега можно возвращать заголовок X-Robots-Tag . В ответе должно быть указано значение noindex или none . Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу.
Начнем с того, что обозначим разные способы использования noindex и nofollow:
- Тег
- Метатеги и
Тег
Тег
Заблуждение №1. Основная ошибка людей, которые используют этот тег, заключается в убеждении, что если часть какого-либо текста помещена между открывающимся и закрывающимся тегом
Единственное, что данный тег запрещает – это помещение содержимого в индексную базу, но это содержимое в любом случае будет прочитано и проанализировано роботом.
Пример: На странице вашего сайта расположен некоторый текст, использующий прямые вхождения предложений из других сторонних источников. Следовательно, эти предложения снижают уникальность вашего текста, а вам необходимо, чтобы уникальность была 100%. Вы решаете закрыть эти предложения тегом
Абсолютно весь текст вашей страницы будет прочитан и обработан роботом, и ему будет известно, что текст вашей страницы не является уникальным.
Сама суть тега
Предположим, что поисковый робот зашел на вашу страницу и начал сканировать содержимое. В какой-то момент робот находит открытие тега
Для чего же тогда нужен тег
Он нужен непосредственно для того, чтобы запретить роботу выдавать в выдаче своей поисковой системы какую-либо информацию. Это могут быть, к примеру, контакты, которые по каким-либо причинам не должны отображаться в выдаче.
Заблуждение №2. Ещё одно заблуждение, которое часто встречается среди владельцев сайтов, – это мнение, что ссылка, помещенная в тег
На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут , который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.
Пример 1:
Яндекс не индексирует анкор, но учитывает ссылку на сайт и передает по ней вес
Пример 2:
Яндекс не индексирует анкор и не передает вес по ссылке на сайт
Существует два способа написания тега
1.
2. Текст, запрещённый к индексированию
Второй вариант более верный. Так как тег
Метатеги и
Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.
Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса :
«Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow»
Подведём итоги
Тег
Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно может пройти по ссылке (если информация о ней получена из других источников: карта сайта, ссылки) и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.