что значит content noindex
Блокировка индексирования при помощи директивы noindex
Вы можете заблокировать показ страницы или другого ресурса в Google Поиске, добавив директиву noindex в метатег на странице или в заголовок HTTP-ответа. Робот Googlebot проигнорирует страницу, обнаружив такой метатег или заголовок во время ее сканирования, даже если на эту страницу ссылаются другие сайты.
Директива noindex позволяет управлять доступом к отдельным страницам сайта. Это может быть полезно, если у вас нет доступа к корневому каталогу на сервере.
Как применять директиву noindex
Применить директиву noindex можно двумя способами: как метатег или как заголовок HTTP-ответа. Они работают одинаково, поэтому выбор подходящего способа будет зависеть от вашего сайта и типа контента, расположенного на нем.
» l10n-translatable-tag-attribute-2-data-text=» tag»>Тег
Чтобы запретить большинству поисковых роботов индексировать определенную страницу вашего сайта, добавьте в ее раздел следующий метатег:
Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:
Учитывайте, что некоторые поисковые системы могут иначе интерпретировать директиву noindex и показывать в результатах поиска страницу, на которой она используется.
Заголовок HTTP-ответа
Как помочь роботам Googlebot обнаруживать метатеги
Чтобы обнаружить метатеги и HTTP-заголовки, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ее после добавления тега. Воспользуйтесь инструментом проверки URL, чтобы запросить повторное сканирование страницы роботом Google. Другая возможная причина: файл robots.txt запрещает роботу Googlebot доступ к URL и не дает ему обнаружить метатег. Чтобы предоставить роботам Google доступ к вашей странице, вам необходимо изменить файл robots.txt. Это можно сделать с помощью специального инструмента.
Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.
Взламываем «Яндекс» с помощью тега noindex: что это, зачем и как использовать
Одни считают, что использовать тег noindex нужно, другие называют его абсолютно бесполезным. Кто прав в этом споре? Стоит ли вообще задействовать noindex на своем сайте? Разбираемся прямо сейчас.
Что такое noindex
У любого разработчика рано или поздно появляется задача скрыть участок текста на сайте от поисковых роботов. Тег noindex дает краулерам указание, что индексировать участок текста, заключенный в теги, не нужно. Другими словами, тег noindex используется для контроля за индексацией определенного участка веб-страницы. Он незаменим для закрытия индексации определенного фрагмента HTML или любых URL.
Многие seo-оптимизаторы разделились на 2 воинствующих лагеря: одни говорят, что тег noindex бесполезен, так как его понимает лишь «Яндекс» и частично «Рамблер», а Google не признает вообще. Другая часть оптимизаторов утверждает, что noindex незаменим в процессе SEO-оптимизации сайта под «Яндекс» и позволяет сэкономить время. Попробуем разобраться, кто прав.
Кто «понимает» noindex
Я уже отметил чуть выше, что тег учитывают только поисковые роботы «Яндекс» и «Рамблер». Краулеры Google воспринимают noindex в качестве не валидного указания. Это означает, что при обходе страниц с таким тегом могут возникать ошибки: страница либо просто выпадает из индекса, либо индексируется некорректно.
Как выглядит noindex
Выглядит тег таким образом:
Отмечу, что noindex можно вставить практически в любое место, и он будет работать. Имейте в виду, что уровень вложенности тег не учитывает.
Так выглядит noindex в условиях реальной веб-страницы (упрощенно, конечно):
Что скрывать тегом noindex
Функциональность тега сводится решению 5 задач:
На практике закрывать следует:
Невалидность
Выше я уже отмечал, что большинство краулеров считают тег noindex недействительным. Именно поэтому, чтобы избежать ошибок валидности HTML, использовать тег я бы рекомендовал только в таком виде:
Серые оптимизаторы
Недобросовестные веб-мастера прячут от краулеров качественный копипаст (это контент, который увидят посетители сайта), а вместо него «скармливают» поисковому роботу идеально (или не очень) SEO-оптимизированный текст. Именно из-за таких случаев «Яндекс» ввел специальные алгоритмы-поправки для своих краулеров. Учитывайте, что сейчас даже закрытый двойным тегом noindex текст все равно автоматически индексируется поисковыми роботами. После этого такой скрытый текст дополнительно анализируется алгоритмами «Яндекса» и, если там обнаруживается копипаст или поисковый спам, могут последовать санкции. Санкции могут затрагивать как весь сайт, так и только проблемную страницу.
Мета-тег noindex
Мета-тег noindex распространяет свое действие на всю веб-страницу, а российский тег noindex действует только на заданную часть веб-страницы.
А это мета-тег noindex:
Noindex и ссылки
Noindex не скрывает URL целиком. Даже если вы скроете ссылку этим тегом, ее вес все равно будет учитываться «Яндексом».
Так можно закрыть ссылку при помощи noindex:
Как скрыть страницу при помощи элемента
Чтобы закрыть страницу от индексации таким способом, достаточно добавить соответствующий элемент на страницу:
Как скрыть всю страницу от краулеров через robots.txt
Защитить страницу от индексации целиком можно, добавив в системный файл robots.txt такую строку:
(primer нужно заменить на URL страницы, которую вы хотите закрыть от индексации).
Использовать директиву Disallow в robots.txt нужно крайне осторожно, только если вы точно знаете, какой результат хотите получить.
Nofollow
Nofollow-ссылка – это обычный URL для которого прописывается rel=»nofollow». Nofollow – это атрибут, который вы можете увидеть, только если будете самостоятельно анализировать HTML-код страницы. Для обычного посетителя разницы никакой, но поисковые системы ее улавливают. Можно сказать, nofollow – родственный noindex атрибут. Nofollow используется, чтобы краулеры понимали: вес ссылки является нулевым. Соответственно, PageRank и другие метрики, в ссылках размеченные nofollow-атрибутом, просто не передаются.
Так выглядит dofollow-ссылка:
А так – nofollow-ссылка
Оптимизировав ссылку nofollow-атрибутом, вы даете поисковому роботу понять, что переходить по ней и сканировать URL необязательно. Главный сценарий использования атрибута rel nofollow – это разметка рекламных URL.
На практике nofollow-тег используют владельцы сайтов, которые не хотят, чтобы их сайт стал бесплатным трамплином для продвижения других ресурсов. Ссылки nofollow не проходят индексацию, но косвенно поисковые системы их все же учитывают.
Где использовать nofollow-ссылки
Стоит ли вообще использовать тег noindex
Это должен решить каждый владелец сайта самостоятельно. Если ваша площадка получает основной трафик из «Яндекса», в использовании noindex смысл точно есть. Однако с его помощью вы не сможете влиять на поведение всех роботов поисковых систем. Правда, и здесь есть 1 лайфхак: вы можете указать блокирующий тег в robots.txt. В последнем случае вы сможете закрыть страницу от индексации целиком.
Если вы решите добавить noindex-тег в robots.txt, обязательно должно используйте атрибут content. Многие веб-мастера прописывают в robots.txt конкретные рекомендации по индексации той или иной веб-страницы + переходам на указанные URL. При этом Google замечает, что robots нельзя использовать, чтобы ограничить показ страницы в SERP. Если стоит задача исключить проблемную веб-страницу из поисковой выдачи, Google советует использовать директиву noindex или создать авторизованный доступ (с паролем).
В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров
Тег noindex (запрещает индексирование) в SEO
Для чего нужен элемент noindex
Тег используется для запрета индексации служебных участков текста. Данный тег может находиться в любом участке HTML-кода страницы, учитывается он только Яндексом. Google и другие поисковые системы будут его игнорировать.
Работает этот элемент аналогично МЕТА-тегу noindex, но распространяется исключительно на текстовый контент, который размещен на странице, то есть, закрыть от индексации ссылки с его помощью не получится.
Приведем пример использования:
И еще один верный вариант:
В каких случаях можно употреблять
При ответе на этот вопрос важно уточнить, что же такое индексация. Это процесс анализа информации на web-ресурсе и последующее добавление ее в индекс (базу данных поисковых систем) для формирования поисковой выдачи по релевантным запросам. Соответственно, тегом noindex мы советуем закрывать ту информацию, которая не должна участвовать в процессе ранжирования и отображаться в поисковой выдаче, но при этом не содержит ничего, за что можно получить санкции от Яндекса. Например, это может быть мобильный номер телефона, который не должен отображаться в выдаче, но нужен пользователям на страницах сайта.
Как обнаружить страницы с этим тегом на сайте
При продвижении очень важно знать, на каких страницах вашего сайта употребляется этот атрибут, поскольку часть важной информации могла быть закрыта от индексации или другие оптимизаторы использовали этот тег не по назначению.
Для того, чтобы воспользоваться отчетом и получить актуальную на данный момент информацию, необходимо обновить SEO-аудит. Сделать это можно с помощью соответствующей кнопки прямо на странице отчета:
Noindex nofollow – два брата для регулирования ботов поисковых систем
В оптимизации сайта и SEO огромную роль играют запрещающие директивы noindex nofollow, с помощью которых можно управлять поведением поисковых роботов на странице. Технология немного стала терять свою силу, но в статье разберем как пользоваться ноуиндекс и нофоллов, чтобы вебмастер понимал для чего они нужны и какую пользу несут в себе.
Что такое noindex и nofollow – их разница
Для начала зададим определения, что это такое noindex и nofollow, чтобы понимать весь дальнейший процесс их постановки внутри кода.
Метатег noindex – запрещает к индексации (обходу) страницу целиком поисковыми системами либо отдельный участок. Простыми словами ноуиндекс запрещает брать в индекс участок документа либо всю ее, применяется для внутренней оптимизации.
Разница у них огромная – первый регулирует сам документ, второй урлы и переходы по ним. Многие спрашивают про Noreferre и Noarchive, это тоже значения robos в meta, о них поговорим в других статьях.
Как пользоваться noindex
Сейчас noindex применяют в 3 видах, рассмотрим каждый из них и напишу какой из них самый действенный.
Ноуидекс в атрибуте robots на примере HTML кода для страницы
Стопроцентный метод закрыть что-то от индексации в SEO – это поставить noindex на всю страницу. Да гибкости меньше, потому что закрываем все или ничего. Но для удаления дублей и полностью ненужных документов метод идеален. Ниже показано как это выглядит в HTML общий для всех ботов любой поисковой системы.
Исходный HTML
Для разных ботов необходимо указывать его имя, например для Гугла это googlebot, а для Яндекса YandexBot, так выглядит строка. Инструкция должна быть вставлена строго внутри раздела head, чем выше к начал тем лучше.
Соответственно если хотим наоборот открыть доступ роботам ПС, то меняем команду на index.
Noindex для отдельных кусков кода или текста
Если хотим закрыть от индексирования только часть страницы, чтобы она вырезалась из обхода роботом. То есть тот кусок который будет обернут в ноуиндекс будет невидим для поисковика. Выглядит комбинация так:
Но сейчас данные приемы работают 50 на 50, причем с очень не стабильной статистикой. Например, поместили информацию об авторе в noindex в сайдбаре, данный блок может на одной странице вырезан из обхода, а на другой взят в поиск. Поэтому данную технологию применяют для исключения блоков, которые просто желательно убирать.
Многие помещают блоки контекстной рекламы в noindex – доказано множеством специалистов, что это никак не действует на SEO, а даже усугубляет. Потому что предпринимаются попытки манипуляцией роботов, что идет во вред блогу.
Как пользоваться nofollow
У nofollow в основном другое предназначение – это работа с ссылками, но его команды в robots так же действуют. Рассмотрим все комбинации применения ноуфолов.
Значение nofollow в атрибуте content
Код означает, что переходить по всем ссылкам на странице запрещено по внешним и внутренним одинаково. Методом блокируем переход только роботам, пользователь может перейти беспрепятственно.
Аналогично можно регулировать поведение по видам роботов по ПС, например для Yandex. Если подставим follow, то даем разрешение на сканирование, в этом случае можно ничего не прописывать.
Блокировка отдельных ссылок
У nofollow нет механизма закрытия кусков страницы, это не логично, поэтому есть механизм блокировки отдельных ссылок.
Способ не дает 100%, что робот не перейдет по ссылке, потому что сейчас данный атрибут является частичной рекомендацией, но для усиления и намека на то что этот урл служебный – комбинация подойдет.
Будет ли работать nofollow для внутренних ссылок и необходимо ли это делать? Да, для служебных страниц, особенно сквозные адреса (корзина, регистрация, вход), советую проставлять его, чтобы исключить их из режима обхода.
Идет ли передача веса в ссылках с nofollow? Минимальное количество ссылок не даст плохого эффекта и передачи веса страницы не будет. Но в разрезе всего сайта, если много документов будет ссылаться на один и тот же адрес, то соответственно вес будет утекать.
Для SMM продвижения и продажи dofollow ссылок – nofollow не пользуются, потому что в первом случае трафик идет из соцсетей, а второй направлен на продажу, правилами запрещено ставить нофолоу.
Применение noindex и nofollow вместе
Употреблять их вместе можно только в теге meta, в других местах их комбинировать нельзя, точнее можно, но боты их понимать не будут, пример в таком исполнении, означает, что не индексировать ни переходить по адресам нельзя.
Их можно менять местами и вариацию без приставки NO, тем самым более точно руководя поведением. Например, моя любимая для блокировки дублей в пагинации. Расшифрую – ходить по странице можно, но в индекс брать нельзя, одновременно с этим можно ходить по ссылкам.
Так же есть вариант применения для ссылок точечно обоих команд, но она сработает только для Яндекса, все остальные не будут воспринимать noindex.
Disallow в robots и noindex – как с ними работать
У некоторых пользователей есть вопрос, а нужно ли ставить на страницу noindex если в robots txt уже есть запрет на индексацию и наоборот. Я советую всегда использовать значения ноуиндекс и nofollow, а для усиления добавлять запрещающую строку в robots. Например с пагинацией в WordPress, я ставлю в head строку с meta (показывал на скриншоте ранее) и одновременно есть запрет в роботсе через директиву Disallow.
Robots txt
Как вставить noindex nofollow на разных CMS
Для новичков в SEO не всегда понятно как проставлять правильно noindex nofollow в своей CMS системе, потому что задачи разные и требуется максимально точно настроить данный пункт.
WordPress
Советую всем использовать плагин YoastSEO, он умеет проставлять теги автоматически и с помощью точной простановки. Сейчас разберу только базовый принцип, в отдельной рубрике по WordPress опишу подробно весь процесс. В WP есть три вида сущностей – содержимое, таксономии (рубрики и категории товаров) и архивы.
Yoast SEO
На каждой вкладке для отдельной сущности можете настроить параметр «Показывать … в результатах поиска?» вместо многоточия будет своя сущность (запись, страница, рубрика, товар). Если переместим в режим «Выкл», то ко всем документам такого типа примениться noindex,follow в теге meta.
Второй вариант ручной, если хотим закрывать только некоторые адреса, то в визуальном редакторе внизу есть блок. Рассмотрим на примере записи.
Opencart
Не работал плотно с opencart, но поискал в интернете решения проблемы, чтобы работало. Нашел один модуль, это как плагин на WP, устанавливается стандартно и имеет настройки для достаточного количества видов документов в Opencart для простановки noindex и nofollow. Нажимайте на кнопку и перекинет на репозиторий OC.
Bitrix
В Bitrix сложнее, он не дает такой гибкости как у других CMS, поэтому приходится прибегать к помощи разработчиков. Нашел один метод, который сможет помочь новичкам, он направлен на создании дополнительных полей в редакторе (типа как в WP произвольные поля). Жмите кнопку и откроется официальная документация. На данном форуме объяснил пользователь «Гуру» наглядно где и что появляется.
Единственный стопроцентный метод закрытия страниц это через тег meta с атрибутом robots. Все остальные способы 50 на 50 и могут не работать, потому что не все поисковики воспринимают их, а если берут в обработку то по своим неизвестным алгоритмам.
Когда не обойтись без noindex и nofollow
Содержание:
Зачем использовать тег и атрибут rel=«nofollow»
Невзирая на то, что мы упоминаем тег и атрибут rel=«nofollow» в пределах одной статьи, они являются совершенно разными элементами кода страниц сайта и соответственно используются для различных целей. Для каких именно, читайте далее по тексту.
Тег – размещаемый в HTML-коде странички тег, который запрещает боту поисковой системы Яндекс индексировать часть текста (заключенную внутри него). Тег noindex Яндекс ввел по собственной инициативе, которую до сегодняшнего дня разделяет лишь Рамблер.
Поэтому при использовании тега noindex, Google не будет обращать на него внимания.
Если нужно, чтобы не индексировалась ссылка, noindex не сможет помочь.
В данном примере от индексации будет закрыт лишь анкор «Курсы SEO», а сама ссылка все же будет учтена и по ней передастся вес.
Кстати, довольно часто встречающаяся в сети конструкция rel=«noindex» является ошибочной, поскольку это не атрибут, а тег.
Еще один момент, к которому нужно быть готовым – закрывая от робота часть текста, приводит к тому, что валидация сайта будет содержать множество ошибок в коде. Причина все та же: среди тех, кто понимает тег noindex – Яндекс и никто более из существенных поисковиков. Кроме того, этот тег не является стандартизированным.
Но выход все же есть. Для того, чтобы исключить ошибки, связанные с использованием этого тега, существует вариант его написания, который устраивает абсолютно всех:
В этом случае тег будет распознан Яндексом, другие поисковики не обратят на него внимания, а проверка кода не будет воспринимать его, как ошибку.
Несмотря на явную пользу от возможности использовать тег noindex, Google так и не принял его и не создал ничего аналогичного.
Кстати о пользе – вот несколько конкретных ситуаций, в которых данный тег незаменим (не забываем, это актуально только для Яндекса):
rel=«nofollow». Атрибут, который «работает» со всеми поисковиками
Для того чтобы дать роботу поисковика указание о том, что не нужно переходить и передавать вес по ссылке, существует атрибут тега rel=«nofollow». Он является стандартизированным элементом HTML-кода и воспринимается абсолютно всеми поисковиками.
Причем его использование не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить и заниматься индексацией страницы, на которую она указывает.
Использование rel=«nofollow» позволяет:
С использованием атрибута rel=«nofollow» важно не переусердствовать: если постоянно скрывать с его помощью ссылки, это может значительно повлиять на уровень доверия поисковиков к Вашему сайту.
Где еще используются noindex и nofollow
Также noindex и его постоянный спутник nofollow могут использоваться совершенно в ином виде – как значения атрибута content в составе мета-тега robots. Последний, в свою очередь, используется в HTML-коде страницы для указания поисковым ботам рекомендаций насчет индексации страничек и переходу по размещенным на них ссылкам.
Приведенный на скриншоте пример трактуется, как пожелание не выполнять индексацию содержимого странички и не анализировать ссылки, размещенные на ней. Наличие подобной конструкции в теле кода страниц может быть возможной причиной, по которой не индексируется сайт.
Основные выводы
Использование одного из вышеупомянутых элементов (или обоих сразу) зависит от условий, которые преследуются (сокрытие части текста, ссылки или всей страницы при использовании с мета-тегом robots).
Если нужно скрыть от робота Яндекса отдельный текст, noindex это сделает, но когда закрывается ссылка, noindex не поможет. В этом случае следует выбрать атрибут rel=«nofollow», не скрывающий анкор ссылки.
Теперь, когда Вы разобрались с особенностями применения и rel=«nofollow», не забудьте поделиться этой важной информацией с теми, кто может в ней нуждаться!