Как закрыть поддомен от индексации
Перейти к содержимому

Как закрыть поддомен от индексации

  • автор:

Как закрыть сайт от индексации

Индексация и способы закрыть информацию сайта

Индексация очень полезная вещь, однако бывают случаи, когда владельцам сайтов или вебмастерам нужно закрыть часть информации от индексации поисковых систем. Или же запретить обращение к ней. Часть из таких ситуаций можно перечислить:

  • Необходимость закрыть техническую информацию.
  • Запрещение индексации неуникальной информации.
  • Закрыть страницы, которые для поискового робота выглядят как дубль другой страницы. При этом такие адреса могут быть полезны рядовому пользователю.
  • Часто сайт может использовать на разных страницах повторяющуюся информацию. Для лучшей оптимизации сайта ее нужно закрыть от постороннего взгляда.

Индексация. Закрыть домен (или поддомен)

Есть несколько способов закрыть сайт от взгляда поисковика.

Используем robots.txt

В этом файле нужно прописать такие ряды:

От этого закрывается отображение домена для абсолютно всех поисковиков. Но если есть желание исключить лишь одну систему, следует указать ее название. Пример:

Также существует возможность запретить доступ всем поисковикам, кроме одного. Тогда оставляем строки без изменений, как в первом примере и ниже добавляем еще два ряда:

Минусом такого способа является не стопроцентная гарантия отсутствия индексации. Это маловероятно, но все же возможно. Для правильной корректировки роботс.txt используем онлайн-инструмент от Yandex. Держите ссылку http://webmaster.yandex.ru/robots.xml. Загружаем свой файл и сканируем его.

Использование мета-тега

Это очень легкий, но довольно затратный по времени метод. Особенно, если на вашем сайте существует большое количество страниц. Для его реализации необходимо в head нужных адресов указать ряды:

META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»

Такой способ абсолютно защищает ваш сайт от взгляда поисковиков. Его плюсом является отсутствия необходимости лезть роботс.

Индексация. Изменение атрибутов файла .htaccess

Этот способ позволяет закрыть доступ к ресурсу за паролем. В htaccess указываем ряды:

Такой способ также полностью закрывает доступ поисковикам к контенту сайта. Однако из-за наличия пароля сайт становится очень тяжело просканировать на наличие ошибок. Поскольку не все сервисы имеют возможность вводить пароль.

Индексация. Закрыть информацию по частям

Есть множество вещей, доступ к которым следует закрыть (код, отдельный текст, ссылку на другие сайты, элементы меню), не закрывая при этом сам адрес. Сейчас очень популярный ранее метод с помощью noindex уже не используется. Его суть состояла в том, что в отдельный тег существовала возможность скопировать всю информацию, которую нужно было закрыть. Теперь мегапопулярным стал другой способ.

Использование JavaScript

В этом способе снова нужно использовать файл роботс. Его суть предполагает, что вся нужная информация кодируется с помощью яваскрипт, а после копируется в роботс и скрывается от индексации с помощью нужных тегов. Этот метод уменьшает «вес» ресурса, при его использовании быстродействие сайта увеличивается. Поэтому возможно улучшение ранжирования. Но есть один существенный минус. Google не одобряет данный способ и регулярно отсылает владельцам сайтов письма с просьбой открыть для индексации сокрытую информацию. По его заверениям информация должна быть идентичной и для пользователя, и для поискового робота.

Но несмотря на все усилия корпорации, этот способ остается достаточно популярным из-за эффективности.

Индексация. Закрыть отдельные страницы ресурса

Есть два способа, которые используются, чтобы закрыть ссылку на страницу от индексации.

Robots.txt

Для реализации первого способа добавляем в файл robots.txt такие строки:

Это простой способ, но он не отличается надежностью. Страницы могут продолжать индексироваться. Но чтобы запретить их отображение, можно использовать еще один способ:

Мета-тег noindex

Второй способ является лучшим вариантом, поскольку в нем исключается воздействие роботс. Для его реализации в head всеx адресов, которые нужно закрыть от взгляда поисковых систем, вставляем тег:

META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»

Такой способ намного эффективнее использовать большим ресурсам, которым нужно закрывать больше сотни страниц. Однако, тогда у них отсутствует общий параметр.

Индексация и использование URL

Robots.txt

И снова вмешательство в этот файл поможет нам избежать индексации страниц. Добавляя в тег Disallow названия разделов и папок, мы можем исключать их из индексации. Примеры:

Disallow: /название папки/

Disallow: /название раздела/

Такой способ удобный, быстрый и простой в применении. Но он также полностью не гарантирует отсутствие индексирования нужных страниц. Поэтому мы рекомендуем использование мета-тега noidex в способе, описанном выше.

Редактирование файла robots.txt однозначно остается самым легким способом закрытия контента от индексации. Но в любом случае он больше нагружает файл, что скажется на быстродействии ресурса и его ранжировании. Тем более, чаще всего эти способы не гарантируют стопроцентную эффективность.

Индексация и сомнительные способы закрытия контента

Есть возможность закрыть доступ для поисковых систем на уровне сервера.

Добавляем в бан отдельных User Agents

Такой способ позволяет заблокировать пользователя или робота, указав его нежелательным или опасным. Это позволяет запретить доступ к контенту своим конкурентам.

Способ используется для того, чтобы закрыть информацию от роботов онлайн-сервисов, которые анализируют источники трафика сайта, а также сео-оптимизации.

Это очень опасный метод, который часто приводит к нежелательным последствиям. Поэтому если вы не уверены в своих силах, следует обратиться к профессионалу.

Изменение HTTP-заголовка

Существует возможность прописать тег X-Robots как заголовок отдельной страницы. Такие методы идентичны тем, которые мы использовали при редактировании файла robots.txt. Нужно только указать имя пользователя (название поисковой системы).

Индексация. Итоги

Конкуренция в интернете с каждым днем вырастает все выше и напоминает промышленное шпионство больших корпораций. Поэтому владельцы сайтов и вебмастера вынуждены использовать любые способы, чтобы закрыть от посторонних глаз свою стратегию продвижения и способы сео-оптимизации.

Однако подобные методы используются и в банальных целях. Например, чтобы закрыть от индексации «мусор» на страницах ресурса. Как видим, индексация имеет две стороны.

Перечисленные выше методы не панацея, поэтому при недостаточных знаниях лучше обращаться к профессионалу.

Поделиться:
Подпишитесь на новости

Оставьте ваш e-mail, чтобы получать подборки наших новостей.

Как запретить индексироваться поддоменам?

sequelone

sequelone

04.05.2017 21:00 2 961

Есть какое-то правило robots.txt, которое запрещает на индексацию поддомены, ну и как альтернатива разрешает? Тоесть в алиасе домена прописано куча поддоменов (языковые версии), в будущем со сменной языка будет отдаваться контент с языковой версией. По идее сайты будут по дизайну одинаковые, но разные по языковой версии. На время тестов системы и допила, нужно запретить индексацию поддоменов, что-то типа *.site.com

  • запрет индексации
  • запрет индексации поддоменов

Ответы на пост (6) Написать ответ

Как закрыть поддомены от индексации?

Подскажите, как закрыть поддомены от индексации в robots.txt User-agent: Yandex Disallow: /user/ Disallow: /cgi-bin/ Host: site.ru User-Agent: * Disallow: /user/ Disallow: /cgi-bin/ Host: site.ru Я так подумал, если сделать Disallow: *.site.ru, будет ли работать? Или Яндекс и гугл не поймут эту команду?

Дизайн, Верстка, Интеграция, Упаковка, Фирменный стиль (/ru/forum/840975)

  • URL с типа ?route=information/contact, ?route=account/login
  • А почему вы не запрещаете всех ботов?
  • Как удалить картинки из ПС Гугл и Яндекс

24 октября 2008, 18:03

положить в папку поддомена роботсы с надписью Disallow: *

Поддомены это же отдельные площадки что вы мудрите то.

24 октября 2008, 18:04

роботс должен лежать в корне того домена (поддомена) для которого он предназначается.

Как в Robots.txt закрыть поддомены от индексации?

Как в Robots.txt закрыть поддомены от индексации?

Порой на сайтах становится необходимым закрыть от индексации поддомены. Например, при создании мультирегиональных или мультиязычных сайтов не всегда есть необходимость попадания поддоменов в поисковую выдачу. Чаще всего перед сеошником такая задача стоит когда нужно для Яндекса создать кучу региональных поддоменов, при этом для Google, из-за отличий регионального ранжирования, эти поддомены желательно скрыть от индексации в Robots.txt через директиву Disallow.

К сожалению директивы позволяющей сделать это в текстовом файле не существует, поэтому пришлось прибегнуть к PHP.

И так, создаем файл robots.php с примерно со следующим содержимым:

 ?> User-agent: * Disallow: /includes/ Disallow: /misc/ Disallow: /modules/ #другие директивы вашего роботса Sitemap: https:///sitemap.xml

В данном примере мы задали, что если роботс показывается на поддомене, то добавляется директива User-agent: googlebot Disallow: / которая запрещает сайт к индексации в Google. Вы можете задать свое значение для отдельных User-agent (подробнее о User-agent тут )

Также в примере настроены динамические Host и Sitemap, то есть будет показываться именно текущий хост с нужным поддоменом, или без.

После того как файл robots.php залили в корневую папку сайта, нам нужно подправить файл .htaccess, где прописываем следующую строчку:

RewriteRule ^robots.txt$ /robots.php [L,QSA]

Удаляем текстовый файл robots.txt и проверяем работоспособность нового роботса. (кстати на некоторых хостингах редирект с robots.txt на robots.php работает наоборот, лишь при наличии обеих в корне сайта, поэтому удалять текстовый роботс или нет, нужно проверять индивидуально)

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *