Ограничиваем индексирование служебной информации на сайте | uCoz
   

Ограничиваем индексирование служебной информации на сайте

Главная » Уроки » SEO и продвижение сайтов

Ограничение индексирования на сайте — это очень важное и ответственное задание, которое нужно выполнить на наивысшем уровне, чтобы доступ поисковых роботов к важным страницам (служебным, скрытым или же профилям пользователей) был недоступен.

Ограничиваем индексирование служебной информации на сайте

Существует всего лишь два варианта, при которых ограничение будет возможно на высшем уровне и надежность ограничения доступа будет выполнена качественно. Один из методов - это использование файла robots.txt или же использование мета-тега. Какой способ использовать - персональное предпочтение каждого, но рассматривать стоит и первый, и второй вариант.

Файл robots.txt: правила использования

Пустой файл robots.txt: позволит поисковым роботам проводить рассмотрение всех без исключения страниц. При этом правильное построение файла состоит из следующих пунктов:

1. User-Agent

Благодаря данному полю определяется список поисковых роботов, для которых будут назначаться права доступа к сайту. При этом перечисление нескольких агентов подряд позволит установить для всех обозначенных сайтов поиска одинаковые права. Обязательным условием является использованием символа «*», если Вы желаете отметить всех роботов, а не прописывать их имена вручную.

2. Disallow

Данная директива указывает на тот файл или же каталог, который не должен подвергаться индексации. Для того чтобы индексация и вовсе не производилась необходимо использовать символ «/». При запрещении индексации исключительно для одного робота следует установить его имя в User-Agent, а символ «/» использовать для Disallow.

3. Host

Данная директива используется исключительно для сайта поиска Яндекс. Для того чтобы ограничения работали необходимо использовать хотя бы одну запись Disallow.

4. Sitemap

Использование данного поля позволит перенаправить робота на карту сайта. Данное будет удобно только в том случае, если количество страниц велико, а потому индексация будет проводиться намного рациональней.

Хотите найти своему сайту рекламодателей? Тогда вам нужна партнерская программа по услугам TradeTracker — сеть партнерских программ с оплатой за действие №1 в Европе.

Правила использования <meta name=’robots’>

Подходит данный вариант для тех сайтов, в которых количество страниц, подвергающихся ограничению достаточно мало. Поскольку прописывать в «голове» ограничение индексации для каждой страницы придется по отдельности.

Указывая следующие параметры, вы сможете:

1. content=’noindex’
Полностью отключить индексацию документа.

2. content=’nofollow’
Отключить переход по ссылкам с данной страницы.

3. content=’noindex, nofollow’
Совместное ограничение индексации и перехода по ссылкам.

Выбор варианта для каждого сайта строго индивидуален, но как было указано ранее первый вариант отлично подходит для громоздких ресурсов с большим количеством страниц, а второй станет идеальным решением для небольшого сайта.

Категория: SEO и продвижение сайтов; Урок сделан: 22.07.2013; Просмотров : 1287; Рейтинг : 0.0/0;
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Задать вопрос

Вы можете задать свой вопрос, соответствующий тематике сайта.

Задумался?

Задать свой вопрос

Вход


Здравствуйте, Гость!


Copyright © 2010-2016 Pro100uCoz.ru