|
Ограничение индексирования на сайте — это очень важное и ответственное задание, которое нужно выполнить на наивысшем уровне, чтобы доступ поисковых роботов к важным страницам (служебным, скрытым или же профилям пользователей) был недоступен.
Существует всего лишь два варианта, при которых ограничение будет возможно на высшем уровне и надежность ограничения доступа будет выполнена качественно. Один из методов - это использование файла robots.txt или же использование мета-тега. Какой способ использовать - персональное предпочтение каждого, но рассматривать стоит и первый, и второй вариант.
Файл robots.txt: правила использования
Пустой файл robots.txt: позволит поисковым роботам проводить рассмотрение всех без исключения страниц. При этом правильное построение файла состоит из следующих пунктов:
1. User-Agent
Благодаря данному полю определяется список поисковых роботов, для которых будут назначаться права доступа к сайту. При этом перечисление нескольких агентов подряд позволит установить для всех обозначенных сайтов поиска одинаковые права. Обязательным условием является использованием символа «*», если Вы желаете отметить всех роботов, а не прописывать их имена вручную.
2. Disallow
Данная директива указывает на тот файл или же каталог, который не должен подвергаться индексации. Для того чтобы индексация и вовсе не производилась необходимо использовать символ «/». При запрещении индексации исключительно для одного робота следует установить его имя в User-Agent, а символ «/» использовать для Disallow.
3. Host
Данная директива используется исключительно для сайта поиска Яндекс. Для того чтобы ограничения работали необходимо использовать хотя бы одну запись Disallow.
4. Sitemap
Использование данного поля позволит перенаправить робота на карту сайта. Данное будет удобно только в том случае, если количество страниц велико, а потому индексация будет проводиться намного рациональней.
Хотите найти своему сайту рекламодателей? Тогда вам нужна партнерская программа по услугам TradeTracker — сеть партнерских программ с оплатой за действие №1 в Европе.
Правила использования <meta name=’robots’>
Подходит данный вариант для тех сайтов, в которых количество страниц, подвергающихся ограничению достаточно мало. Поскольку прописывать в «голове» ограничение индексации для каждой страницы придется по отдельности.
Указывая следующие параметры, вы сможете:
1. content=’noindex’
Полностью отключить индексацию документа.
2. content=’nofollow’
Отключить переход по ссылкам с данной страницы.
3. content=’noindex, nofollow’
Совместное ограничение индексации и перехода по ссылкам.
Выбор варианта для каждого сайта строго индивидуален, но как было указано ранее первый вариант отлично подходит для громоздких ресурсов с большим количеством страниц, а второй станет идеальным решением для небольшого сайта. | 