Robots.txt. Основные понятия и настройки. | uCoz
   

Robots.txt. Основные понятия и настройки.

Главная » Уроки » SEO и продвижение сайтов

Хотите продать новые картрижи? Компания Kart-Center занимается скупкой новых картриджей от принтеров, копиров и МФУ по выгодным ценам.

Robots.txt. Основные понятия и настройки.

Если вы занимаетесь, либо только собираетесь заняться, созданием сайтов, то наверняка просматривали образцы уде готовых проектов и обращали внимание на присутствие в них файлов напрямую не относящихся к контенту, выводимому пользователям. Такие как .htaccess, sitemaps.xml, robots.txt и др.

Давайте сегодня рассмотрим, что же представляет собой файл robots.txt, и для чего он нужен. Начнем с того, что данный файл предназначен для поисковых роботов индексирующих страницы вашего сайта. И с помощью директив, прописываемых в этом файле, мы можем разрешить, запретить или ограничить индексацию, как отдельных файлов, так и целых директорий.

В общем-то, можно вообще запретить индексацию сайта, только случаев для применения таких крайних мер очень мало. А вот запреты и ограничения используются очень широк. Вот некоторые случаи необходимости запрета индексации:

Прежде всего, это касается директории администрирования — зачем индексировать папку admin если в ней нет контента?

Папки с изображениями и другими медиа файлами также нет смысла индексировать. Если вы конечно не ярый фанат яндекс- и гугл-картинок, и просто мечтаете, чтобы ваши фотографии там оказались. Только, к примеру, робот YandexImages ходит довольно редко и у него до ужаса жесткие критерии индексации. К тому же для него можно прописать отдельные директивы.

Конечно же, неуникальный (мягко говоря, ворованный) контент. Поисковики очень не любят плагиат, и если ваш сайт в нем уличат, то на продвижение в ТОП можете не рассчитывать.

И, что немаловажно для успешного продвижения, удаление дублей индексации с самого сайта. Здесь имеют место дублированные запросы домена с www и без, непродуманная перелинковка страниц сайта, чем особо грешат различные системы управления контентом и некорректная структура самого сайта.

Давайте рассмотрим основные директивы файла.

  1. User-Agent. Указывает какому роботу предназначаются нижестоящие директивы, написанные без пустых строк (пустая строка определяется роботом как конец блока директив и после нее обязательно должна быть срока User-Agent. Иначе файл будет считаться ошибочным и не будет учитываться поисковыми роботами).
  2. Disallow. Запрещает роботу индексировать определенный каталог или файл. В значении можно прописать название каталога, подкаталога или файла с обязательным указанием пути. Допускается применение регулярных выражений. Например знак $ означает конец строки. Если написать директиву Disallow: /*.php$, то все файлы с таким расширением индексироваться не будут. Или так: Disallow: /catalog$. Директория catalog индексироваться не будет, а вот, к примеру, файл catalog.html будет проиндексирован.
  3. Allow. Разрешает индексировать каталоги или файлы. Значения те же, что и у Disallow.
  4. Sitemap. Указываем полный путь к файлу карты сайта с разрешением .xml. Карта сайта с разрешением .html роботами не учитывается и нужна только пользователям. В чем я лично сильно сомневаюсь.
  5. Host. Данная директива учитывается только поисковыми роботами Яндекса и в ней прописывается основной адрес сайта. С www или без. Для остальных роботов данная директива прописывается в файле .htaccess.

Мы рассмотрели, конечно же, не полный список возможностей файла robots.txt, но рассмотренных директив будет вполне достаточно, чтобы составить грамотный robots.

Категория: SEO и продвижение сайтов; Урок сделан: 16.05.2013; Просмотров : 761; Комментарии : 1; Рейтинг : 0.0/0;
Всего комментариев: 1

Автор: Tommy (21.07.2013 02:53)

Админ , у вас тут ошибочка " Если вы занимаетесь, либо только собираетесь заняться, созданием сайтов, то наверняка просматривали образцы уде готовых проектов и обращали внимание на присутствие в них файлов напрямую не относящихся к контенту, выводимому пользователям. Такие как .htaccess, sitemaps.xml, robots.txt и др."


Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Задать вопрос

Вы можете задать свой вопрос, соответствующий тематике сайта.

Задумался?

Задать свой вопрос

Вход


Здравствуйте, Гость!


Copyright © 2010-2016 Pro100uCoz.ru