|
Для того чтобы процесс индексации сайта проходил успешно, особенно, если речь идет о довольно большом проекте, форуме или портале, необходимо предпринять ряд мер. Возможно, некоторые веб-мастера зададутся вопросом: «Зачем вообще нужно управлять этим процессом, разве он не происходит автоматически?». Чтобы пояснить этот момент, стоит напомнить о цели индексации страниц сайта поисковым роботом.
Поисковый робот обходит миллионы веб-страниц с целью проанализировать их содержание и сделать так, чтобы при запросе от пользователя определенной информации, он смог предоставить ее, вытащив из базы данных соответствующую страницу, которая должна быть релевантна тому, что ищет человек.
А, поскольку на индексацию одного сайта отводится ограниченное число времени, некоторые важные страницы останутся невидимыми для поисковика и, естественно, для пользователя. Точно сказать, какие страницы успеет охватить робот, а какие нет, не может никто, так что для того, чтобы нужные страницы не остались в тени, и были придуманы меры по управлению индексацией.
Делается это довольно просто: инструкция для поискового робота размещается в файл robots.txt и кладется в корень сайта. Каждый раз, когда робот будет обращаться к сайту, им запрашивается информация из файла. В инструкции прописываются страницы, запрещенные для индексации (на которых не содержится важной информации, интересующей пользователей).
Также можно указать, какой именно поисковой системе запрещено индексировать (только Rambler или Yandex и т.д.). Ограничив таким образом круг страниц для индексации, Вы сможете с большей вероятностью полагать, что на нужные страницы у робота останется время, и он не обойдет их стороной.
Хотите купить наручные, карманные или интерьерные часы? Интернет-магазин www.watcheshop.ru обладает большим ассортиментом данной продукции. |
