|
Robots.txt – это обыкновенный текстовый файл, который находится в корневой папке сайта. Первое что делает поисковый робот при заходе на сайт – смотрит этот файл. Нужен он для того, чтобы поисковые боты соблюдали определённые веб-мастером правила при работе с сайтом.
К примеру, в нём можно запретить индексацию какой-либо папки с файлами, которые видеть поисковику не нужно, по тем или иным причинам, это может быть админ-панель, каталог с метками (оптимизаторы часто запрещают теги к индексации, потому что они создают дубли). Или указать основное зеркало сайта. Или адрес, по которому находится карта сайта.
Однако если допустить даже незначительную ошибку при составлении инструкции для поисковых роботов, можно потом очень долго гадать, почему же сайт не индексируется ПС так, как хотелось бы: появляются дубли, выпадают основные странички и так далее.
А ответ очевиден – незначительных ошибок не бывает, ибо даже один пропущенный, или неправильный символ может полностью поменять взгляд поисковика на сайт.
Следовательно, файл robots.txt – основа индексации поисковиками, и если он составлен не верно, то робот будет действовать по неверным алгоритмам. Поэтому, даже простому статичному HTML сайту, уже не говоря о сложно-структурированных порталах, нельзя пренебрежительно относиться к robots.txt.
Естественно, можно составить данный файл собственноручно, предварительно получив знания о принципах его функционирования. Но не все новички интернет-бизнеса хотят впитывать эту информацию, что зря. А у кого и получается быстренько выучить всю необходимую теорию о robots.txt, на практике – испытывают затруднения.
Поэтому чтобы не задавать потом лишних вопросов на разных форумах, просто воспользуйтесь автоматическим генератором файлов robots.txt и будьте уже уверены в том, что если сайт не индексируется, то не из-за неправильного составления инструкции для поисковых машин, а по какой-то другой причине.
Сегодня пришло время, когда чтобы создать сайт можно не знать на профессиональном уровне нужные языки программирования и при этом стать преуспевающим веб-мастером.
Генератор robots.txt – просто ещё один шаг в данном направлении. Так как цель любой автоматизации в экономии времени, которое, как известно, бесценно. Не тратьте драгоценные минуты, ведь ни к чему изобретать велосипед снова и снова, потому что сейчас, те, кто не экономит время, принципиально не пользуясь готовыми решениями, сильно отстаёт от своих конкурентов. |
