 Необходимую информацию в Интернет легче всего найти при помощи поисковых систем. Вводя нужный запрос в поисковую строку, пользователь получает результат - список сайтов, информация на которых наиболее точно соответствует поисковому запросу. Как попали эти сайты в такой список? Очень просто - они были проиндексированы поисковым роботом, и теперь система "знает", где искать нужную информацию.
А что такое индексация сайта? Согласно материалам Википедии, свободной энциклопедии, индексация сайта - это процесс добавления в базу данных поисковой системы сведений о сайте, впоследствии использующихся для поиска информации на проиндексированных сайтах. В сведения о сайте входят, прежде всего, ключевые слова, описанные в специальных мета-тегах, а также статьи, ссылки, иногда изображения.
Существует два основных способа произвести индексацию сайта.
- Первый способ - добавить данные о сайте в специальную форму, предлагаемую поисковыми системами.
- Второй способ - предоставить поисковому роботу самому отыскать ваш сайт, например, отталкиваясь от других сайтов, ссылающихся на ваш ресурс.
Срок индексации сайта может быть различным, от нескольких дней до нескольких недель. Процесс индексации цикличен и повторяется с периодичностью в две-четыре недели, в зависимости от конкретного поискового робота. Индексироваться может как сайт целиком, так и отдельные внутренние страницы. Иногда из каких-либо технических неполадок, временного отсутствия некоторых страниц на сайте или по каким-либо другим причинам сайт может не проиндексироваться. В таком случае поисковая система поступит по одному из таких сценариев:
- сразу исключит непроиндексированные страницы из своей базы данных;
- проведет повторную индексацию сайта через несколько дней;
- исключит страницы, которые не были проиндексированы, если не обнаружит их при повторной индексации.
Для управления индексацией используется несколько методов: при помощи карты сайта sitemap, специального файла robots.txt и мета-тэгов.
Закрыть содержимое сайта от поисковых роботов Yandex при помощи тэга <noindex>.
Robots.txt - файл, в котором, оперируя директивами Disallow, Allow, User-agent, Crawl-delay, можно запретить или разрешить индексацию только определенным поисковым системам или же полностью запретить ее.
Гораздо больше возможностей по управлению индексацией предоставляет использование карты сайта - sitemap. Файл sitemap содержит дополнительную информацию о страницах сайта, подлежащих индексации. Файл sitemap может быть создан в формате XML или же как обычный текстовый документ, однако формат XML предпочтительнее. Для указания расположения файла sitemap может быть использован файл robots.txt. Для этого следует добавить следующую строку:
Sitemap: http://имя_сайта/sitemap.xml
Использование файла sitemap позволяет сообщить поисковому роботу такие сведения:
- о тех страницах сайта, которые следует проиндексировать;
- о том насколько часто обновляется информация на страницах сайта;
- о том насколько важна индексация каждой из страниц.
Существует множество способов ускорения индексации сайта поисковыми роботами. Однако существуют также и общие простые правила, соблюдение которых поможет ускорить индексацию сайта. Не следует создавать слишком объемные страницы (их размер не должен превышать 100-200 кбайт). Ссылки на внутренние страницы сайта лучше делать простыми, объясняющими содержание страницы. Использование так называемого человеко-понятного URL (ЧПУ) облегчает индексацию, в то время как использование идентификаторов сессий в названиях страниц, наоборот затрудняет ее.
Более подробную информацию о формате файла sitemap Вы найдете здесь
Следует также отметить, что при изменении названия страницы, даже без изменения ее содержания, такая страница может не проиндексироваться поисковой системой, поэтому лучше с самого начала пользоваться удобными названиями страниц, чтобы индексация сайта проходила быстро, а сам сайт находился как можно выше в поисковой выдаче.
Теги:
индексация сайта,
способы индексации сайта,
поисковые системы,
sitemap,
robotstxt,
поисковые роботы,
чпу,
поисковая оптимизация,
оптимизация сайтов |
оптимизация 
