Индексирование контента сайта поисковиками

Как индексирует поисковые роботы ваш сайт - вечный вопрос, ответ на который мы, наверное, не найдем. Такое отслеживание сделать крайне трудно. Несмотря на это, мы можем провести некоторые тесты, и понять, что индексирует поисковый робот.

В данном случае, был проведен небольшой тест по индексированию содержания сайта. В частности, интересовал вариант, когда нужно скрыть часть контента от поисковых систем. Скажем, скрыть рекламные блоки или блок со счетчиками и рейтингами.

Суть теста индексирования контента поисковиками: придумать набор ключевых слов, не встречающихся в сети, и вписать их на сайт, используя валидные методы скрытия контента. После того, как поисковые боты прошлись по страницам и проиндексировали контент, проверить в поиске эти ключевые слова.

Было проверено 3 метода скрытия контента:

• <!--noindex-->скрываемый контент<!--/noindex-->
• <script type="text/javascript">document.write('скрываемый контент');</script>
• style="display:none;"

Проверку осуществляли в следующих поисковых системах:

• google.com
• yandex.ru
• rambler.ru
• nigma.ru
• aport.ru
• yahoo.com
• bing.com
• go.mail.ru

Результаты теста индексирования сайта поисковиками в следующей таблице (да - проиндексировал, нет - не проиндексировал):

Выводы. Все поисковые системы отказываются индексировать содержимое JavaScript-вывода. При этом, комментарий <!--noindex--> действует во всех системах, базирующихся на Яндекс. Текст же, зашитый в блок со стилем display:none спокойно индексируется всеми тестовыми поисковиками.

Учтите, что скрывая блок текста от попадания в индекс, вы не скрываете его от самой поисковой системы. Поисковый робот также прочитает все, что есть на странице, и учтет этот контент. Но в идекс эти блоки не попадут.