Индексация: к роботам есть вопросы

20 февраля 2012
239

В SEO очень много спорных и неоднозначных тем. Поисковые алгоритмы тщательно засекречены и мы вынуждены анализировать последствия их работы, чтобы пытаться понять эти алгоритмы. Многое приходится принимать на веру со слов SEO специалистов, многое разносится молвой и становится негласной истиной просто из-за количества поверивших в утверждение.

Индексация

Например, ещё год назад прозвучала тема, что вес со страниц утекает даже, если ссылки закрыты тегом rel="nofollow". Заявление вроде было истинным, громким и его не опровергли. Но разве что-то изменилось? Мы по-прежнему закрываем все ссылки, а биржи ссылок ставят ограничение на количество открытых ссылок. Более того, долгое время анализируя свой блог я с уверенностью могу сказать, что открытые ссылки приводят к падению тИЦ и трастовости сайта.

А вот другая близкая к этому тема: что считать индексацией страницы? Её попадание в индекс или просто факт, что поисковый робот по ней пробежался? Почему в поиске Google легко появляются страницы закрытые от индексации через файл Robots.txt (опять-таки по своему блогу знаю, что это правда)?

В 2009 году Мэтт Каттс, ныне руководитель подразделения Google Webspam team, дал на эти вопросы ответ, который честно говоря, лишь запутал ситуацию. Согласно его словам, робот Google не проигнорирует страницу, если она закрыта от индексации через Robots.txt, но на неё ссылаются другие ресурсы. Но это нельзя назвать индексацией, если верить Мэтту, поисковик берёт ссылку, страница может даже попасть в выдачу, но она не индексируется. Внимание, вопрос! Как, не индексируя страницу, поисковик составит её сниппет, который нужен чтобы разместить страницу в выдаче?

Чтоб получить ответ, надо задать вопрос. Вопросы я назадавал. В следующих выпусках попытаюсь на них ответить - не пропустите!

P.S. Чтобы продвижение сайтов было эффективным, приходится разбираться в таких вопросах, слушать, искать противоречия и проверять на практике. SEO - это во многом экспериментальная наука - не тыкнув палкой, не узнаешь, спит ли медведь

Related Posts Plugin for WordPress, Blogger...

5 комментариев к записи “Индексация: к роботам есть вопросы”

  1. Марина

    Два последние Апа меня вообще удивили на хорошую минус сумму и вообще на все старания по теме как Яндекс индексирует?

    [Ответить]

    deSiter (мой Twitter:  deSiter)

    Меня в этом плане пока не удивляют. тИЦ не растёт и не падает.

    [Ответить]

  2. ispovednica (мой Twitter:  ispovednica)

    Вопрос много больше, чем ответов!

    [Ответить]

    deSiter (мой Twitter:  deSiter)

    Всегда так.

    [Ответить]

  3. Роман (мой Twitter:  http://otoplenia.com)

    Сложно сказать как работаю роботы поисковых системы

    [Ответить]

Комментируйте - автору важно ваше мнение!

Дополнительно: