Интервью А.Садовского журналу "IT СПЕЦ", ИЮЛЬ 2007

estafa
На сайте с 20.02.2007
Offline
37
13609

Возможно, кому-то будет интересно. Ничего нового, но можно в очередной раз прикоснуться к "истине где-то рядом" :)

OCR с журнала - могут быть глюки по тексту.

Александр Садовский
РУКОВОДИТЕЛЬ ОТДЕЛА ВЕБ-ПОИСКА КОМПАНИИ ЯНДЕКС «НАКРУТКИ РАНО ИЛИ
ПОЗДНО БУДУТ ОПРЕДЕЛЕНЫ НАШИМИ АЛГОРИТМАМИ»

Копирайт "IT СПЕЦ", ИЮЛЬ 2007

С1994 ПО 2002 ГОДЫ РАБОТАЛ В СФЕРЕ РЕКЛАМЫ. В СЕНТЯБРЕ 2002-ГО ВОЗГЛАВЛЯЛ АНАЛИТИЧЕСКИЙ ОТДЕЛ КОМПАНИИ ADLABS. В СЕНТЯБРЕ 2003-ГО БЫЛ ПРИГЛАШЕН В КОМПАНИЮ «ЯНДЕКС» ДЛЯ РАБОТЫ НАД ПРОЕКТАМИ. СВЯЗАННЫМИ С ПОИСКОМ. КРОМЕ РАБОТЫ НАД ВЕБ-ПОИСКОМ С ЕГО УЧАСТИЕМ БЫЛИ ЗАПУЩЕНЫ СЕРВИСЫ «ПОИСК ПО БЛОГАМ», «ЯНДЕКС.ХМL» И ДР.

Наглядный и повседневный при мер - компания решила создать свой собственный сайт для привлечения потенциальных клиентов. Что необходимо учесть уже на этапе создания сайта, чтобы он был интересен поисковым системам, в частности Яндексу?

Робот поисковой системы — программа, которая заходит на сайт на тех же правах, что и случайный, но очень любопытный пользователь. Он узнает о сайте по ссылкам на других сайтах или когда ему скажут о существовании сайта прямо (с помощью http://webmaster.yandex.ru/). Анализируя страницу, на которую где-то сослались, робот пытается обнаружить, какие еще документы есть на сайте, скачать их, проиндексировать, найти следующие документы, другой сайт... и так до бесконечности.

Некоторые сайты боятся слишком активной индексации. Во-первых, она может создать большой трафик, за который владелец сайта платит. Во-вторых, если у сайта ненадежный хостинг, а скрипты небрежно написаны, интенсивное скачивание страниц роботом может перегрузить сайт и пользователи не смогут к нему «достучаться», пока его обходит робот. В-третьих, тексты пишут люди, поэтому сайтов, где есть миллионы полезных и осмысленных страниц, крайне мало. И если сайт готов отдать, скажем, миллиард документов, значит, они генерируются скриптом и не всегда приемлемы для людей. В результате роботу приходится выбирать, какие сайты обходить чаще, какие реже. Он пытается избегать индексации техногенного мусора, старается отличать «еще один сайт» от «уникального полезного сайта».

Чтобы ускорить появление страниц сайта в индексе, необходимо, во-первых, исключить из индексации ненужную информацию, во-вторых, помочь роботу узнавать о новых страницах, в-третьих, улучшать качество сайта (и следовательно, со вре*менем будет расти его авторитетность). Вот некоторые советы, которые могут помочь:

  • запретить в файле robots.txt индексацию страниц,неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в Рунете языках;
  • создать карту сайта, т.е. страницу или несколько страниц, на которых приведены ссылки на все документы сайта;
  • выдавать корректные заголовки отве*та сервера. Например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница суказанной в запросе даты не изменилась;
  • каждой уникальной странице сайта по возможности должен соответствовать только один URL. Распространенная причина появления дубликатов — генерация сайтом URL с незначащим параметром, изменение которого не приводит (или не всегда приводит) к изменению страницы;
  • для сайтов, созданных на Flash или AJAX, на фреймах, создавать html-страницы, которые сможет найти и проиндексировать робот, а пользователь,придя на них, поймет, что это за сайт и о чем он.

В Интернете масса статей и порой кардинально разных мнений, что и как влияет на результаты поиска. И все-таки, что влияет на ранжирование по запросам, если говорить о «Яндексе» или других поисковых системах?

Факторов, влияющих на ранжирование, много, в зависимости от поисковой системы от десятков до сотен. Итоговая формула релевантности довольно часто перенастраивается, отработка каждого класса запросов может идти по другим принципам — это еще одна причина, почему так много суждений, что именно влияет на результаты поиска. Факторы можно условно разделить на несколько групп: «внутренние» (текст страницы, html-форматирова-ние и т. д. — то, что наверняка доступно для правки владельцу сайта), «внешние» (ссылки на страницу, посещаемость и пр.) и «динамические» (распределение каких-либо факторов во времени). Публикация детального описания алгоритма ранжирования приведет к тому, что поисковую систему станет обмануть легче и качество поиска неизбежно снизится. Поэтому ни один поисковик никогда не раскрывает все свои наработки. Про «Яндекс» я могу сказать, что все группы факторов, перечисленные выше, мы активно используем. Кроме того, и список факторов, и вид формулы постоянно эволюционирует. Даже техника подбора непрерывно совершенствуется (не так давно, например, мы использовали для этого алгоритм Differential Evolution). Что касается мнений и даже исследований, посвященных «разгадке» формул поисковой системы, то, несмотря на некоторую наивность и упрощенность, зачастую они довольно правильно называют многие факторы.

Что можно извлечь из столь часто упоминающихся параметров ТИЦ и PR? Многие ими оперируют, но мало кто знает их истинное предназначение. Еще меньшее количество людей могут грамотно и верно расшифровать текущие параметры. Самое распространенное мнение - чем больше, тем лучше. Так ли это?

ТИЦ — тематический индекс цитирования сайта, который используется для сортировки сайтов в Каталоге «Яндекса». ТИЦ зависит исключительно от ссылок на сайт и с него, от темы сайта и не влияет напрямую на поиск.

Заблуждение о его связи с поиском рождается, видимо, потому, что алгоритм ранжирования учитывает ссылки на страницы. Чем больше качественных ссылок ведет на страницу, тем, как правило, она выше находится по запросам, но рост числа ссылок приводит и к росту ТИЦ. Поэтому создается впечатление, что рост ТИЦ способствует успехам в ранжировании. PR в «Яндексе» не используется, «Яндекс» имеет собственный алгоритм, который называется ВИЦ — взвешенный индекс цитирования. ВИЦ учитывает намного больше факторов, чем классический алгоритм определения ссылочного ранга страницы и является одним из факторов алгоритма ранжирования. Значение ВИЦ для страниц не публикуется по упомянутым выше причинам.

Активные накрутки рано или поздно будут определены алгоритмами и приведут к ухудшению ранга страницы, вместо улучшения. Если стоит задача долговременно*го развития сайта, стоит придерживаться нескольких принципов.

  • Создавайте сайты с оригинальным контентом или сервисом. Реклама не может служить основным или уникальным содержанием сайта. Думайте о пользователях, а не о поисковых системах. Задайте себе вопрос: создадите ли вы этот сайт, страницу или ее элемент, если бы не было поисковиков? Приходят ли пользователи на ваш сайт не из поисковых систем?
  • Ставьте ссылки, интересные пользователям вашего ресурса, помогающие найти связанную информацию или проанализировать предложение. Не ссылайтесь только потому, что вас попросили сослаться.
  • Дизайн должен помогать пользователям увидеть главную информацию, ради которой сайт создан.
  • Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Обманутые пользователи уйдут, и, возможно, вместе с ними уйдет с сайта робот поисковой системы.
estafa
На сайте с 20.02.2007
Offline
37
#1

Продолжение...

Есть ли доступные инструменты для оценки процесса индексации и ее результатов? Иногда не очевидно, как проиндексирован сайт, какие ошибки были обнаружены и не позволили нормально проиндексировать ресурс.

Самый простой способ проверить, какие страницы сайта находятся в поиске, — воспользоваться сервисом http://webmaster.yandex.ru/check.xml. Что касается ошибок, которые привели к проблемам в индексации, их все можно увидеть в логах сайта.

Когда компании обновляют информацию на своих сайтах, либо публикуют свои новости, они хотят быстрее донести это до своих клиентов. Есть ли какие-то доступные способы, позволяющие ускорить индексацию поисковыми серверами определенной информации или всего сайта целиком?

Кроме основного робота, который обходит миллионы сайтов, в веб-поиске работает робот для индексации оперативной информации, позволяющий уже через несколько часов после обновления информации на сайте обнаружить ее в поиске. Практически все интересные и обновляемые ресурсы попадают в поле зре*ния этого быстрого робота. Но если владельца сайта не устраивает задержка в 2-3 ч, он может подключиться к сервису «Яндекс.Новости» результаты поиска по которому показываются при поиске по вебу (если они есть и релевантные). В «Новостях» обновление информации идет каждые 10 мин.

Можно подключиться к Поиску по блогам, если на сайте компании есть блог или форум в формате RSS, просто добавив его на странице http://blogs.yandex.ru/add.xml. В этом поиске информация также обновляется за считанные минуты.

В Сети множество оптимизаторов и даже целых студий, предлагающих за деньги вывести любой сайт в ТОП-10 результатов поиска «Яндекса». Есть ли резон обращаться к подобным специалистам?

Никто не может гарантировать попадание в результаты поиска Яндекса, так как никто из оптимизаторов не застрахован от смены алгоритма или попадания на радары наших антиспамовых алгоритмов.

По некоторым особо конкурентным запросам попасть на адекватные места результатов поиска многие компании без солидных денежных вливаний в продвижение не могут физически. Как быть интересным или маленьким компаниям, которые могут предоставить более качественные товары или услуги, но не могут это донести до своего посетителя? Места «решает» бюджет?

Решает не бюджет, а умение измерять конверсию и находить свою нишу. Нужно искать своих клиентов там, где компания сильна. Если разница в качестве услуг или товаров у маленькой компании и больших конкурентов ощутима, то в Интернете, где информация распространяются мгновенно, компания быстро приобретет поклонников и перед ней будет стоять задача не столько привлечь, сколько удержать их — а здесь деньги не так важны.

Нельзя не спросить отдельно про каталоги, так как они появляются на каждом втором сайте. Дает ли что-то подобный обмен с другими сайтами и каким требованиям по*добный каталог должен соответствовать, чтобы не дать обратный Эффект и повод Яндексу удалить сайт из результатов поиска?

Каталог на сайте, как и любой другой раздел, должен быть удобен и полезен пользователям. Ответьте для себя на несколько простых вопросов, и вам сразу станет ясно, нужен ли каталог на сайте. Стали бы вы создавать каталог, если бы не существовало поисковиков? Как много пользователей вашего сайта заходит в него и переходит по ссылкам? Проверяете ли вы содержание и описание ресурсов, которые добавляют вам в каталог? Как часто проверяется, что ресурсы, на которые поставлены ссылки, не изменились и по-прежнему живы? Если ответ хотя бы на один вопрос «нет», «мало» или «редко», то лучше потратить время не на каталог, а на что-то более интересное пользователям вашего сайта.

Спрос рождает предложение и в последнее время лавинообразно растет количество сайтов и сайтов-спутников, которые предназначены сугубо для продвижения других сайтов. Есть ли какие-то ограничения для таких сайтов или требования, при соблюдении которых их деятельность не будет караться со стороны поисковой машины?

Поисковые машины не карают, они иногда исключают из поиска страницы и сайты, которые не могут корректно отранжировать. Сайты-спутники ничем не лучше фирм-однодневок. Если сайт не является ориентированным на пользователя, не содержит оригинальной информации — независимо от того, сайт-спутник это или нет, мы не считаем его ценным для пользователя и стремимся к уменьшению представленности таких сайтов в поиско*вой выдаче.

«Непот-фильтры» - о них много слышно, но не все понятно. Что это, для чего и как работает?

«Непот-фильтр» — жаргонное название. Термин «непотизм» в отношении ссылок появился давно, одно из первых упоминаний было в статье Бриана Дэвисона «Recognizing Nepotistic Links on the Web (2000)»: «nepotistic links — links between pages that are present for reasons other than merit». Фильтрами оптимизаторы называют любые алгоритмы, противодействующие спаму и накруткам факторов ранжирования. Под «непот-фильтром» в среде вебмастеров подразумевается алгоритм,который приводит к снижению веса некоторых ссылок или полному их неучету. Ссылки, поставленные с целью «накрутки», приводят к снижению качества ранжирования. Подавляя «накрутку», мы улучшаем поиск, за которым приходят пользователи на «Яндекс». Борьба с обманом алгоритмов полезна и владельцам сайтов — она помогает им сосредоточиться на улучшении контента, коммуникации с пользователями на сайте, снижает соблазн заняться деятельностью, которая бесполезна для посетителей сайта и замусоривает Рунет.

Брокеры интернет-рекламы, позволяющие сайтам продавать, а компаниям покупать ссылки на главных и внутренних страницах других сайтов, - удобный инструмент для оптимизаторов при продвижении ресурсов своих клиентов. Какое отношение к их деятельности?

Отрицательное. Если грамотная оптимизация одного сайта похожа на ловлю рыбы удочкой, где мало кто страдает (кроме рыбы, которую вытеснили из воды), то работа ссылочных брокеров напоминает глушение рыбы динамитом, в результате вся экосистема страдает из-за желания нескольких браконьеров быстро нажиться.

Какие ближайшие нововведения коснутся результатов поиска в «Яндексе»? Чего ждать компаниям и оптимизаторам, услугами которых эти компании пользуются?

Мы постоянно совершенствуем алгоритмы ранжирования и обхода робота, но придерживаемся правила не разглашать свои планы заранее. Мы помним, что кроме миллионов пользователей на Яндекс смотрят десятки тысяч веб-мастеров, и думаем, как сделать их жизнь легче. Надеемся, у нас все получится, а ваши сайты получат благодарных пользователей.

Marvellous
На сайте с 09.02.2006
Offline
130
#2
estafa:
Что касается мнений и даже исследований, посвященных «разгадке» формул поисковой системы, то, несмотря на некоторую наивность и упрощенность, зачастую они довольно правильно называют многие факторы.

"Мы" во многом близки к истине :)

...
Dm
На сайте с 11.03.2002
Offline
108
Dm
#3

Как обычно - ничего нового :). Не обманывайте Яндекс, делайте хорошие сайты и будет вам счастье и топ10 в вашей нише.

Я за ДСДЛ (/ru/forum/135358)
Kislov
На сайте с 29.04.2006
Offline
185
#4

Ай.... Всё сливается.. Не возможно читать. Дайте ссылку откуда спи..скопипастили.

Marvellous
На сайте с 09.02.2006
Offline
130
#5

Садовскому точно в политики надо податься, у него иак хорошо получается.

На все вопросы ответил, а содержание как всегда расплывчатое и обобщительное.

Вроде как ответ на вопрос: "Когда наступит светлое будущее?" - "Работайте, работайте, обязательно наступит."

Disell
На сайте с 05.06.2006
Offline
253
#6

Вода водой. Самое рапространненое слово в интерьвью мы не раскрываем, мы не разглашаем, мы не комментируем.

Интервью - низачет - хотя и что ждать от него было бы другого? Про развитие сервисов и самого Яндекса было бы в сто крат интереснее.

А зато бабки за каталог ЯКу очень даже хорошо вымогать умеем. Не в лоб, конечно, а так иносказательно. Платон - денег не дам!!! - не из жадности - а из принципа!!!!

<смайлик фиг вам>

Лучшие вакансии ( http://hh.ru ) РУнета. Построй свою карьеру ( http://career.ru )
Skyter
На сайте с 17.02.2005
Offline
175
#7

Как звучит, "внутренние", "внешние", "динамические"... Уже в этих трех терминах заложено очень много =)

Юрий Батиевский www.antop.ru (http://www.antop.ru/): тел: +7 903 796 05 86 Ищу SEO-специалиста, специалиста по контекстной рекламе, интернет-маркетолога.
PM
На сайте с 15.01.2006
Offline
51
#8

Дежурно, банально, предсказуемо и поэтому скучно. Прочитал, зевнул и пошел дальше "глушить рыбу". ;)

Murdoc (msk)
На сайте с 21.11.2005
Offline
146
#9

estafa, Спасибо за инфу

Deep Junior
На сайте с 18.08.2007
Offline
5
#10

Хорошое интервью. Главное это конспиративность! Чтобы "враг" не вызнал тайны алгоритма Яши. :)

Интуиция + немного интеллекта + наблюдательность = SEO

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий