Как работает поиск Яндекса (ранжирование в топ)

[Turbo]

Возможно пишу тут известные всем факты, но может кому-нибудь материал покажется полезным. Так же хотелось бы послушать наблюдения от других участников конкурса. Я мог что-то упустить.

После участия в конкурсе от Яндекса (Интернет математика) мне стал абсолютно ясно понятен алгоритм работы и ответы на всякие мелкие вопросы, вроде, почему апдейты проходили раз в несколько дней. Все очень просто.

У Яндекса есть группа асессоров – так называемых оценщиков релевантности документов. Они составляют список вида: страница – запрос – релевантность. В этом списке сотни тысяч страниц. Релевантность варьируется от значений совсем не релевантно (0), до полностью релевантно (5). Одновременно с этим у Яндекса для каждой страницы в интернете есть набор параметров (ВИЦ, и.т.д) и часть параметров которые можно рассчитать в процессе запроса (количество слов в запросе, частота запрошенных слов на странице). Всего таких параметров на конкурсе было 245 штук, что, скорее всего, недалеко от реального числа используемого Яндексом. По списку асессоров и набору параметров для каждой страницы из списка строится модель по «Методу опорных векторов». Построение модели довольно трудоемкий процесс. Например, во время конкурса, модель на сложных алгоритмах у меня дома строилась порядка суток и больше.

Что дает эта модель?
По набору из 245 параметров для любой страницы в интернете она дает оценку релевантности этой страницы по данному запросу. Когда есть готовая модель, такая оценка происходит почти мгновенно. Именно на основании этой оценки ранжируется ТОП по заданному запросу.

Что такое апдейт Яндекса?
За 1-2 дня параметры списка от асессоров незначительно, но поменялись. Так же мог поменяться сам список, часть записей добавилось, часть удалилось. Вслед за этим требуется пересчитать файл модели, что бы соответствовать текущим данным.

Интересные наблюдения:
1) Если страница вашего сайта попадает в список асессоров с максимальной релевантностью, то первое место вам обеспечено независимо от расколбаса выдачи.
2) Люди в Яндексе сами не в курсе, что именно больше влияет на выдачу (контент, ссылочное).
3) Поиск Яндекса приспосабливается к любым внешним условиям за счет постоянного обновления модели.
4) Я пытался найти зависимость, монотонное изменение одного параметра НИКОГДА не приводит к монотонному изменению релевантности. Из этого следует, что нет параметра, однозначно ведущего к увеличению релевантности.

Слухи:
1) По слухам в конкурсном задании использовался список выдачи Яндекса для Украины. Список асессоров для этого региона составляет около 200 тысяч страниц.

К сожалению, параметры в задании и список запросов шли на конкурсе под номерами (индексами). Ведь если достать этот список с реальными запросами, то можно было бы экспериментировать с выдачей на дому. =)

Оригинал в моем блоге

[Tarry]

Интересно, получается достаточно разок пролезть по любому запросу в топ, что дает высокий шанс на проверку асессором, что, в свою очередь при наличии нормального сайта дает огромное преимущество.

[wladvlad]

Сообщение от Turbo

У Яндекса есть группа асессоров – так называемых оценщиков релевантности документов. Они составляют список вида: страница – запрос – релевантность. В этом списке сотни тысяч страниц.

то есть вручную составляют список?

[Tarry]

Сообщение от wladvlad

то есть вручную составляют список?

Нет, это "эталонные" сайты для обучения алгоритма.

[vadts]

Сообщение от Turbo

У Яндекса есть группа асессоров – так называемых оценщиков релевантности документов. Они составляют список вида: страница – запрос – релевантность.

Это то есть, люди? Смотрят документ и оценивают, или что такое асессор?

[qwasar]

Сообщение от Tarry

Интересно, получается достаточно разок пролезть по любому запросу в топ, что дает высокий шанс на проверку асессором, что, в свою очередь при наличии нормального сайта дает огромное преимущество.

получается, как ни крути, сайты нужно делать для людей, то есть для асессоров

[vadts]

Сообщение от qwasar

получается, как ни крути, сайты нужно делать для людей, то есть для асессоров

Не понятно как вообще доры пролазят в топ тогда, неужели асессор может дать пятёрку кривой странице дора?

[Tarry]

Сообщение от vadts

Не понятно как вообще доры пролазят в топ тогда

Зато понятно как вылазят

[ATCnik]

Turbo, прочитал, понравилось, спасибо

[wolf]

Сообщение от vadts

Не понятно как вообще доры пролазят в топ тогда, неужели асессор может дать пятёрку кривой странице дора?

Вы думаете асессоры проверяют абсолютно все запросы?