26 ноября 2015 в Москве, в event-холле Digital October, прошел первый день Ашмановской конференции Optimization 2015 (IBC Russia), посвященной поисковому маркетингу и продвижению бизнеса в интернете. По традиции одна из секций мероприятия была посвящена поисковым машинам.

Екатерина Гладких, аналитик поиска Яндекса, представила доклад «Практика детерминированного хаоса» ссылка, в котором раскрыла подробности механизма, перевернувшего выдачу Яндекса этим летом. Речь идет о рандомизации выдачи.


Перемешивание выдачи осуществлялось с целью повысить удовлетворенность пользователей результатами поиска и не преследовало цели создать какие-либо ограничения, отметила Екатерина. Этот механизм был реализован с помощью специального фактора, получившего название exploration feature.

При проектировании этой фичи учитывалось несколько обязательных требований:

1. Она работает только с Rel+ результатами, то есть с теми, которые дают пользователю релевантный ответ на его запрос.

2. При уменьшении вероятности того, что результат является Rel+, уменьшается и амплитуда перемещения сайта. То есть чем ближе ваш результат к характеристикам Useful или Rel-, тем меньше будет перемещение сайта в выдаче.

3. Цель фичи – максимизировать изменяемость выдачи при сохранении pfound (вероятности найти релевантный ответ в выдаче).

4. Фича должна регулярно обновляться, чтобы дать новым сайтам шанс проявить себя.

Расчеты велись по следующей формуле:

Relevance+ = K*rand (Host)*P(Rel+)

– где К – коэффициент амплитуды рандомизации,

Rand (Host) принадлежит [-1;1] – похостовое отклонение,

P(Rel+) – вероятность того, что документ является Rel+.

При этом значение фичи добавляется к релевантности Матрикснета.

Как всегда перед внедрением нововведения Яндекс провел A/B-тестирование нового механизма. Одна группа пользователей продолжила работать с обычной выдачей, в то время как другой досталась тестовая версия. Результаты тестирования показали, что пользователи не заметили внедрения exploration feature. Но это были лишь 2% коммерческого потока в московском регионе. Следующий релиз охватил уже 50% выдачи. При этом поток делился по тематикам, чтобы команда проекта могла проверять долгосрочные тренды.


В начале осени фича была отключена, чтобы эксперты могли оценить результат.

По словами Екатерины, не стоит воспринимать этот эксперимент как отрицательное явление. У него есть свои плюсы:

- Фича дает больший выбор для пользователей.
- Предоставляет дополнительные возможности новым сайтам.
- Дает SEO-экспертам материал для исследований.

Отвечая на вопросы аудитории, Екатерина обратила внимание на тот факт, что не стоит создавать новые сайты, надеясь, что exploration feature выведет их в топ на общей волне. Лучше приложить усилия для развития старого сайта, так как фича в любом случае будет ориентироваться на самые релевантные результаты. И конечно, взбудоражила слушателей новость о том, что с сегодняшнего дня запущена новая итерация exploration feature. Так что ждем перемен.