yandex-palex

Сегодня поисковой системой «Яндекс» был запущен новый алгоритм, получивший название «Палех». Особенность разработки заключается в том, что в его основу положено использование нейронных сетей. Применение данного алгоритма дало возможность «Яндексу» повысить качество выдачи по малорелевантным и единичным запросам, коих в поисковике ежедневно насчитывается приблизительно 100 миллионов.

При подборе выдачи системы пользуются специальными ключевыми фразами. Если они присутствуют на веб-странице, значит, с большой вероятностью, именно ее и ищет юзер. Однако невозможно делать ставку лишь на этот фактор, ведь существует множество способов передачи одного и того же смысла. Поэтому поисковым системам приходится использовать дополнительные данные. К числу таковых можно отнести страницы, на которые переходили юзеры, вводившие тот же поисковый запрос. Однако если запрос малорелевантный или уникальный, подобрать статистику по нему невозможно. Следовательно, алгоритмам выдачи сложнее понять, что именно ищет пользователь.

Алгоритм «Палех», основанный на работе нейросетей, может установить соответствие по смыслу между фразой и страницами. Соответственно, теперь «Яндексу» будет проще определить наличие общего смысла на двух разных страницах, даже если на них нет общих ключевых слов. В качестве примера рассмотрим фильм «Марсианин». Если ввести в строку фразу «фильм про человека, который выращивал картошку на другой планете», алгоритм поймет, о каком именно кино идет речь. При этом, присутствие слов «Человек» или «Картошка» на странице, в данном случае, не обязательно.

Считается, что единичные и малорелевантные запросы составляют около 30% от общего числа запросов, ввиду чего они получили второе название — «длинный хвост». Палех» получил свое имя сказочного персонажа Жар-птицы, обладающей большим хвостом и нередко фигурирующей в палехской миниатюре.

Искусственные нейронные сети — один из способов машинного обучения. С его помощью удалось добиться хороших результатов при анализе обыкновенной информации: картинок, текста, звука. Нейросети в «Яндексе» используются для поиска по изображениям, а также для решения сопутствующих задач. Например, для модерирования рекламных объявлений или отделения контента для взрослых. Кроме того, они используются для распознавания речи. «Яндекс» ставит перед собой отдаленную цель создания специфического алгоритма поиска на основе нейросетей, который позволит «понимать» соответствие запросов и выдачи на человеческом уровне.

По материалам searchengines.ru