Golden-набор запросов

Подобранный набор запросов с известными правильными результатами, по которому ранжирование оценивается офлайн.

Набор отражает, как ищут реальные пользователи: частотные запросы, длинный хвост, опечатки, нулевые выдачи. У каждого запроса есть суждения — какие документы релевантны, а какие нет, — проверенные человеком.

Каждое изменение ранжирования или синонимов оценивается по набору до деплоя. Если средний nDCG просел ниже порога, изменение уходит на ревью, а не молча в прод.

Связанные термины

nDCG A/B-тестирование

Проверьте AACSearch на своей задаче

Лучший способ оценить поисковую платформу — не читать ещё одну сравнительную таблицу.

Загрузите собственные данные.
Выполните реальные запросы.
Посмотрите Query Trace.
Сравните relevance.
Посчитайте стоимость.

И только после этого принимайте решение.