nDCG

nDCG оценивает ранжированный список против идеального: релевантные элементы дают «выгоду», дисконтированную логарифмически по позиции, а результат нормируется так, что 1.0 — идеальное ранжирование. Метрика награждает за самый релевантный документ на первом месте — ровно то, что нужно странице поиска.

Метрика считается по golden-набору — запросам с суждениями о том, что должно ранжироваться. Лаборатория качества AACSearch хранит эти наборы, оценивает каждое предлагаемое изменение офлайн и помечает запуски, где просел средний nDCG, ещё до релиза.