AACSearch объединяет production analytics и offline relevance evaluation.Открыть Quality Lab
Оценки, посеянные из кликов и покупок или введённые вручную для самых важных запросов.
Каждый прогон оценивается по nDCG, MRR, MAP, точности и полноте против одной и той же фиксированной линейки.
Кандидат сравнивается с текущей базовой линией — регрессия за вашим порогом блокирует продвижение.
Сохраните запросы, важные для бизнеса. Для каждого запроса определите relevant results, expected results и graded relevance. Теперь изменение ranking можно сравнить с baseline.
Одна метрика не отвечает на все вопросы, поэтому AACSearch позволяет смотреть на качество с разных сторон.
Offline quality и production behavior должны дополнять друг друга.
Ranking A
vs
Ranking B
Rule set A
vs
Rule set B
Baseline run
vs
Run после переиндексации
Получите измеримый diff до rollout.
После offline validation изменение можно проверять на части production traffic. Измеряйте не только CTR, но и guardrail metrics.
Прогон, уронивший средний nDCG ниже порога, помечается до продвижения.
Липкое распределение вариантов и доверительные интервалы Уилсона на каждой метрике.
Каждый поиск трассируется от начала до конца и может быть воспроизведён на новой конфигурации.
Правила следят за долей пустых выдач, ошибками движка, p95-латентностью, CTR и долей запросов без кликов против вашего порога и срабатывают в момент пересечения — следить за дашбордом не нужно.
Платформа предлагает синонимы, пины и бусты из реального поведения запросов и кликов, с доказательствами — вы смотрите и принимаете, ничего не меняется молча.
{ "k": 10 }
// -> {
// "ndcg": 0.84, "mrr": 0.79, "map": 0.71,
// "precision_at_10": 0.62, "recall_at_10": 0.88
// }Узнать больше
Лучший способ оценить поисковую платформу — не читать ещё одну сравнительную таблицу.
И только после этого принимайте решение.