1.На пути к избавлению от релевантности и предвзятости в беспристрастном обучении ранжированию(arXiv)
Автор:Юнань Чжан, Ле Янь, Чжэнь Цинь, Хунлей Чжуан, Цзяминь Шэнь, Сюаньхуэй Ван, Майкл Бендерски, Марк Найорк
Аннотация .Беспристрастное обучение для ранжирования (ULTR) изучает проблему смягчения различных предубеждений из неявных данных отзывов пользователей, таких как клики, и в последнее время привлекает значительное внимание. Популярный подход ULTR для реальных приложений использует архитектуру с двумя башнями, в которой моделирование кликов разбивается на башню релевантности с обычными входными функциями и башню смещения с релевантными входными данными, такими как положение документа. Успешная факторизация позволит освободить башню релевантности от предвзятости. В этой работе мы определяем критическую проблему, которую игнорируют существующие методы ULTR — башню смещения можно спутать с башней релевантности из-за лежащей в основе истинной релевантности. В частности, позиции определялись политикой логирования, т. е. предыдущей производственной моделью, которая обладала бы релевантной информацией. Мы даем как теоретический анализ, так и эмпирические результаты, чтобы показать негативное влияние такой корреляции на башню релевантности. Затем мы предлагаем три метода смягчения негативных смешанных эффектов за счет лучшего разделения релевантности и предвзятости. Эмпирические результаты как на контролируемых общедоступных наборах данных, так и на крупномасштабном отраслевом наборе данных показывают эффективность предлагаемых подходов.
2.Rank-LIME: атрибуция локальных функций, не зависящая от модели, для обучения ранжированию(arXiv)
Автор:Таня Чоудхури, Разие Рахими, Джеймс Аллан
Аннотация. Понимание того, почему модель делает определенные прогнозы, имеет решающее значение при ее адаптации для принятия решений в реальном мире. LIME — это популярный независимый от модели метод атрибуции признаков для задач классификации и регрессии. Однако задача обучения ранжированию в поиске информации является более сложной по сравнению с классификацией или регрессией. В этой работе мы расширяем LIME, чтобы предложить Rank-LIME, независимый от модели, локальный, апостериорный метод атрибуции линейных признаков для задачи обучения ранжированию, который генерирует объяснения для ранжированных списков. Мы используем новые возмущения на основе корреляции, дифференцируемые функции потерь при ранжировании и вводим новые метрики для оценки моделей атрибуции аддитивных признаков на основе ранжирования. Мы сравниваем Rank-LIME с различными конкурирующими системами, с моделями, обученными на наборах данных MS MARCO, и наблюдаем, что Rank-LIME превосходит существующие алгоритмы объяснения с точки зрения точности модели и объяснения-NDCG. При этом мы предлагаем один из первых алгоритмов для создания аддитивных атрибутов признаков для объяснения ранжированных списков.
