- Машина повышения градиента с частично рандомизированными деревьями решений (arXiv)
Автор : Андрей Владимирович Константинов, Лев Викторович Уткин
Аннотация: : Машина повышения градиента — это мощный метод машинного обучения на основе ансамбля для решения задач регрессии. Однако одной из трудностей его использования является возможный разрыв функции регрессии, который возникает, когда области обучающих данных не плотно покрыты обучающими точками. Чтобы преодолеть эту трудность и снизить вычислительную сложность машины повышения градиента, мы предлагаем применять частично рандомизированные деревья, которые можно рассматривать как частный случай чрезвычайно рандомизированных деревьев, применяемых для повышения градиента. Машина повышения градиента с частично рандомизированными деревьями проиллюстрирована множеством числовых примеров с использованием синтетических и реальных данных.
2.Обобщенный стек для реализации ансамблей машин повышения градиента (arXiv)
Автор : Андрей Владимирович Константинов, Лев Викторович Уткин
Аннотация: Машина повышения градиента — один из мощных инструментов для решения задач регрессии. Чтобы справиться с его недостатками, предлагается подход к построению ансамблей моделей градиентного бустинга. Основная идея подхода заключается в использовании алгоритма суммирования для изучения метамодели второго уровня, которую можно рассматривать как модель для реализации различных ансамблей моделей повышения градиента. Во-первых, линейная регрессия моделей повышения градиента рассматривается как простейшая реализация метамодели при условии, что линейная модель дифференцируема по своим коэффициентам (весам). Затем показано, что предложенный подход можно просто распространить на произвольные дифференцируемые комбинационные модели, например, на нейронные сети, которые являются дифференцируемыми и могут реализовывать произвольные функции моделей градиентного бустинга. Различные числовые примеры иллюстрируют предлагаемый подход.
