Исследователи из НИУ ВШЭ и Лаборатории искусственного интеллекта Сбербанка в десятки раз ускорили работу градиентного бустинга - одного из самых эффективных и популярных алгоритмов для решения задач машинного обучения. Об этом в среду сообщила пресс-служба НИУ ВШЭ.
«Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в лунку, гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и лункой и стремится его сократить. Алгоритм строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей», - поясняет эксперт Факультета компьютерных наук НИУ ВШЭ Леонид Иосипой, чьи слова приводит пресс-служба вуза.
Как отмечается в сообщении, исследователи смогли в десятки раз сократить время, которое алгоритм градиентного бустинга тратит на приближение к правильному ответу на решаемую задачу. Для этого ученые разработали подход, позволяющий сжимать данные перед запуском самого длительного этапа работы алгоритма. Этот этап определяет оптимальную структуру так называемого дерева решений, которое используется для поиска ответа.
Структура и сборка этого дерева усложняются, если система машинного обучения должна одновременно определить сразу несколько значений для анализируемых наборов данных и если в ее работе применяются сложные классификации. Это резко замедляет работу системы.
В прошлом ученым приходилось использовать только нейросетевые подходы для решения подобных задач. Алгоритм от НИУ ВШЭ и Сбербанка лишен подобного недостатка. В некоторых задачах он превосходит аналоги в скорости работы примерно в 40 раз.
«Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта», - подытожил директор Лаборатории искусственного интеллекта Сбербанка Глеб Гусев, чьи слова приводит пресс-служба НИУ ВШЭ.