НАДЕЖНЫЕ АДАПТИВНЫЕ МЕТОДЫ ДЛЯ ГЛУБОКОГО ОБУЧЕНИЯ - АДАПТИВНАЯ ОПТИМИЗАЦИЯ ПРИ НАЛИЧИИ ГРАДИЕНТНОГО ШУМА С ТЯЖЕЛЫМИ ХВОСТАМИ

Современные методы глубокого обучения демонстрируют выдающиеся результаты в задачах компьютерного зрения, обработки естественного языка и генеративного моделирования. Однако по мере роста сложности моделей и увеличения объёмов данных становится очевидной ограниченность стандартных предположений, лежащих в основе большинства теоретических анализов алгоритмов оптимизации. В частности, предположение о субгауссовской природе градиентного шума не всегда выполняется на практике. При обучении нейронных сетей с большим количеством параметров часто наблюдаются распределения градиентов с тяжелыми хвостами, что приводит к нестабильности сходимости, переобучению и снижению воспроизводимости результатов. Адаптивные методы оптимизации, такие как Adam, AdaGrad и их модификации, стали де-факто стандартом при обучении крупных нейронных архитектур. Их преимущество заключается в способности автоматически подстраивать темпы обучения для различных параметров модели. Тем не менее, данные методы чувствительны к аномальным значениям градиентов, возникающим в условиях шумных или нестационарных данных. Это особенно проявляется при обучении трансформеров, больших языковых моделей, а также в сценариях федеративного обучения, где распределения данных между клиентами существенно различаются (non-IID-среда). Проблема устойчивости адаптивных оптимизаторов при наличии градиентного шума с тяжелыми хвостами является одной из ключевых в области теоретического и прикладного машинного обучения. В последние годы наблюдается рост интереса к разработке робастных методов, способных сохранять эффективность при ослаблении статистических предположений о данных. Однако большинство существующих подходов либо опираются на жёсткие ограничения на дисперсию градиентов, либо не имеют строгих гарантий сходимости в вероятностных терминах. В настоящей работе предлагается AdaHeavy — новый адаптивный метод оптимизации, обеспечивающий сходимость с высокой вероятностью при минимальных предположениях о моментах распределения градиентов. Основная идея заключается в интеграции моментно-адаптивного клиппинга градиентов в существующие схемы типа Adam и AdaGrad, где пороги клиппинга динамически регулируются на основе (1+δ)-го момента исторических градиентов. Подобный подход позволяет эффективно ограничивать влияние выбросов и аномальных значений, сохраняя адаптивность метода. Предложенный алгоритм теоретически обоснован с использованием стохастического анализа Ляпунова и демонстрирует оценку сходимости порядка O(T·log(1/δ)) для невыпуклых липшицевых функций с вероятностью не менее 1−δ. Экспериментальная верификация на ряде задач — от дообучения моделей LLaMA-2-7B до обучения ViT на зашумленных наборах данных — подтверждает практическую эффективность подхода и его устойчивость к шуму в данных. Таким образом, работа посвящена оптимизации в глубоких нейронных сетях — конкретно, тому, как обучать модели, если градиенты (производные ошибки) ведут себя нестабильно. В стандартной теории машинного обучения обычно предполагается, что градиенты имеют «хорошее» распределение — то есть оно похоже на нормальное (гауссовское), без экстремальных выбросов. 🔍 Но в реальных нейросетях это далеко не так: при обучении больших моделей (трансформеров, ViT, LLaMA и т.п.), при наличии шумных данных (например, с ошибочными метками), при федеративном обучении (где у разных клиентов данные сильно различаются) — часто возникает ситуация, когда распределение градиентов имеет тяжёлые хвосты. Это значит, что иногда появляются редкие, но очень большие градиенты, которые сбивают процесс обучения, делая его нестабильным. Решение данной проблемы открывает перспективы для дальнейшего развития теории и практики устойчивого машинного обучения.