АРХИТЕКТУРА TRANSFORMER С ЭФФЕКТИВНЫМ МЕХАНИЗМОМ ВНИМАНИЯ ДЛЯ ДЛИННЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ

Стандартные архитектуры Transformer демонстрируют квадратичную вычислительную сложность O(n²) относительно длины входной последовательности, что существенно ограничивает их применимость для обработки длинных документов, геномных данных и временных рядов. В настоящей работе предлагается LinearHierarchical Transformer (LiHT) — новая архитектура, комбинирующая иерархическое представление последовательности с линейным механизмом внимания. Метод снижает вычислительную сложность до O(n log n) за счет двухуровневой иерархической агрегации токенов при сохранении глобального контекста через разреженное внимание. Теоретический анализ доказывает границу аппроксимации полного self-attention с точностью O(1/√k), где k — количество иерархических уровней. Экспериментальная верификация на пяти бенчмарках (PG-19, arXiv-200k, GenomeBERT, LongRange-Arena, WikiText-103) демонстрирует достижение 98.5% качества полного трансформера при 3.2-кратном ускорении обучения и возможность обработки последовательностей до 128k токенов на одном GPU. Улучшение на 4.7% на задачах с дальними зависимостями подтверждает эффективность предложенного подхода. Ключевые слова: эффективное внимание, длинные последовательности, иерархические трансформеры, линейная сложность, аппроксимация внимания, механизм самовнимания, глубокое обучение, обработка естественного языка