ПРИМЕНЕНИЕ И ОПТИМИЗАЦИЯ АРХИТЕКТУРЫ MIXTURE OF EXPERTS (MOE) ДЛЯ РАЗЛИЧНЫХ ЗАДАЧ

Аннотация. В работе рассматривается проблема повышения эффективности архитектур Mixture of Experts (MoE) в задачах обработки естественного языка и компьютерного зрения при ограниченных вычислительных ресурсах. На основе анализа существующих решений формулируются ключевые ограничения, связанные с роутингом экспертов, неравномерной балансировкой нагрузки и масштабируемостью моделей. Предлагается гибридная MoE‑архитектура с доменно‑специализированными экспертами для NLP и CV и модифицированным алгоритмом роутинга, учитывающим как тип входных данных, так и статистику загрузки. Экспериментальная оценка на бенчмарках GLUE и ImageNet демонстрирует улучшение соотношения «качество–задержка» по сравнению с плотными моделями и базовыми реализациями MoE при сопоставимом вычислительном бюджете. Результаты ablation‑исследований подтверждают значимость балансировочных механизмов и специализации экспертов, а также позволяют выделить направления дальнейшего развития гибридных MoE‑архитектур в составе многоуровневых ИИ‑систем. Ключевые слова: Mixture of Experts; MoE; гибридная архитектура; роутинг экспертов; балансировка нагрузки; разреженные модели; трансформеры; обработка естественного языка; компьютерное зрение; мультимодальные модели.