Адаптация модели GPT-2 для поддержки знаний в области аэрокосмической техники: подход тонкой настройки LLM

Интеграция больших языковых моделей (LLM) в качестве интеллектуальных помощников в инженерии затруднена отсутствием у них знаний, специфичных для предметной области, что часто приводит к неточным или обобщенным результатам. Данное исследование изучает эффективность тонкой настройки компактной LLM, GPT-2, для работы в качестве специализированного помощника в области знаний в сложной области аэрокосмической техники. Мы создали курируемый набор данных из специализированных учебников, журнальных статей и технических отчетов, охватывающих такие темы, как композитные материалы, двигательные системы и авионика. Этот набор данных был использован для тонкой настройки модели GPT-2 с использованием цели каузального языкового моделирования. Тонко настроенная модель продемонстрировала улучшение основных метрик качества по сравнению с базовой моделью. Качественная экспертная оценка показала, что адаптированная модель генерировала технически точные и контекстно релевантные ответы, превзойдя базовую GPT-2. Результаты подтверждают, что целенаправленная тонкая настройка небольших и экономически эффективных моделей, таких как GPT-2, является жизнеспособной стратегией для создания надежных помощников на основе ИИ в чувствительных к данным и высокотехнологичных областях, потенциально сокращая циклы разработки и ускоряя инновации.