Ефективний метод донавчання самонавчених мовленнєвих моделей для розпізнавання емоцій за умов незбалансованості класів

У статті представлено ресурсоефективний метод донавчання самонавчених мовленнєвих моделей для задачі розпізнавання емоцій у мовленні за умов суттєвої незбалансованості класів. Запропонований підхід адаптує енкодер WavLM Base+ до задачі класифікації чотирьох емоцій (гнів, смуток, нейтральний стан, позитив) шляхом поєднання часткового заморожування шарів, пошарового згасання швидкості навчання (LLRD), зваженої за класами функції втрат перехресної ентропії та легкої аугментації на рівні звукової хвилі. Модель навчено на великому корпусі емоційного мовлення, сформованому з відкритого (open-source) корпусу та вручну зібраного набору даних, загальним обсягом понад 142 тисячі висловлювань, у якому нейтральний клас становить майже дві третини навчальної вибірки. Експериментальні результати показують, що метод досягає F1-macro 86,5% (точність 86,3%) на збалансованій валідаційній вибірці та 84,2% (точність 84,0%, коефіцієнт кореляції Метьюза 0,79) на збалансованій тестовій вибірці, причому близька до максимальної якість досягається вже після трьох епох навчання. Пер-класний аналіз демонструє, що емоції з високим рівнем збудження (гнів, позитив) розпізнаються найнадійніше, а домінантним типом помилок є сплутування смутку з нейтральним мовленням. Запропонована конфігурація виключає з оптимізації приблизно п’яту частину параметрів базової моделі та може слугувати ефективним першим етапом адаптації перед подальшим доменно- або мовно-специфічним донавчанням. Бібл. 12, іл. 4, табл. 4