The Data Problem behind Sign Language Translation

El progrés de la traducció automàtica de les llengües de signes (SLMT) es veu dificultat per la manca de dades disponibles per a aquesta tasca i per la manca d’acord sobre com s’haurien d’anotar. L'objectiu principal d'aquesta tesi és l'exploració de les estratègies per a l'augment de la quantitat de dades per a la SLMT i el processament de les llengües de signes (LSP). Llengues de signes (LS) tenen recursos extremadament ecassos pel que fa a les dades textuals i anotades. Així mateix, els mètodes per a recollir i etiquetar dades amb glosses encara no estan estandarditzats a través dels conjunts de dades ni de les llengues. Aquesta tesi planteja la hipòtesi que l'ús de l'augment del volum de dades sigui una alternativa viable a la recollida de dades que s'utilitza per a la SLMT i el PLS. Es presenta una sèrie d'experiments en diverses LS que exploten informació lingüística. Principalment, els entorns experimentals que tenen glosses de llengua de signes com a entrada/sortida es poden millorar si: (1) s'enriqueixen amb coneixement lingüístic, (2) utilitzen estratègies de recursos ecassos com l'aprenentatge per transferència i (3) empren conjunts de dades més grans fets a partir de pseudo-glosses de LS creades amb mètodes basats en regles. Tot i que l'augment del volum de dades no pot cobrir completament la bretxa, és una alternativa raonable respecte als alts costos, les consideracions ètiques i el temps que requereix la recollida i l'etiquetatge de dades de llengua de signes. Atès que les millores són modestes o no s'observen sempre, aquest treball també aborda la recollida de dades. Es descriu un mètode per crear corpus paral·lels a partir de vídeo de sessions parlamentàries en llengua de signes i text de les transcripcions oficials alineats temporalment. Es conclou que, tot i que els mètodes per a recursos limitats són beneficiosos per a trobar millores en tasques intermèdies de traducció automàtica de llengua de signes (SLMT), el sostre de rendiment de la tasca es mantindrà mentre els problemes subjacents de dades no es resolguin. Per aquest motiu, també s’hi presenta un experiment exploratori sobre l’ús de grans models de llenguatge (LLM) per a SLMT, com a prova de concepte de l’ús de fonts de dades no típics per a aquesta tasca.