Deep Learning approaches to singing voice transcription in pop music

La veu humana és sens dubte l'instrument musical més accessible i possiblement per això part de múltiples pràctiques musicals a tot el món. Aquesta accessibilitat universal porta a una àmplia quantitat d'activitats populars relacionades amb el cant com per exemple el karaoke. Paral·lelament i propulsat per la immediatesa dels mitjans de streaming de música han impulsat la demanda de continguts i serveis per a plataformes de identificacion mitjançant taral·larejo o sistemes de karaoke. Aquesta última aplicació require d'un sistema automàtic per a comparar la melodia taral·larejada respecte a una base de dades, asi com l'anterior no pot satisfer la demanda solament amb anotacions manuals a causa del gran volum i al ràpid cicle de publicació de música popular. En conseqüència, és molt desitjable comptar amb sistemes automatitzats capaços de generar partitures directament, o almenys de proporcionar una base sòlida que requereixi un ajust mínim. Aquest repte de transcriure veus cantades de la música popular planteja dificultats considerables. En primer lloc, les melodies vocals solen estar entrellaçades amb complexos arranjaments instrumentals. En segon lloc, aconseguir una transcripció precisa exigeix amplis conjunts de dades que abastin els diversos timbres i la flexibilitat inherent a la veu humana. La creació d'aquesta mena de conjunts de dades requereix molt temps d'anotació manual i els pocs que existeixen són difícils de compartir a causa dels problemes de drets d'autor que envolten a la música comercial. Per a fer front a aquest repte, aquesta tesi explora tres estratègies complementàries. La primera se centra en l'arquitectura de models que aprofiten els antecedents musicals, introduint un nou bloc de xarxa neuronal motivat per la música, el disseny de la qual s'ha patentat amb èxit. La segona consisteix a augmentar les dades, emprant models generatius no per a crear dades totalment sintètiques, sinó per a generar diversos acompanyaments instrumentals realistes per a gravacions vocals existents, ampliant així els escenaris d'entrenament sense dependre d'anotacions generades potencialment esbiaixades. La tercera estratègia aborda la creació automàtica de dades alineades amb precisió; hem desenvolupat un algorisme iteratiu basat en esdeveniments que refina les alineacions d'àudio a partitura comparant esdeveniments musicals específics, com les onsets, i que també pot aprofitar-se per a avaluar la fiabilitat d'aquestes alineacions. Basant-nos en diverses anàlisis comparatives i de resultats, arribem a la conclusió que el rendiment de la transcripció per a cantants professionals pot estar acostant-se a un altiplà quan s'avalua amb les mètriques actuals. No obstant això, la precisió de la transcripció per a cantants aficionats continua sent significativament inferior, la qual cosa indica una àrea clara per a la recerca i el desenvolupament futurs.