A machine learning approach to modelling piano performance difficulty across modalities

Avaluar la dificultat d’interpretar obres musicals és una tasca fonamental en l’educació musical. Una estimació fiable de la dificultat dona suport al professorat i a les institucions en el disseny de currículums i en l’exploració de grans col·leccions musicals. Automatitzar aquest procés pot reforçar la pràctica pedagògica perquè proporciona eines computacionals per planificar els estudis i capacita l’alumnat per explorar repertori ajustat a les seves habilitats, fomentant l’autonomia i el compromís en l’aprenentatge de peces noves. En essència, aquesta tesi aborda les dimensions pedagògiques i computacionals associades a la pregunta persistent en l’educació musical: Puc tocar aquesta obra? Aquesta dissertació afronta aquests reptes des d’una perspectiva de machine learning. Combina recursos de dades, desenvolupament de models i metodologies d’avaluació per estudiar de manera sistemàtica la dificultat d’interpretació pianística. Com que la disponibilitat de dades anotades d’alta qualitat és imprescindible per a qualsevol tasca de machine learning, curem sis datasets que abracen les modalitats simbòlica, visual i sonora. Entre aquests recursos hi ha CIPI (652 obres), el dataset PSyllabus (7.901 enregistraments), els PDF Difficulty datasets (unes 7.500 partitures anotades) i PianoPairs (prop d’1,1 milions de parells fàcil–difícil alineats), el recurs multimodal de referència per a l’estudi computacional de la dificultat pianística. A partir d’aquests datasets desenvolupem models que prediuen la dificultat d’interpretació directament a partir de dades simbòliques, visuals i sonores. En l’àmbit simbòlic investiguem tres estratègies complementàries d’explicabilitat i interpretabilitat: separar els components tècnics, notacionals i expressius de la dificultat; analitzar el comportament arquitectònic mitjançant interpretabilitat basada en atenció; i dissenyar models interpretables inspirats en rúbriques educatives. Aquestes aproximacions es fonamenten en hipòtesis educatives, cognitives i d’interpretació pianística i aprofiten avenços recents en Processament de Llenguatge Natural, tractant la música com seqüències estructurades comparables al llenguatge. Al conjunt CIPI els models assoleixen precisions entre el 39,5% i el 41,4%, amb errors quadràtics mitjans compresos entre 1,1 i 1,7 en una escala de nou nivells. En els dominis visual i sonor els datasets són significativament més grans. Això permet utilitzar arquitectures de deep learning adaptades a imatges de partitures i a enregistraments interpretatius. Cada modalitat s’estudia de manera independent i es formalitza com un problema d’aprenentatge multitarea, gestionant diverses escales de dificultat simultàniament. En partitures PDF avaluades sobre CIPI, el millor model assoleix una precisió del 40,3% amb un error quadràtic mitjà d’1,3. Els models basats en audio arriben al 37,3% de precisió amb un error quadràtic mitjà d’1,8 en una escala d’onze nivells. Els dos models es proven en subconjunts fora de distribució, incloent obres de compositors històricament infrarepresentats, per analitzar la robustesa i el biaix dels models. Aquests experiments demostren que les peces musicals en formats visual i sonor ofereixen una base fiable per a l’estimació automàtica de la dificultat. Més enllà de la predicció, la tesi investiga sistemes centrats en l’intèrpret que generen i adapten partitures de piano segons nivells de dificultat. La proposta integra l’estimació de dificultat dins del procés generatiu. La música resultant es genera en format MusicXML i persegueix dos objectius educatius principals: generar exercicis de lectura a primera vista adaptats a nivells concrets i simplificar obres existents preservant l’estil i l’estructura musical. Aquesta integració amplia la pregunta Puc tocar aquesta obra? des de l’anàlisi fins a la generació i situa la persona intèrpret al centre del procés creatiu. Tots els models, datasets i codi es publiquen en obert per facilitar futures recerques i impulsar la seva integració en sistemes educatius i entorns d’aprenentatge interpretatiu.