Efficient, Fair and Accurate Deep Learning Solutions for Remote Heart Rate Estimation

En els últims anys, la mesura fisiològica basada en càmera ha guanyat un gran interès en la comunitat científica, gràcies al seu potencial per monitoritzar senyals vitals com el ritme cardíac, el ritme respiratori, la saturació d'oxigen o el pols del volum sanguini. Aquests senyals són crucials per avaluar tant l'estat físic com l'estat mental de les persones, amb aplicacions àmplies en salut, educació, màrqueting o computació afectiva. Tot i que l'aprenentatge profund ha avançat en aquest camp, el seu èxit depèn significativament de la representació i diversitat de les dades d'entrenament. No obstant això, la disponibilitat limitada de dades i la complexitat del món real han donat lloc a models esbiaixats amb una generalització limitada, agreujada pel cost computacional elevat de les xarxes neuronals profundes. Per abordar aquests reptes, aquesta tesi introdueix mètodes per mitigar els biaixos clau en la mesura fisiològica remota, incloent la distorsió per moviment, la compressió de vídeo, la diversitat del to de pell i el desfasament temporal. És per aquest motiu, que proposem un enfocament no supervisat basat en freqüència per a la distorsió per moviment, aprofitant els coneixements fisiològics previs mentre garantim eficiència i robustesa. Per contrarestar els efectes de la compressió de vídeo, desenvolupem una estratègia d'entrenament en dues etapes que magnifica el contingut del senyal cardíac, centrant-se exclusivament en els aspectes fisiològics sense prioritzar la millora de la qualitat del vídeo. També introduïm una nova tècnica d'augment de dades per equilibrar la representació del to de pell utilitzant un model de color de pell bidimensional, sense necessitat d'etiquetes externes. A més, es presenta una nova funció de pèrdua temporal per refinar el desfasament temporal, entre els senyals del sensor i els senyals predits, en l'optimització dels models d'aprenentatge profund. Més enllà de la mitigació dels biaixos, aquesta tesi fa èmfasi en l'eficiència. És per això que proposem enfocaments optimitzats basats en el temps i la freqüència mitjançant la incorporació de restriccions fisiològiques, juntament amb noves estratègies d'optimització destinades a reduir la complexitat computacional, associada amb la mitigació de la compressió de vídeo, o a accelerar l'augment de dades del to de pell. Una contribució clau d'aquest treball és millorar la precisió de l'estimació remota de la freqüència cardíaca. Per això, introduïm un nou enfocament basat en la Transformada Chirp-Z (CZT) per refinar l'espectre de freqüència, centrant-nos en el rang de banda d'interès per a la freqüència cardíaca. Aquest fet proporciona una millor resolució en freqüència, la qual cosa dona lloc a estimacions més precises de la freqüència cardíaca. A més, explorem el potencial de la mesura fisiològica basada en càmeres en la computació afectiva, mitjançant la creació d'un nou referent per al reconeixement remot d'emocions i mostrant el seu valor en la Interacció Persona-Ordinador (IPO). A través de les solucions presentades en aquest treball, demostrem la possibilitat de desenvolupar sistemes més eficients, precisos i equitatius de mesura fisiològica basada en càmera. Aquestes innovacions pretenen millorar el rendiment de la detecció remota de senyals fisiològics, la qual cosa permet aplicacions més fiables i accessibles en la salut i altres àmbits.