Human Reliance on Decision Support Systems in High-Risk Scenarios

Aquesta tesi investiga com la presa de decisions humanes interactua amb els sistemes algorítmics de suport a la presa de decisions en escenaris d'alt risc, tal com es defineixen en la Llei de IA de la Unió Europea, centrant-se en el reconeixement facial i la predicció de la reincidència delictiva. Si bé els sistemes de IA s'utilitzen cada vegada més en àmbits com la justícia penal i la vigilància, la suposició que la IA pot complementar de manera fluida i fiable el judici humà manca d'una base empírica suficient. Aquesta tesi presenta un conjunt d'estudis empírics que examinen la interacció entre la precisió del sistema, la dificultat de la tasca, la familiaritat de l'usuari i les intervencions específiques. La primera part analitza les coincidències i divergències entre els errors humans i els errors de màquina, revelant estratègies híbrides de presa de decisions entre humans i IA. La segona part explora com la precisió del sistema i la complexitat de la tasca afecten el rendiment en tots dos casos d'ús. Els resultats mostren que els sistemes precisos poden millorar la qualitat de les decisions, però els sistemes de baixa precisió exerceixen una influència desproporcionada en condicions difícils. La tercera part investiga les intervencions d'incorporació, en les quals una breu exposició al sistema ajuda els usuaris a calibrar la confiança i alinear els seus models mentals. Els resultats demostren que la fase d'incorporació millora aquest calibratge i mitiga la dependència desproporcionada. Aquesta tesi contribueix a la comprensió de la col·laboració humana-IA en escenaris d'alt risc, posant l'accent que el disseny dels sistemes ha de tenir en compte els factors cognitius juntament amb el rendiment tècnic. En lloc de recolzar una automatització total, els resultats advoquen per marcs híbrids de presa de decisions que combinin el judici humà amb el suport algorítmic amb la finalitat de prevenir l'ús indegut i la dependència excessiva.