Scalable and Modular Reinforcement Learning: Modern Frameworks and Applications in Robotics and Drug Discovery

El camp de l’aprenentatge per reforç (RL) ha evolucionat d’una activitat principalment acadèmica centrada en problemes simples i jocs, cap a un paradigma pràctic per abordar tasques de presa de decisions en el món real. Tanmateix, amb el ràpid creixement del camp, emergeixen nous reptes per als marcs de RL a l'hora de donar suport tant a la recerca com al desplegament. Aquesta tesi construeix un pont entre aquests dos mons mitjançant contribucions fonamentals a les eines i infraestructures modernes de RL. En primer lloc, investiguem les decisions arquitectòniques per a infraestructures distribuïdes de RL que permetin un entrenament escalable a través de diversos dominis i algoritmes. En segon lloc, desenvolupem TorchRL, un marc modular i escalable de RL dissenyat tant per a la recerca algorísmica com per a aplicacions del món real, oferint control de baix nivell i components composables dins de l’ecosistema PyTorch. A partir d’aquestes bases, demostrem la utilitat pràctica de les eines desenvolupades a través de dues aplicacions reals. BricksRL integra TorchRL amb robòtica LEGO de baix cost per democratitzar l'accés a l'experimentació física amb RL, mentre que ACEGEN utilitza TorchRL per al disseny molecular generatiu en la descoberta de fàrmacs. A més, presentem innovacions algorísmiques, com ara PPO+D, que milloren l'eficiència de mostreig i l'exploració en entorns amb recompenses escasses utilitzant dades mínimes de demostració. En conjunt, aquestes contribucions no només demostren la viabilitat d'aplicar RL modern en dominis reals complexos, sinó que també estableixen les bases per a futures investigacions i aplicacions que exigeixin modularitat, escalabilitat i adaptabilitat al domini.