Reinforcement Learning applications for industrial environments

Aquesta tesi doctoral investiga l’ús de l’aprenentatge per reforç (RL) per al control dinàmic en entorns industrials, amb un enfocament en el Problema de Control del Premsat en Calent dins la indústria del conformament de metalls. Els enfocaments de control tradicionals són majoritàriament estàtics i reactius, cosa que limita el rendiment en contextos industrials cada vegada més dinàmics. El RL es presenta com una alternativa proactiva i adaptable, capaç d’optimitzar processos en temps real. La recerca avalua diversos mètodes de RL—programació dinàmica, RL tabular, RL profund i RL offline—en entorns deterministes i estocàstics, utilitzant simulacions, models substitutius i conjunts de dades offline. Els resultats demostren que el control basat en RL supera de manera consistent els mètodes tradicionals, especialment sota condicions estocàstiques. Per reduir la bretxa entre la simulació i la implementació en entorns reals, es proposa un enfocament híbrid d’entrenament que combina simulació i recollida de dades en entorns controlats. Així mateix, l’entrenament de RL offline amb dades obtingudes a partir de polítiques expertes dinàmiques i taxes d’exploració del 20–40 % resulta especialment eficaç. Tanmateix, persisteixen desafiaments relacionats amb la seguretat, la qualitat de les dades i la resistència organitzativa, els quals cal abordar per facilitar una adopció més àmplia del RL en entorns industrials.