Reinforcement Learning and Evaluation for Renal Replacement Therapy

Akutes Nierenversagen (Acute Kidney Injury, AKI) ist eine schwerwiegende Erkrankung, die bis zu 50% der Patienten auf der Intensivstation betrifft und häufig eine Nierenersatztherapie(RRT) erfordert, um lebensbedrohliche Komplikationen zu verhindern. Trotz klinischer Leitlinien bleibt die Entscheidungsfindung zur RRT hochvariabel, da sie stark auf der Intuition und Erfahrung der Ärzte basiert. Diese Variabilität kann zu suboptimalen Behandlungszeitpunkten, erhöhter Morbidität und ineffizienter Ressourcennutzung führen. Diese Arbeit untersucht die Anwendung von Reinforcement Learning (RL) zur Optimierung der RRT-Entscheidungsfindung in der Intensivmedizin. Dabei werden Patientendatenaus der MIMIC-IV-Datenbank genutzt, um verschiedene RL-Modelle zu entwickeln und zu evaluieren. Deep Q-Networks (DQN), Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C) und Distributional RL (C51) werden hinsichtlich ihrer Effektivität in der klinischen Entscheidungsfindung verglichen. Die Modelle wurden anhand ihrer Übereinstimmung mit den klinischen Entscheidungen sowie unter Berücksichtigung von Präzision, Recall, F1-Score, Trainingseffizienz und Interpretierbarkeit bewertet. Jedes der untersuchten Algorithmen zeigte dabei spezifische Eigenschaften, die unterschiedliche Abwägungen zwischen Exploration, Interventionsstrategien und der Modellierung von Unsicherheiten widerspiegeln. Anstatt einen einzelnen Ansatz hervorzuheben, unterstreicht die Evaluation die Vielfalt der Methoden des Reinforcement Learning im Umgang mit der Komplexität der Entscheidungsfindung bei RRT. Die SHAP-Analyse bestätigte, dass Kreatinin, Blut-Harnstoff-Stickstoff (BUN), der SOFA Score und die Flüssigkeitsbilanz die wichtigsten Faktoren für die RL-Entscheidungsfindung sind, was mit klinischen Best Practices übereinstimmt. Diese Arbeit liefert eine neue Benchmark für RL-gestützte RRT-Entscheidungssysteme und hebt sowohl die Vorteile als auch die Einschränkungen hervor. Zukünftige Forschungen sollten sich darauf konzentrieren, die klinische Ausrichtung der Modelle zu verbessern, die Erklärbarkeit zu erhöhen und eine Echtzeit-Integration mit klinischem Feedback zu ermöglichen. Die Erkenntnisse tragen zur Entwicklung und zum Überbrücken der Lücke zwischen datengesteuerter Intelligenz und menschlicher Expertise in der Intensivpflege bei.Code Reference: https://github.com/MimiSadikovikj/Master-Thesis-RL-RRT