Resource Conflict Handling in Computing Continuum using Deep Reinforcement Learning

Diese Arbeit untersucht eingehend Mechanismen zur Konfliktbewältigung in der ressourcenorientierten Orchestrierung innerhalb von Computing-Continuum-Umgebungen und schlägt eine Lösung für den Umgang mit Konflikten zwischen Ressourcenverwaltungsagenten vor. Diese Agenten sind dafür verantwortlich, Ressourcenanfragen zu bearbeiten und Ressourcen verschiedenen Deployments zuzuweisen, um eine optimale Leistung zu erzielen. Bei widersprüchlichen Anfragen geraten die Agenten jedoch in einen Konfliktzustand, was zu einer Endlosschleife von Änderungen in der Ressourcenverteilung und zu einer Verschlechterung der Leistung der betroffenen Dienste führen kann. Ziel dieser Arbeit ist es, solche Konflikte mithilfe eines Deep-Reinforcement-Learning (DRL) Modells zu entschärfen. Durch die Integration von neuronalen Netzwerken und adaptiven Reinforcement-Learning-Techniken soll die Effizienz und Stabilität des Ressourcenmanagements in der Cloud bei Ressourcenkonflikten verbessert werden.Der Hauptbeitrag dieser Arbeit ist ein Framework, das als Blaupause für die Erstellung einer Simulationsumgebung dient, in der Ressourcenkonflikte unter Einhaltung der Kriterien des Computing Continuums gezielt ausgelöst werden können. Neben dem vorgeschlagenen Ressourcenmanagementsystem enthält dieses Framework auch ein DRL-System, das mit dem Ressourcenmanagementsystem kommuniziert, um die am besten geeigneten Optimierungsschritte für Dienste vorzuschlagen, die sich andernfalls in einem Konfliktzustand befinden würden. Der Reinforcement-Learning-Aspekt dieses Systems basiert auf der Kommunikation zwischen den Komponenten des vorgeschlagenen Frameworks. Da das System leistungs- und latenzbewusst ist, kann eine Watcher-Komponente dem DRL-Modell Rückmeldung geben, falls sich die Leistung der Dienste nach Anwendung der Entscheidung des neuronalen Netzwerks verschlechtert. Mit dieser Funktionalität kann das DRL-Modell sich auf Basis früherer Erfahrungen verbessern.Mehrere Komponententests und Benchmarks des implementierten Frameworks zeigen, dass es erfolgreich Konflikte zwischen widersprüchlichen Agenten erkennen und Ressourcenquoten auf gesamte Nodes anwenden kann – meist ohne dabei Leistungseinbußen zu verursachen. Im Fall von Performance-Degradierung korrigiert sich das DRL-System entsprechend, um Dienste mit unterschiedlichen Schwellenwerten und Ressourcenanforderungen differenziert zu behandeln.Die Ergebnisse der Arbeit zeigen, dass es möglich ist, ein Framework zu entwickeln, das Konflikte zwischen Ressourcenverwaltungsagenten in einer cloudbasierten Umgebung erzeugt und diese mithilfe eines DRL-Systems löst. Dies impliziert, dass sich Ressourcen auf einem Node in einer leistungsbewussten und selbstkorrigierenden Ressourcenverwaltungsumgebung um eine festgelegte Quote reduzieren lassen.