Adaptive Scheduling of Dynamic Workflows

Wissenschaftliche Workflows ermöglichen die Analyse großer Datensätze in Bereichen wie Bioinformatik, Fernerkundung, Astronomie und Physik. Moderne Scientific Workflow Management Systeme (SWMS) erleichtern die portable und wiederverwendbare Ausführung solcher Workflows auf HPC-Systemen, in Clouds oder Institutsclustern. Diese Infrastrukturunabhängigkeit erschwert gezielte Optimierungen für konkrete Datensätze und Cluster. Häufig werden Ressourcen überprovisioniert, was zu suboptimalem Scheduling und langen Laufzeiten führt. Diese Arbeit identifiziert vier zentrale Engpässe: Erstens fehlen dem Scheduler relevante Workflow-Metadaten, wodurch suboptimales Scheduling entsteht. Zweitens variiert die Netzwerkleistung zwischen Clustern, sodass Workflows auf manchen Systemen unter I/O-Engpässen leiden. Drittens wird der Arbeitsspeicherbedarf einzelner Tasks oft überschätzt, weil Anforderungen für unterschiedliche Datensätze gelten und schwanken können. Viertens wird auch CPU-Leistung häufig überprovisioniert, da eine durchgehende Auslastung aller Threads angenommen wird. Zur Lösung dieser Probleme wird eine Schnittstelle zwischen SWMS und Ressourcenmanager entwickelt. Sie überträgt Workflow-Informationen an den Ressourcenmanager und ermöglicht eine automatische Anpassung der Ausführung an die jeweilige Infrastruktur. Darauf aufbauend entwickelt die Arbeit adaptive Optimierungsstrategien. Ein datenbewusster Scheduling-Ansatz berücksichtigt Workflow-Struktur und Datentransfer zwischen Tasks und nutzt spekulative Kopien, um Daten und Tasks besser auf mehrere Knoten zu verteilen. Ein weiterer Ansatz bestimmt den Arbeitsspeicherbedarf von Tasks online, um den Durchsatz auf speicherlimitierten Clustern zu erhöhen. Abschließend werden diese Strategien kombiniert und um eine dynamische CPU-Dimensionierung erweitert. Die Evaluation mit einem Nextflow-Prototyp und realen Workflows zeigt eine Reduktion der Workflow-Laufzeiten um bis zu 67,4 % auf modernen Institutsclustern.