Hybrid CPU-GPU Execution for Serverless AI: A Static and Dynamic Analysis Approach

Serverless Computing ist aufgrund seiner Skalierbarkeit, Einfachheit und Kosteneffizienz zu einem Eckpfeiler moderner Cloud-Infrastrukturen geworden. Gleichzeitig sind Workloads im Bereich der künstlichen Intelligenz zunehmend auf GPU-Beschleunigung angewiesen. Allerdings unterstützen bestehende Serverless-Plattformen GPUs nur selten automatisiert. Entwickler müssen weiterhin manuell entscheiden, ob eine Funktion auf einer CPU oder einer GPU ausgeführt werden soll. Dies widerspricht dem Grundprinzip des Serverless Computing, das darin besteht, Infrastrukturentscheidungen zu abstrahieren.Diese Arbeit stellt ein hybrides Framework vor, das statische Codeanalyse und dynamische Laufzeitüberwachung kombiniert, um eine adaptive CPU-GPU-Ausführung in “serverless” Umgebungen zu ermöglichen. Zum Zeitpunkt der Bereitstellung überprüft ein “Static Analyzer” Python-Funktionen mithilfe von abstrakten Syntaxbäumen (AST), um Rechenmuster, importierte Bibliotheken und Tensoroperationen zu identifizieren. Auf Grundlage dieser Ergebnisse wird bestimmt, ob GPU-Beschleunigung von Vorteil ist. Während der Laufzeit beobachtet ein “Dynamic-Reevaluator” Latenz- und Ressourcenverbrauchsmetriken. Wenn Leistungsschwellen überschritten werden oder sich die Eigenschaften der Workloads ändern, kann das System die Funktion automatisch zwischen CPU- und GPU-Ausführung migrieren.Ein Prototyp dieses Hybridsystems wurde auf Knative implementiert, einem Open-Source-Serverless-Framework, das auf Kubernetes basiert. Die Bewertung mit repräsentativen KI-Workloads, die von Matrixmultiplikation bis hin zur Inferenz mittels Sprachmodelle reichen, zeigt, dass der vorgeschlagene Ansatz die Leistung und Kosteneffizienz erheblich verbessern kann. Im adaptiven (AUTO) Modus wurden die Latenz um bis zu 70–80% und die Ausführungskosten um etwa 60–70% im Vergleich zu reinen CPU-Läufen reduziert, während unnötige GPU-Zuweisungen in leichtgewichtigen Szenarien vermieden wurden.Insgesamt zeigt diese Arbeit, dass die Integration von statischer und dynamischer Analyse in einem einheitlichen Framework die GPU-Beschleunigung in serverlosen Umgebungen zugänglicher und effizienter machen kann. Sie bildet die Grundlage für intelligentere, kostenbewusste Planungsmechanismen, die besser mit den Kernprinzipien des serverlosen Rechnens übereinstimmen.