Towards randomness-free reservoir-predictors with application to chaotic dynamics

In dieser Arbeit soll die Eignung des Reservoir Computing (RC) für Zeitreihenvorhersage untersucht werden. Hierbei ist der Fokus der Arbeit auf dynamische Systeme ausgerichtet, insbesondere im Hinblick auf die schwer vorherzusagenden Fälle von Chaotizität und Turbulenz. Wir präsentieren den Standardfall des RC sowie darauf aufbauende Ansätze der jüngeren Literatur und etablierte Ansätze aus dem Feld des Machine Learning. Für die Repräsentation von RC als Echo State Networks (ESN) diskutieren wir die Auswirkung der Parameterwahl, präsentieren ein Richtlinien für jene und zeigen damit eine Reduktion des Fehlers von bis zu 99.8% gegenüber einer, nach unserer Ansicht, gut gewählten Startkonfiguration. Wir zeigen des Weiteren eine Reduktion der Abweichung der Ergebnisse zwischen mehreren Initialisierungen der Netzwerke. Der Ansatz des RC macht einen Umgang mit der Abhängigkeit der Initialisierungen der fixen Gewichte notwendig, insbesondere bezüglich der Abhängigkeit von der jeweiligen Aufgabe. Eine Methode hierfür ist eine Anpassung der Topologie des Zufallsgraphen der ESNs. Hierfür vergleichen wir 16 Topologien der Fachliteratur, testen diese auf acht Zeitreihen unterschiedlicher Charakteristiken, für welche wir unsere Ergebnisse anschließend diskutieren. Wir beobachten eine Reduktion des Fehlers von bis zu 94.9% im Vergleich mit dem Standardfall des ESN und bis zu 97.1% verglichen mit dem voll trainierten Netzwerk Gated Recurrent Unit (GRU). Um das Problem Zufälligkeit der Initialisierung zu lösen schlagen wir eine neue Architektur vor, welche wir um weitere Ansätze aus der Literatur erweitern. Diese neue Methode kombiniert Logistic Maps mit dem Vorschlag einer neuen Aktivierungsfunktion. Verglichen mit dem Standardfall des ESNs beobachten wir eine Reduktion von bis zu 99.9% für nicht-chaotische Varianten Approximation der Mackey-Glass-Gleichung und bis zu 87.1% für chaotische Varianten. Der Fehler des als Vergleich trainierten GRU wird um bis zu 95.7% reduziert. Sehr komplexe und realitätsnahe Anwendungsszenarien bestehen häufig aus Datensätzen mit zu hoher Dimensionalität für die zuvor berichteten Methoden, weshalb ein Autoencoder Anwendung findet die Dimensionalität solcher Datensätze zu reduzieren. In Kombination mit den zuvor vorgeschlagenen Methoden ermöglicht uns dies eine Ausdehnung des Anwendungsszenarios auf turbulente Strömungen. Für diese Szenarien zeigen wir eine Reduktion des Fehlers um bis zu 87.3% gegenüber den getesteten, etablierten Methoden. Insgesamt präsentieren wir eine neue Architektur, welche das Training eines Neuronalen Netzes auf einen Rechenschritt reduziert, dabei vollständig deterministisch ist und gegenüber gegenwärtig genutzten Netzwerken eine Reduktion der Laufzeit wie auch des Fehlers bietet.