Latent-structure modelling of complex systems considering non-Markovian dynamics, nonlinearities, and irrelevant information

Moderne technische Systeme, wie z. B. chemische Anlagen oder Energieversorgungsnetze, weisen eine hohe Komplexität auf, die durch, nichtlineare Wechselwirkungen, Dynamik auf verschiedenen Zeitskalen, hierarchische Organisation und emergente Verhaltensweisen gekennzeichnet sind. Diese Komplexität weist auch natürliche Prozesse, wie z. B. Klimaphänomene. Um diese komplexen Systeme zu verstehen, zielt die Modellierung mit latenten Strukturen darauf ab, die zugrunde liegenden Strukturen und Mechanismen, die das Systemverhalten steuern, mithilfe latenter Muster und Variablen aufzudecken, die möglicherweise nicht direkt messbar sind. Modellierung mit latenten Strukturen kann umfassendere, systemweite Mechanismen entwickeln als reduktionistische Methoden, die ein System in isolierte Komponenten aufteilen und Wechselwirkungen zwischen ihnen ignorieren. Dennoch bestehen kritische Lücken und Herausforderungen in den bestehenden Methoden der Modellierung mit latenten Strukturen. Diese Arbeit befasst sich mit den Herausforderungen nicht-Markoffscher Dynamiken, Nichtlinearitäten und irrelevanter Informationen in Modellierung mit latenten Strukturen aus zeitlicher, struktureller und informativer Perspektive. Dazu wird, eine Langzeitabhängigkeit Analyse langsamer Merkmale (eng: long-term-dependency slow-feature analysis, LTSFA) vorzuschlagen, um nicht-Markoffsche Dynamiken explizit zu modellieren. LTSFA erweitert den autoregressiven Prozess erster Ordnung der Analyse langsamer Merkmale (eng: slow-feature analysis, SFA) zu einem autoregressiven Modell höherer Ordnung im latenten Raum. Die Modellparameter werden mithilfe eines angepassten Algorithmus mit garantierter Konvergenz geschätzt. Die resultierenden Modelle werden hinsichtlich ihrer Eigenschaften mit anderen Modellen verglichen. Der zweite Abschnitt dieser Arbeit befasst sich mit der Modellierung nichtlinearer Systeme mithilfe des neuen unüberwachten Lernprinzips EVOLVE·INFOMAX, das als Maximierung der während des Systementwicklungsprozesses erhaltenen Information definiert wird. Dies umfasst die Untersuchung der Eigenschaften von EVOLVE·INFOMAX, einschließlich Rauschunterdrückung, nichtlinearem dynamischen Verhalten, Informationsextraktion, Optimalität und der Existenz einer Lösung. Das dritte Ziel ist die Analyse zur Entfernung irrelevanter Informationen. Es wird gezeigt, dass irrelevanter Informationen die statistischen Eigenschaften der Parameterschätzungen sowie die gesamte Vorhersageleistung des Modells verschlechtern. Eine neue kompakte und parsimonische Methode für virtuelle Sensoren wird auf Basis der information bottleneck (IB) Theorie vorgeschlagen, die irrelevanter Informationen automatisch entfernt. Beispiele zeigen, dass die in dieser Arbeit vorgeschlagenen Methoden die Modellierungsleistung verbessern, in denen das System nicht-Markoffscher Dynamiken, Nichtlinearitäten und irrelevanter Informationen aufweist. Im Vergleich zu SFA ist LTSFA bei der dynamischen Modellierung sowohl hochfrequenter Oszillationsverhalten als auch langsam variierender Trends besser. Das für die Residuen von der LTSFA liegt lediglich in 3,2 % der Fälle außerhalb der 95 % Vertreuensgrenzen während dieser Werte beim für die Residuen von der SFA bei 40,4 % liegt. EVOLVE·INFOMAX extrahiert glattere Merkmale eines simulierten nichtlinearen Systems im Vergleich zu SFA. Der auf EVOLVE·INFOMAX basierende virtuelle Sensoren für einen Penicillin-Fermentationsprozess liefert Vorhersagen mit einem mittleren quadratischen Fehler (MSE) von 1,983, während der MSE des Baseline-Modells bei 17,876 liegt. Das Vorhersagemodell erweitert das Baseline-Modell mit einem Variationales-IB-Modul. Das Entfernen irrelevanter Informationen verbessert das Vorhersagemodell, sodass der R²-Wert sich von 55,6 % auf 80,9 % verbessert und der MSE von 0,039 auf 0,026 sinkt. Da LTSFA sowohl hochfrequente Oszillationen als auch langsam variierende Trends modellieren kann, ist es zukünftig nützlich, diese Eigenschaft zu nutzen, um LTSFA auf Anwendungen auszudehnen, bei denen sowohl langsame Trends als auch schnelle Oszillationen wichtig sind. Angesichts der Allgemeingültigkeit und Flexibilität von EVOLVE·INFOMAX bei der Modellierung nichtlinearer Systeme könnten weitere Arbeiten unterschiedliche Modellimplementierungen basierend auf diesem Prinzip unter verschiedenen Systemannahmen und Modellierungsanforderungen formulieren. Es wäre auch von theoretischem Interesse, analytische Lösungen für EVOLVE·INFOMAX zu verfolgen. Um zu verstehen, wie irrelevanter Informationen entfernt wird, ist es notwendig, den mathematischen Mechanismus des Kompromisses der IB-Theorie zu erforschen. Dies hilft auch, die Verbindung zu bekannten Methoden wie der Ridge-Regression aufzuzeigen.