Advances in Statistical Machine Learning: Nonparametrics, Implicit Regularization, and In-Context Learning

Diese Dissertation untersucht die Schnittstelle zwischen maschinellem Lernen und nichtparametrischer Statistik, mit einem Schwerpunkt auf Interpretierbarkeit und impliziter Regularisierung. Kapitel 2 entwickelt einen nichtparametrischen Ansatz für Shapley-Werte als Maß für die Wichtigkeit von Kovariablen. Für zwei verschiedene Schätzer beweisen wir minimax-optimale Konvergenzraten sowie asymptotische Normalität. Schließlich leiten wir ein Wild-Bootstrap-Verfahren für die Inferenz in endlichen Stichproben her und beweisen dessen Konsistenz. Kapitel 3 entwickelt Early-Stopping-Regeln für Regressionsbaum-Schätzer. Durch den iterativen Aufbau des Baumes und die Überwachung der globalen Residuen-Norm erhalten wir eine vollständig datengetriebene Stoppregel. Wir leiten Orakel-Ungleichungen her, ohne Glattheitsannahmen an die Regressionsfunktion zu stellen. Kapitel 4 ergänzt das vorhergehende Kapitel um eine Übersicht der zugrunde liegenden Theorie von Early Stopping, was auch als implizite Regularisierung angesehen werden kann. Es stellt das Python-Paket EarlyStopping vor, eine Toolbox sequenzieller Early-Stopping-Regeln für verschiedene iterative Schätzverfahren. Kapitel 5 stellt KernelICL vor, einen Ansatz, der tabellarische Foundation-Modelle um eine quantifizierbare Interpretierbarkeit von Vorhersagen erweitert. Wir integrieren Kernglättung in den Einbettungsraum des Foundation-Modells. Auf verschiedenen Benchmark-Datensätzen der binären Klassifikation erzielt KernelICL eine Vorhersagegüte vergleichbar mit bestehenden tabellarischen Foundation-Modellen. In Kapitel 6 wenden wir Methoden der nichtparametrischen und funktionalen Datenanalyse an, um Risikoprämien im Bitcoin-Markt zu untersuchen. Unter Verwendung optionsimplizierter risikoneutraler Dichtefunktionen und eines neuen funktionalen Clustering-Algorithmus identifizieren wir zwei verschiedene Marktvolatilitätsregime mit deutlich unterschiedlichen Risikoprämien.