Can't Get You out of My Head: Memorization in Diffusion Models

Diffusionsmodelle haben sich als zentrale Methode der Bildsynthese etabliert. Sie erzeugen hochrealistische Ergebnisse, werfen jedoch auch Bedenken hinsichtlich der Memorization auf – also des Phänomens, bei dem ein Modell Teile seiner Trainingsdaten repliziert, anstatt genuin neue Inhalte zu generieren. Diese Arbeit untersucht die Memorization in Denoising Diffusion Probabilistic Models (DDPMs), um zu verstehen, wann sie auftritt, wie sie erkannt werden kann und welche Dateneigenschaften sie beeinflussen. Zu diesem Zweck wurden Modelle auf Datensätzen unterschiedlicher Größe und Komplexität feinabgestimmt, um zu analysieren, wie Datensatzcharakteristika und der Trainingsfortschritt das Replikationsverhalten beeinflussen.Es wurde eine Reihe von Erkennungsmethoden untersucht – von abstandsbasierten Nearest-Neighbor-Metriken und nichtparametrischen Data-Copying-Tests bis hin zu diffusionsspezifischen Indikatoren, die aus den Inferenzdynamiken abgeleitet werden. Die Ergebnisse zeigen, dass gängige Evaluationsmetriken wie Fréchet Inception Distance und Inception Score diese Effekte nicht erfassen. Im Gegensatz dazu erwiesen sich diffusionsspezifische Maße, etwa die Größe der Denoising-Aktualisierungen und der gepaarte Seed-Test, als deutlich aussagekräftiger zur Identifikation von Memorisation. Darüber hinaus zeigt die Analyse, dass Ausreißerbilder besonders anfällig für Replikation sind, wodurch der Zusammenhang zwischen Dateneinzigartigkeit und Privatsphäre verdeutlicht wird. Das Einführen zusätzlicher Ausreißer verringert diesen Effekt und deutet darauf hin, dass die Modellkapazität gezielt genutzt werden kann, um Memorisation zu begrenzen.Insgesamt liefert diese Arbeit eine systematische Untersuchung der Memorisation in Diffusionsmodellen und bietet Einblicke in ihre Mechanismen, ihre Bewertung sowie ihre Bedeutung für die Generalisierung solcher Modelle.