Leveraging Generalist and Foundation Models for Effective Biomedical Image Segmentation

Biomedizinisches Deep Learning wird oft durch Datenknappheit und Domänenverschiebungen eingeschränkt. Diese Monographie untersucht die Nutzung vortrainierter Modelle, um diese Herausforderungen anzugehen, und präsentiert drei Beiträge. Zuerst demonstriert die PEERCE-Pipeline den praktischen Wert dieses Ansatzes durch die Kombination feinabgestimmter Netzwerke mit einem Generalistenmodell (Cellpose) zur Vorhersage des PD-L1-Scores beim Angiosarkom. Obwohl erfolgreich, verdeutlicht PEERCE die Notwendigkeit sorgfältiger Vorverarbeitung für Cellpose und erfordert weiterhin annotierte Daten für andere Komponenten. Diese Limitation motiviert den zweiten Beitrag, SelfAdapt, ein Framework für unüberwachte Domänenadaption. SelfAdapt ermöglicht die annotationsfreie Anpassung von Generalistenmodellen wie Cellpose an neue Zieldomänen mittels Student-Teacher-Ansatz, L2-SP-Regularisierung und annotationsfreien Abbruchkriterien. Es verbessert die Performanz auf der Zieldomäne signifikant und macht leistungsstarke Werkzeuge zugänglicher. Der Erfolg bei der Anpassung wirft die Frage auf, ob größere Foundation Models (FMs) inhärent überlegene, übertragbare Merkmale bieten. Folglich evaluiert der dritte Beitrag, PhenoBench, systematisch aktuelle Pathologie-FMs für komplexe Zellphänotypisierung. Mit dem granularen PhenoCell-Datensatz bewertet dieser Benchmark Merkmalsqualität und Generalisierungsfähigkeit von FMs über technische und medizinische Domänenverschiebungen hinweg. PhenoBench zeigt, dass FMs zwar Vorteile bei Datenknappheit bieten, aber keine Universallösung sind und spezifische Empfindlichkeiten aufweisen. Zusammen ergeben diese Beiträge eine kohärente Untersuchung, die von praktischer Anwendung und methodischer Verbesserung von Generalistenmodellen bis zur kritischen Bewertung von Foundation Models reicht und ein Toolkit für die dateneffiziente biomedizinische Bildanalyse bietet.