Anschlussprojekte | Sonderprojekte

Förderbeginn 01.07.2024

Lokal interpretierbares Maschinelles Lernen mit Baum-Ensemble Methoden

Prof. Dr. Merle Behr
Universität Regensburg
Fakultät für Informatik & Data Science

Prof. Dr. Bin Yu
University of California, Berkeley
Department of Statistics


Das Ziel des Forschungsprojektes ist es, die Interpretierbarkeit von Maschinellem Lernen (ML), insbesondere von Baum-basierten Modellen wie Random Forests, zu verbessern. Während ML- und KI-Techniken, einschließlich Random Forests, hohe Vorhersagegenauigkeiten erzielen, werden sie aufgrund ihrer Komplexität oft als „Black Boxes“ betrachtet. Dies erschwert es, nachzuvollziehen, wie diese Vorhersagen zustande kommen. Ziel des Projekts ist es, Methoden zu entwickeln, die Erklärungen für diese Vorhersagen liefern. Dabei liegt der Fokus auf individuellen Datenpunkten und lokalen Feature-Interaktionen. Dieses Projekt ist besonders relevant für Anwendungen im Gesundheitswesen, wo patientenspezifische Erklärungen personalisierte Behandlungsstrategien unterstützen können.

Abschlussbericht

Aktivitäten

Im Rahmen der BaCaTeC-Förderung des Projekts „Local explainable machine learning from tree-ensembles“ wurde die wissenschaftliche Zusammenarbeit zwischen der Arbeitsgruppe von Prof. Behr (Universität Regensburg) und der Arbeitsgruppe von Prof. Bin Yu (University of California, Berkeley) erfolgreich ausgebaut.

Im Oktober 2024 absolvierte Dr. Kata Vuk einen dreiwöchigen Forschungsaufenthalt in Berkeley. Ziel dieses Aufenthalts war der Austausch zu methodischen Fragestellungen im Bereich der lokalen Interpretierbarkeit von Tree-Ensemble-Methoden. Im Fokus stand insbesondere die Erweiterung der Methode LSSFind [1] auf lokaler Ebene, wobei Prof. Yu substanzielle Impulse eingebracht hat.

Im Juni 2025 erfolgte der Gegenbesuch von Prof. Yu an der Universität Regensburg. Im Rahmen dieses Aufenthalts hielt sie einen wissenschaftlichen Fachvortrag und führte intensive Gespräche mit der Arbeitsgruppe von Prof. Behr. Die Diskussionen konzentrierten sich auf neue methodische Perspektiven im Bereich lokaler Erklärbarkeit. Zusätzlich hielt Prof. Yu eine Vorlesung für Studierende über Veridical Data Science [4].

Im Oktober 2025 besuchten zwei Doktoranden der Berkeley-Gruppe (Austin Zane und Zachary Thomas Rewolinski) die Universität Regensburg. Sie präsentierten ihre aktuellen Forschungsarbeiten zu lokalen Importance-Maßen [2] und beteiligten sich aktiv am wissenschaftlichen Austausch, wodurch die Kooperation auch auf Nachwuchsebene gestärkt wurde.


Ergebnisse und Ausblick

Die im Rahmen der Förderung durchgeführten Aktivitäten haben zu Fortschritten in der Entwicklung von Methoden zur lokalen Interpretierbarkeit von Machine-Learning- Modellen geführt. Insbesondere wurde die Methode Local LSSFind [3] konzeptionell und methodisch weiterentwickelt. Des Weiteren führten die Vorträge der Doktoranden aus Berkeley zu intensiven wissenschaftlichen Diskussionen und lieferten wichtige Impulse für die Masterarbeit von Alison Durst, die inzwischen als Doktorandin am Lehrstuhl Behr tätig ist.

Die Vorträge und geführten Fachgespräche haben auch zur Ideenfindung weiterführender gemeinsamer Projekte beigetragen. Ein zentraler zukünftiger Schwerpunkt liegt dabei auf einer Erweiterung von bisherigen Random Forest basierten Ansätzen auf andere baumbasierte Machine Learning Ansätze, wie zum Beispiel Bayesian Additive Regression Trees. Darüber hinaus ist vorgesehen, die erzielten Ergebnisse in gemeinsamen wissenschaftlichen Publikationen zusammenzuführen und die Kooperation langfristig fortzuführen.

Literatur

[1] Merle Behr, Yu Wang, Xiao Li, and Bin Yu. Provable boolean interaction recovery from tree ensemble obtained via random forests. Proceedings of the National Academy of Sciences, 119(22):e2118636119, 2022.

[2] Zhongyuan Liang, Zachary T Rewolinski, Abhineet Agarwal, Tiffany M Tang, and Bin Yu. Local mdi+: Local feature importances for tree-based models. arXiv preprint arXiv:2506.08928, 2025.

[3] Kata Vuk, Nicolas Alexander Ihlo, and Merle Behr. Provable recovery of locally important signed features and interactions from random forest. arXiv preprint ar- Xiv:2512.11081, 2025.

[4] Bin Yu and Rebecca L Barter. Veridical data science: The practice of responsible data analysis and decision making. MIT Press, 2024.