[SS 25] Forschungspraktikum DB-Anwendungsentwicklung

Im Rahmen dieses Praktikums entwickeln die Studierenden einen Benchmark, bei dem verschiedene Uncertainty-Methoden auf unterschiedlichen Tasks und LLMs (Sprachmodellen) evaluiert werden. Dabei erarbeiten sie ein flexibles und robustes Evaluationsframework, das sich an veränderte Anforderungen anpassen lässt. Uncertainty beschreibt den Grad an Unsicherheit in den Vorhersagen von Machine Learning-Modellen. Die Methoden zur Quantifizierung von Uncertainty reichen von probabilistischen Ansätzen – die direkt Wahrscheinlichkeiten modellieren – bis hin zu nicht-probabilistischen Techniken, die alternative Strategien zur Erfassung und Bewertung von Unsicherheiten einsetzen. Ziel des Kurses ist es, theoretische Konzepte mit praxisnahen Anwendungen zu verbinden und so robuste Evaluationsstrategien für moderne LLMs zu entwickeln.

Weitere Informationen werden hier bald veröffentlicht.