An der NORDAKADEMIE betreiben wir nicht nur Lehre zu Künstlicher Intelligenz, sondern auch angewandte KI-Forschung, unter anderem im Bereich großer Sprachmodelle (Large Language Models, LLMs). Ein aktuelles Ergebnis ist die Veröffentlichung des Papers „Benchmarking Large Language Models for Clinical Data Retrieval via FHIR: A Prompt-and-Feedback Baseline for Tool-Augmented Agentic Systems“ (Johannes Schmidt, Prof. Dr. Arne Ewald) in den Proceedings der Konferenz AISED 2025 (The First International Conference on AI-based Software Engineering for Digital Services).
Worum geht es – und was ist daran spannend?
In Kliniken liegen wichtige Informationen häufig in vielen Systemen und Formaten vor. Damit Daten zwischen Systemen verlässlich genutzt werden können, werden Interoperabilitätsstandards eingesetzt. Einer der wichtigsten Standards ist FHIR (Fast Healthcare Interoperability Resources): vereinfacht gesagt ein gemeinsames Datenformat plus standardisierte Schnittstellen, mit denen klinische Daten strukturiert gespeichert und abgefragt werden können.
Die Vision hinter dem Paper:
Ärzt:innen und klinische Teams sollen perspektivisch in natürlicher Sprache Informationen aus klinischen Datenbeständen abrufen können, zum Beispiel direkt am Patientenbett, um schnell Patient:innen mit ähnlichen Pathologien, passenden Laborverläufen oder vergleichbaren Befunden zu finden. Damit das funktioniert, muss ein System natürlichsprachige Fragen zuverlässig in korrekte, strukturierte Abfragen übersetzen – und zwar so, dass nicht nur die Form stimmt (Syntax), sondern auch die inhaltliche Bedeutung (Semantik).
Was zeigt das Paper?
Im Paper wird systematisch untersucht, wie gut verschiedene LLMs natürlichsprachige Fragen in FHIR-konforme Abfragen übersetzen können. Der Beitrag beschreibt dafür einen klaren, reproduzierbaren Benchmark – inklusive Prompt-Varianten und einfachen Feedback-Schleifen, bei denen das Modell aus Fehlermeldungen lernt und die Abfrage iterativ verbessert. Ergebnis: Formal korrekte Abfragen sind häufig schon gut erreichbar und werden durch Feedback deutlich stabiler; die inhaltliche Korrektheit bleibt anspruchsvoller (z. B. bei medizinischen Codes, Datumslogik oder lokalen Konventionen).
Warum ist das für die Community wichtig?
Gerade weil sich das Feld schnell Richtung Retrieval-Augmented Generation (RAG) und agentischer Systeme entwickelt, braucht es belastbare Baselines: ein Ausgangsniveau, gegen das neue, tool-augmentierte Ansätze fair verglichen werden können. Genau hier setzt die Arbeit an: Sie liefert eine prompt- und feedback-zentrierte Baseline, auf der weitere Forschung aufbauen kann – etwa durch RAG, Terminology Services oder agentische Reparaturmechanismen.
Erstautor Johannes Schmidt ist Alumni der NORDAKADEMIE und hat den Abschluss M.Sc. Wirtschaftsinformatik erworben. Die Veröffentlichung ist aus seiner Abschlussarbeit hervorgegangen und zeigt exemplarisch, wie Studierendenprojekte bei uns in publizierbare KI-Forschung münden können, hier im Bereich großer Sprachmodelle und natürlicher, zuverlässiger Datenabfragen in klinischen Systemen.
Prof. Dr. Arne Ewald: „Mich freut besonders, dass wir an der NORDAKADEMIE KI nicht nur lehren und anwenden, sondern methodisch sauber evaluieren, weiterentwickeln und auch publizieren. Die Baseline ist bewusst so formuliert, dass andere Forschende direkt darauf aufsetzen und neue RAG- oder Agentensysteme daran benchmarken können.“
Fotos: Johannes Schmidt (Alumni, M.Sc. Wirtschaftsinformatik) und Prof. Dr. Arne Ewald: KI-Forschung an der NORDAKADEMIE, große Sprachmodelle für Abfragen klinischer Daten in natürlicher Sprache (AISED 2025).