Zwei Masterarbeiten im Studiengang Applied Data Science untersuchen, wie KI-Modelle trainiert und eingesetzt werden können, um Literaturangaben in wissenschaftlichen Texten inhaltlich zu überprüfen.
Künstliche Intelligenz verändert derzeit viele Bereiche des wissenschaftlichen Arbeitens. Sprachmodelle unterstützen beim Recherchieren, Strukturieren, Zusammenfassen und Formulieren von Texten. Gleichzeitig rückt dadurch eine Frage noch stärker in den Mittelpunkt, die für wissenschaftliches Arbeiten grundlegend ist: Stimmen die Quellen eigentlich?
Dabei geht es nicht nur um formale Zitierregeln oder ein ordentliches Literaturverzeichnis. Entscheidend ist, ob eine zitierte Quelle die Aussage im Text tatsächlich inhaltlich stützt. Falschzitate sind daher kein bloßes handwerkliches Problem. Sie können dazu führen, dass Aussagen wissenschaftlicher wirken, als sie tatsächlich belegt sind. Damit berühren sie unmittelbar die wissenschaftliche Integrität, die Nachvollziehbarkeit von Argumenten und letztlich auch die Glaubwürdigkeit von Wissenschaft.
Gerade im Zeitalter generativer KI gewinnt diese Frage weiter an Bedeutung. Wenn Texte mit Unterstützung von Sprachmodellen entstehen, können Quellenbezüge plausibel aussehen, obwohl sie inhaltlich nicht tragen. Umso wichtiger bleibt es, Literaturangaben nicht nur formal, sondern auch inhaltlich zu prüfen: Was steht tatsächlich in der Quelle? Wird die zitierte Aussage dort wirklich gestützt? Oder wird die Quelle nur scheinbar als Beleg verwendet?
Mit dieser Frage haben sich zwei Masterarbeiten im Studiengang Applied Data Science an der NORDAKADEMIE beschäftigt. Die Arbeiten entstanden im Rahmen eines von Prof. Dr. Arne Ewald initiierten und betreuten Projekts. Im Mittelpunkt stand die Frage, ob und wie KI-Modelle dabei helfen können, wissenschaftliche Textpassagen semantisch ihren Quellen zuzuordnen und fehlerhafte Literaturbezüge zu erkennen. Dabei ging es ausdrücklich nicht nur darum, ein vorhandenes KI-Werkzeug auszuprobieren. Die Arbeiten umfassten den Aufbau eines Datensatzes, die systematische Evaluation verschiedener Modellansätze und in der zweiten Arbeit auch das gezielte Nachtrainieren vortrainierter Sprachmodelle für eine konkrete wissenschaftliche Aufgabe.
Die erste Masterarbeit untersuchte, wie gut verfügbare Large Language Models in der Lage sind, wissenschaftliche Literaturangaben inhaltlich zu überprüfen. Dazu musste zunächst eine geeignete Datengrundlage geschaffen werden. Denn während es zahlreiche Werkzeuge gibt, die formale Aspekte von Literaturangaben prüfen können, ist die automatische Bewertung der inhaltlichen Korrektheit deutlich schwieriger: Ein Modell muss nicht nur erkennen, ob eine Quelle existiert oder korrekt zitiert wurde, sondern ob die Aussage im Text tatsächlich durch diese Quelle gedeckt ist.
Für die Evaluation wurde daher ein annotierter Datensatz aufgebaut. Er enthält wissenschaftliche Textpassagen mit den zugehörigen Quellen sowie eine Kennzeichnung, ob der jeweilige Quellenbezug inhaltlich korrekt oder inkorrekt ist. Anschließend wurden unterschiedliche Ansätze zur automatischen Prüfung getestet, darunter große Sprachmodelle und ein Verfahren aus dem Bereich Natural Language Inference. Dabei zeigte sich: Die Aufgabe ist anspruchsvoll. Einzelne Modellkonfigurationen lieferten vielversprechende Ergebnisse, eine allgemein zuverlässige automatische Prüfung ließ sich jedoch noch nicht erreichen.
Genau hier setzte die zweite Masterarbeit an. Während in der ersten Arbeit vor allem existierende generative Sprachmodelle (das „G“ in ChatGPT steht für „Generative“) zur Evaluation untersucht wurden, konzentrierte sich die zweite Arbeit auf vortrainierte Sprachmodelle der BERT-Familie, insbesondere BERT und SciBERT. Diese Modelle wurden nicht nur eingesetzt, sondern gezielt für die Aufgabe angepasst. Durch sogenanntes Fine-Tuning lernen vortrainierte Modelle anhand spezifischer Trainingsdaten, eine bestimmte Aufgabe besser zu lösen, in diesem Fall die semantische Zuordnung wissenschaftlicher Textpassagen zu ihren Quellen.
Untersucht wurden dabei mehrere technische Fragen: Welche Modellarchitektur eignet sich besser für wissenschaftliche Texte? Wie geht man mit langen Quellentexten um, die nicht vollständig in ein Modell passen? Helfen Verfahren wie Chunking und Re-Ranking, also das Zerlegen und anschließende Sortieren relevanter Textabschnitte? Und ist es notwendig, ein komplettes Modell neu zu trainieren, oder reichen ressourcenschonendere Varianten aus?
Die Ergebnisse zeigen ein differenziertes Bild. Fine-Tuning kann die Leistung der Modelle deutlich verbessern, insbesondere wenn es darum geht, klar falsche oder thematisch unpassende Quellenbezüge zu erkennen. Auch die gezielte Auswahl relevanter Textabschnitte kann helfen, Informationsverluste bei langen wissenschaftlichen Quellen zu reduzieren. Gleichzeitig wurde deutlich, dass die Aufgabe nicht für alle Fehlertypen gleichermaßen gut lösbar ist. Besonders schwierig bleiben Fälle, in denen eine Quelle thematisch ähnlich ist, die Aussage im Text aber nur subtil verfälscht oder nicht vollständig gedeckt wird.
Damit liefern die beiden Arbeiten keine fertige „Knopfdrucklösung“ für die automatische Quellenprüfung und verdeutlichen die Komplexität des Problems. Sie zeigen zusätzlich, wie aktuelle KI-Forschung an der NORDAKADEMIE aussieht: Es werden Datensätze aufgebaut, Modelle evaluiert, vortrainierte Sprachmodelle angepasst und die Grenzen automatischer Verfahren systematisch untersucht. Gerade diese wissenschaftliche Herangehensweise und nüchterne Einordnung ist wichtig. KI kann wissenschaftliches Arbeiten unterstützen, sie ersetzt aber nicht die fachliche Prüfung, kritische Bewertung und Verantwortung von Forschenden, Lehrenden oder Gutachtenden.
Die beiden Arbeiten haben damit auch eine wichtige Botschaft für Studierende: Wissenschaftliches Zitieren bedeutet mehr als das Einhalten eines Zitierstils. Wer eine Quelle angibt, übernimmt Verantwortung dafür, dass diese Quelle die eigene Aussage tatsächlich trägt. Eine nicht überprüfte oder falsch verwendete Literaturangabe ist daher weit mehr als ein formaler Fehler. Sie kann die Nachvollziehbarkeit der Argumentation untergraben und das Vertrauen in die gesamte Arbeit beschädigen. Wenn Aussagen nicht durch die angegebenen Quellen gedeckt sind, steht nicht nur eine einzelne Fußnote infrage, sondern die wissenschaftliche Verlässlichkeit des Textes insgesamt. Für Studierende kann dies auch erhebliche Auswirkungen auf die Bewertung einer Arbeit haben.
Für die Hochschule sind die Arbeiten zugleich ein Beispiel dafür, wie Masterarbeiten im Studiengang Applied Data Science aktuelle technologische Entwicklungen aufgreifen und in eigenständige Forschung übersetzen. Die Studierenden haben nicht nur bestehende KI-Systeme angewendet, sondern sich mit deren methodischen Grundlagen, Trainingsstrategien, Datenanforderungen und Grenzen auseinandergesetzt.
Die Forschung zur automatischen inhaltlichen Überprüfung wissenschaftlicher Literaturangaben steht damit weiterhin am Anfang. Gleichzeitig ist wichtig: Die Grenzen automatischer Verfahren sind kein Argument gegen sorgfältiges wissenschaftliches Arbeiten, sondern gerade ein Grund dafür. Zwar gibt es bereits kommerzielle Systeme und andere Forschungsansätze, die Literatur- und Zitationsprüfungen unterstützen. Doch auch solche Werkzeuge liefern Hinweise, keine abschließende Verantwortung. Ob eine Quelle eine Aussage tatsächlich trägt, muss weiterhin im Detail fachlich geprüft werden, insbesondere von denjenigen, die den Text verfassen.
Die beiden Arbeiten leisten einen wichtigen Beitrag, um besser zu verstehen, wo KI-Modelle bereits unterstützen können und wo weiterer Forschungsbedarf besteht. Für die NORDAKADEMIE zeigt das Projekt zugleich, dass Künstliche Intelligenz nicht nur Thema der Lehre ist, sondern auch Gegenstand angewandter Forschung an der Hochschule.
