Feedback vom Sprachmodell

ChatGPT demonstriert gerade eindrucksvoll, was mit künstlicher Intelligenz möglich ist. Aber es zeigt auch, dass die Menschheit damit vor neuen Herausforderungen steht: etwa, wenn die KI fehlerhafte oder diskriminierende Texte erzeugt.

ChatGPT basiert auf einem so genannten Sprachmodell, das auf Basis von Milliarden von Texten gelernt hat, welche Wörter am besten in einem gegebenen Kontext gesagt oder geschrieben werden können. Solche Sprachmodelle stehen im Mittelpunkt der aktuellen Forschung an Natural Language Processing, der maschinellen Analyse und Generierung natürlicher Sprache.

Am Institut für Künstliche Intelligenz der Leibniz Universität Hannover erforscht L3S-Mitglied Prof. Dr. Henning Wachsmuth mit seiner Arbeitsgruppe, wie Sprachmodelle so gestaltet werden können, dass sie ihre Stärken in der freien Textformulierung nutzen, ohne dabei faktisch oder ethisch fragwürdige Informationen zu produzieren. „Sprachmodelle lassen sich so trainieren, dass die von ihnen erzeugten Texte vorgegebene Bedingungen erfüllen“, sagt Wachsmuth. Dadurch kann zum Beispiel erreicht werden, dass Informationen in den meisten Fällen korrekt und zugleich zielgruppengerecht vermittelt werden. „So können wir Menschen in ihrem Alltag unterstützen, behalten aber die Kontrolle darüber, was die KI im Hintergrund eigentlich tut“, so Wachsmuth.

Ein Beispiel ist das interdisziplinäre Projekt ArgSchool, das die Deutsche Forschungsgemeinschaft seit Ende 2021 fördert. Am L3S untersucht Maja Stahl unter Leitung von Wachsmuth und der Sprachdidaktik-Professorin Sara Rezat von der Universität Paderborn, wie künstliche Intelligenz Schüler dabei unterstützen kann, argumentatives Schreiben zu erlernen. „Argumentatives Schreiben ist ein zentraler Bestandteil der schulischen Bildung und erfordert zeitgemäße und durchdachte Lernformen, welche auf die Herausforderungen dieser Aufgabe abgestimmt sind“, erläutert Wachsmuth.

An der Universität Paderborn haben Rezats Mitarbeiter zunächst rund 1200 argumentative Texte von Schülern der fünften und neunten Klasse händisch aufbereitet, auf deren Basis am L3S nun spezialisierte Sprachmodelle trainiert werden. „Ziel unserer Forschung ist es, KI-Verfahren zu entwickeln, die argumentative Texte automatisch analysieren und Schüler*innen Feedback zu gelungenen und verbesserungswürdigen Aspekten geben können“, sagt Stahl. Dabei bewerten und berücksichtigen die Verfahren den Entwicklungsstand der einzelnen Schüler, um das Feedback besser individualisieren zu können und niemanden zu überfordern.

Im Fokus des Projektes liegt auch ein Qualitätsmerkmal argumentativer Texte, nämlich die kritische Auseinandersetzung mit Gegenpositionen. Viele Schüler haben damit Schwierigkeiten. Automatisch generiertes Feedback kann sie auf fehlende Gegenpositionen hinweisen und auch Textstellen vorschlagen, wo diese ergänzt werden können. So werden Schüler angeregt, andere Standpunkte in Betracht zu ziehen und ihre eigene Meinung kritisch zu hinterfragen.

Trotz all der Möglichkeiten, die das individualisierte Feedback bietet, sind sich die Wissenschaftler auch der Grenzen von KI bewusst, gerade beim Einsatz in der Schulbildung. „Wir können die Güte der zugrunde liegenden Sprachmodelle messen und optimieren“, sagt Stahl. „Da Sprachmodelle statistische Muster aus bekannten Zusammenhängen auf neue übertragen, werden sie nie ganz fehlerfrei funktionieren. Es ist daher auch wichtig, dass Schüler*innen lernen, das Feedback zu hinterfragen“. Wachsmuth sieht dies als generelle Herausforderung unserer Zeit: „KI birgt großes Potenzial, aber auch große Risiken. Je tiefer KI in unsere Gesellschaft vordringt, desto wichtiger ist es, alle Menschen im Umgang mit ihr zu schulen. Nicht zuletzt ChatGPT führt uns dies vor Augen.“