Best L3S Publication of the Quarter (Q1/2024 )
Category: NLP, LLM
"Verstehen" Sprachmodelle Oberstufen-Mathe?
A survey of deep learning based word problem solvers
Authors: Sowmya S Sundaram, Sairam Gurajada, Deepak Padmanabhan, Savitha Sam Abraham, Marco Fisichella:
Published in the Q1 journal “Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery”
https://wires.onlinelibrary.wiley.com/doi/pdfdirect/10.1002/widm.1534
Das Papier in Kürze:
Unsere Arbeit befasst sich mit der Entwicklung und Bewertung von Algorithmen, die automatisch mathematische Textaufgaben lösen, eine Aufgabe, die Textmustererkennung mit mathematischem Denken verbindet. Trotz umfangreicher Forschung bleibt es eine Herausforderung, robuste Darstellungen für grundlegende mathematische Textaufgaben zu finden. Während das Lösen einfacher arithmetischer Textaufgaben als gelöstes Problem gilt, zeigen wir, wie viele Nuancen noch zu berücksichtigen sind. Im Laufe der Jahre haben sich verschiedene Modelle entwickelt, von handgefertigten regelbasierten Systemen bis hin zu Deep-Learning-Modellen, die Sequenz-zu-Sequenz-Paradigmen, graphenbasierte Modelle und große Sprachmodelle (LLMs) umfassen. learning models that include sequence-to-sequence paradigms, graph-based models, and large language models (LLMs).
Welches Problem lösen Sie mit Ihrer Forschung?
Wir überprüfen Deep- Learning-Ansätze für Textaufgaben, analysieren ihre Stärken und Schwächen und stellen fest, dass sie zwar vielversprechende Ergebnisse zeigen, aber noch Lücken aufweisen, die es zu schließen gilt, wie z. B. Stabilität, Korrektheit und Vertrauen. Dazu gehört auch eine kritische Untersuchung der Versuchspläne und der in der Forschung üblicherweise verwendeten Datensätze.
Auch die historischen und aktuellen Fortschritte auf diesem Gebiet werden angesprochen, wobei auf die zahlreichen Versuche hingewiesen wird, MWPs mit verschiedenen Computertechniken zu lösen. Wir schlagen künftige Forschungsrichtungen vor, darunter die Verbesserung der Modellrobustheit, die Schaffung repräsentativerer Datensätze und die Verfeinerung von Bewertungsmaßstäben, um das Verständnis der Modelle für mathematische Konzepte besser beurteilen zu können.
