L3S Bestes Paper des Quartals (Q2/2024)
Category: NLP, Generative AI
MEDVOC: Vokabularanpassung zur Feinabstimmung vorab trainierter Sprachmodelle für die Zusammenfassung medizinischer Texte
Autoren: Gunjan Balde, Soumyadeep Roy, Mainack Mondal, Niloy Ganguly
Präsentiert auf der IJCAI 2024, der 33. Internationalen gemeinsamen Konferenz für künstliche Intelligenz (A*-Konferenz)
https://arxiv.org/abs/2405.04163
Das Papier in Kürze:
Unsere Arbeit präsentiert eine dynamische Vokabelanpassungsstrategie, MEDVOC, zur Feinabstimmung vorab trainierter Sprachmodelle (PLMs) für eine verbesserte medizinische Zusammenfassung. Wir schlagen eine neuartige, effiziente, dynamische und zielaufgabenbewusste Vokabelanpassungsstrategie vor, die das Vokabular als optimierbaren Parameter behandelt und das PLM-Vokabular basierend auf einem Fragmentwert optimiert, der nur von den Referenzzusammenfassungen der Zielaufgabe abhängt. Dieser Ansatz verbessert die Modellleistung in anspruchsvollen Szenarien mit hoher OOV-Konzentration (Out-Of-Vocabulary) und Langformgenerierung für die Zusammenfassung medizinischer Texte.
Welches Problem lösen Sie mit Ihrer Forschung?
In dieser Arbeit lösen wir das Problem der fehlerhaften Tokenisierung, das bei der Zusammenfassung medizinischer Texte in Bezug auf PLM-Vokabular auftritt. Dieses Problem betrifft sowohl den Encoder als auch den Decoder von PLM: In der Encoderphase führt übermäßiges Aufteilen zu einer schlechten Darstellung und Bedeutungsverlust, und in der Decodierungsphase muss das Modell mehr Token generieren, um das entsprechende medizinische Wort zu generieren.
Welche potenziellen Auswirkungen haben Ihre Ergebnisse?
Die potenziellen Auswirkungen sind im Bereich der medizinischen Zusammenfassung vorteilhaft, insbesondere in Szenarien, in denen die faktische Konsistenz ein wichtiger Aspekt ist. Unser Ansatz ist im Vergleich zu Baselines faktisch konsistenter, wie medizinische Experten bei der Einrichtung der menschlichen Evaluierung festgestellt haben.
Was ist neu an Ihrer Forschung?
Unsere Arbeit ist die erste, die eine Vokabelanpassung zur Feinabstimmung von vorab trainierten Open-Domain-Sprachmodellen für die Zusammenfassung medizinischer Texte vorschlägt. Unsere vorgeschlagenen Methoden übertreffen Baselines in anspruchsvollen Szenarien deutlich, wenn die Referenzzusammenfassung viele Wörter enthält, die nicht im Vokabular enthalten sind, und wenn die Zusammenfassungen typischerweise länger sind. Unser Ansatz ist auch in Zero-Shot- und Few-Shot-Einstellungen (10.100) besser als Baselines.
Vorabdruck: Balde, G., Roy, S., Mondal, M. und Ganguly, N. (2024). MEDVOC: Vokabularanpassung zur Feinabstimmung vorab trainierter Sprachmodelle bei der Zusammenfassung medizinischer Texte. arXiv-Vorabdruck arXiv:2405.04163.
