Der Klimawandel stellt eine der größten Bedrohungen für alle Ökosysteme, einschließlich der Menschheit, dar. Dr. Marco Fisichella und Dr. Ivana Marenzi arbeiten derzeit zusammen mit ihrem Team von Doktoranden an dem Forschungsprojekt SoMeCliCs, das die Diskussion darüber unterstützt, wie der Klimawandel in informellen Lernumgebungen durch soziale Medien aus der Perspektive der wissenschaftlichen Bildung behandelt wird (http://someclics.com/).
“At L3S, we strongly believe that AI could be invaluable in educating our youth about the current climate crisis and preventing worse impacts of climate change”, says Dr. Ivana Marenzi, Project Manager Digital Methods Subproject. In this context, the L3S team has been collaborating with students from class 9f at IGS List to find out if Artificial Intelligence can help students understand views on climate change and improve the informal learning environment for students in the current climate crisis. This will contribute to a better understanding of climate change discourse in social media from the science education and computer science perspectives. “On 26 January 2023, we conducted a pilot study with the students and the AI model for stance detection and sentiment analysis. Both the AI model and the students were given the same set of Twitter data with the task of rating tweets in terms of the attitude (believe/deny/don’t know) and sentiment (positive/negative) of the tweet on climate change” explains Apoorva Upadhyaya, PhD student in the project. The pilot study was conducted on the Learnweb platform, which served as a user interface for the students of IGS List and was developed by Oleh Astappiev, PhD student of our project. To determine the AI performance, a so-called single-task variant of the AI model was used, which was recently published in a scientific article by one of the L3S researchers (“A Multi-task Model for Sentiment Aided Stance Detection of Climate Change Tweets, Accepted in AAAI Conference on Web and Social Media 2023”). The PhD students then evaluated and compared the performance of the individual students and the pre-trained AI model for the corresponding set of the same tweets.
Die Wissenschaftler stellten fest, dass die Schülerinnen und Schüler und die KI bei der Erkennung der Haltungen ähnlich gut abschnitten, mit einem Unterschied von 4,52 bei der durchschnittlichen Genauigkeit. Interessant war auch, dass 32 % der Schülerinnen und Schüler alle Bezeichnungen für die Haltung richtig beantworteten und mehr korrekte Bezeichnungen für die Klasse der Anhänger des Klimawandels hatten, da sie dem Begriff Klimawandel mehr zustimmten und sich mit ihm identifizieren konnten. Allerdings übertraf das KI-Modell die Schülerinnen und Schüler bei der Stimmungsaufgabe mit einer höheren durchschnittlichen Genauigkeit (KI: 82,08, SuS: 66,94). „Unsere sorgfältige Analyse und eine weitere Diskussionsrunde mit den Studierenden lieferten interessante Erkenntnisse. Bei einigen Tweets, die Ironie oder Sarkasmus enthielten und reales Wissen und Erfahrung erforderten, um den Standpunkt der Autoren der Tweets zum Klimawandel zu verstehen, sagten die Studierenden die richtige Haltung voraus, während die KI dies nicht schaffte“ berichtet Upadhyaya weiter. Darüber hinaus änderte sich die Haltung des Tweets durch das Entfernen von Hashtags, was dazu motiviert, Hashtags (Abfrage-Hashtags, die zum Sammeln und Aufbereiten des Datensatzes verwendet werden) für zukünftige Studien aus Tweets zu entfernen. Zukünftig planen die Wissenschaftler des L3S, sich auf die Verwendung von KI zu konzentrieren, um SchülerInnen auf der Grundlage ihres Verständnisses von Klima-Tweets zu trainieren. Es wäre spannend, das Verhalten der SchülerInnen zu erforschen, wie sie die KI-Vorschläge in Bezug auf Klimawandel-Tweets wahrnehmen (blindes Befolgen der KI/Ablehnung der KI/ Einsatz ihrer Intelligenz im Falle falscher KI-Vorhersagen).
SoMeCliCs Projektteam:
Apoorva Upadhyaya (upadhyaya@l3s.de)
Oleh Astappiev (astappiev@l3s.de)
Dr. Ivana Marenzi (marenzi@l3s.de)
Dr. Marco Fisichella (mfisichella@l3s.de)
