Wie sich Hass und Lügen im Netz systematisch greifen und herausgreifen lassen, damit befasst sich das Forschungsvorhaben „DeTox – Detektion von Toxizität und Aggressionen in Postings und Kommentaren im Netz“ an der Hochschule Darmstadt (h_da). In Zusammenarbeit mit der Meldeplattform „Hessen gegen Hetze“ des Hessen Cyber Competence Center werden automatisierte Erkennungs- und Klassifikationsverfahren von Hate Speech und Fake News unter Anwendung künstlicher Intelligenz untersucht und entwickelt.

In Kooperation mit dem h_da-Forschungszentrum Angewandte Informatik und dem Fraunhofer Institut für Sichere Informationstechnologie SIT in Darmstadt geht es bei dem vom Hessischen Ministerium des Innern und für Sport geförderten Projekt nicht nur um die Identifizierung dieser toxischen Inhalte: Es beschäftigt sich auch mit der konkreten Ausbreitung und Überführung in einzelne Straftatbestände.

Die Grundlage bilden 2.500 deutschsprachige Twitter-Postings, also Tweets, die dem Forschendenteam um Computerlinguistin und Informationswissenschaftlerin Prof. Dr. Melanie Siegel am Fachbereich Media der h_da von der beteiligten Meldestelle für Hasskommentare vorklassifiziert zur Verfügung gestellt werden. Die Plattform liefert Postings, Kommentare und Bilder, die Menschen aufgrund von Nationalität, Hautfarbe, ethnischer oder religiöser Zugehörigkeit, Weltanschauung, Behinderung, Geschlecht, sexueller Orientierung, politischer Haltung, äußerer Erscheinung oder sozialem Status angreifen. Dazu kommen mehrere tausend Tweets, die das Team mit sogenannten „Crawler“-Programmen gesammelt hat.

Eine zentrale Rolle im Projekt spielt die Erkenntnis, dass soziale Medien zunehmend von Menschen dominiert werden, „die diffamieren, beleidigen und bedrohen“, wie es in der Projektbeschreibung heißt. Dabei werde über automatisch generierte Nachrichten der Eindruck erweckt, dass diese extremen Meinungen in der Bevölkerung weit verbreitet seien. Den Betreibern der Social Media-Plattformen gelinge es nicht mehr, das zu moderieren. „Daher besteht ein dringender Bedarf an Methoden zur automatischen Identifizierung verdächtiger Beiträge“, sagt Prof. Dr. Melanie Siegel.

Die Hass- und Lügenfischer der h_da arbeiten hierfür mit KI-Methoden zur automatischen Textklassifikation auf Basis von Algorithmen. Hinlängliche Erfahrungen damit hat Siegel bereits bei ähnlich gelagerten Vorhaben gesammelt. So wurden im Rahmen des von ihr mitinitiierten internationalen Forschungswettbewerbs GermEval in bislang drei Veranstaltungen mehrere Methoden maschinellen Lernens an tausenden Tweets angewandt, kombiniert und verglichen. Daran möchte man nun anknüpfen und die Systematik in der Anwendung weiter optimieren.

Für DeTox hat das Fraunhofer SIT ein Software-Tool entwickelt, mit dem sich die Tweets klassifizieren lassen, im Fachjargon „annotieren“ genannt. Damit lässt sich bei den einzelnen Tweets etwa markieren, inwiefern die Äußerung positiv, negativ oder neutral ist, ob es sich um Hate Speech handelt oder inwiefern es strafrechtliche Relevanz hat. Das Tool wird dabei über das Füttern mit Tweets immer weiter trainiert, um relevante Merkmale in Texten automatisch erkennen zu können. Die beteiligten Akteure tragen dabei eine große Verantwortung, weiß Siegel: „Man muss die Menschen, die mit dem System arbeiten, schulen und miteinander diskutieren.“ Jeder Tweet werde von drei Personen bewertet. „Das ist ein enormer Aufwand.“ Sechs studentische Hilfskräfte klassifizieren aktuell tausende von Tweets und erzeugen so einen Datensatz, der der internationalen Forschung zur Verfügung gestellt wird.

Das Projekt läuft noch bis Mitte 2022, doch erste interessante Zwischenerkenntnisse werden bereits sichtbar. Zum Beispiel: „Dass man auch Fake News schon an der Art der Sprache erkennen kann“, nennt Melanie Siegel ein Beispiel und lobt hier die am Projekt beteiligte Doktorandin Mina Schütz, die das herausgearbeitet habe. Zwar lasse sich Hate Speech aufgrund der offensiven Sprache auf den ersten Blick einfacher greifen als eine Lüge, die mehr im Kontext bewertet werden muss. Aber, so unterstreicht Doktorandin Mina Schütz: „Es gibt linguistische Aspekte, die Fake News andeuten.“

So weise die Verwendung vieler Personalpronomen, Ausrufezeichen oder Emojis auf eine subjektive, emotionale Sprache hin, wie sie in seriösen wissenschaftlichen oder journalistischen Texten nicht verwendet werde. Auffällig seien auch große Headlines, unter denen nur wenig Text stehe. Auf Basis solcher Erkenntnisse passt die studierte Informationswissenschaftlerin und Informatikerin das verwendete Machine-Learning-System an.

Aus den Daten werden im Projekt schließlich Modelle zur automatischen Klassifikation von Hate Speech und Fake News trainiert. Die ersten Modelle wurden auf dem diesjährigen GermEval-Wettbewerb im September 2021 getestet. Sie werden aktuell mit den neuen Daten erweitert und verbessert. Ein erster Demonstrator kann noch in diesem Jahr vorgestellt werden.

Professorin Siegel ist derweil wichtig, dass man mit DeTox keinesfalls ein System zur vollautomatischen Filterung von Hate Speech und Fake-News entwickle. „Die Meinungsfreiheit ist ein hohes Gut, daher würde ich die Filterung niemals komplett automatisiert Maschinen überlassen.“ Es gehe vielmehr um ein Tool zur Vorklassifizierung als Hilfe für Personen, die die Ergebnisse dann letztlich bewerten und aussortieren müssen. Menschen, wie sie bei der Meldestelle „Hessen gegen Hetze“ arbeiten. Denn Melanie Siegel findet ganz grundsätzlich: „Wir können es nicht den Plattformen selbst überlassen, Hate Speech und Fake News zu filtern.“

Weiterführende Links:
Projekt-Website: projects.fzai.h-da.de/detox/projekt/

Quelle: Hochschule Darmstadt