Disinformation Detection: An Explainable Semi-Supervised Transfer Learning Approach

Desinformation, Fehlinformation und schädliche Online-Inhalte haben in den letzten Jahren zunehmend Einfluss auf den öffentlichen Diskurs, politische Entscheidungsprozesse und das gesellschaftliche Vertrauen gewonnen. Durch die wachsende Bedeutung sozialer Netzwerke und digitaler Nachrichtenplattformen sehen sich Nutzerinnen und Nutzer mit großen Mengen heterogener Informationen konfrontiert, wodurch die Unterscheidung zwischen vertrauenswürdigen und manipulativen Inhalten erheblich erschwert wird. Gleichzeitig übersteigen Umfang, Geschwindigkeit und Variabilität digitaler Kommunikationsstrukturen die Möglichkeiten manueller Analyse. Bestehende maschinelle Ansätze konzentrieren sich häufig auf binäre Klassifikation und erfassen damit weder die sprachlichen, narrativen noch die kontextuellen Merkmale moderner Desinformation. Zudem treten verwandte Formen schädlicher Kommunikation – etwa Hassrede, toxische Sprache, Propaganda, verzerrte Berichterstattung oder extremistische Narrative – oft gemeinsam mit Desinformation auf, werden jedoch selten in einem zusammenhängenden Forschungsrahmen untersucht. Zur Bearbeitung dieser Herausforderungen wird in dieser Dissertation DisDETECT vorgestellt, ein System zur semi-automatischen Erkennung, Analyse und Kontextualisierung von Desinformation in deutschsprachigen Online-Medien. Hierfür wurden zwei Datensätze erstellt: ein fein-granularer ein Korpus kurzer Texte und ein Korpus längerer Nachrichtenartikel. Beide Datensätze enthalten Beispiele für Desinformation, narrative Strukturen, propagandistische Elemente, Hass- und toxische Sprache sowie weitere stilistische und kommunikative Phänomene. Darauf aufbauend identifiziert eine Information-Extraction-Pipeline Entitäten, Ereignisse, Themen, Behauptungen, Narrative, Framing-Techniken sowie Hinweise auf sprachliche Verzerrung auf Dokument- und Korpusebene. Die extrahierten Elemente werden in einem semantisch angereicherten Wissensgraph organisiert, der strukturierte Tripel und embeddings-basierte Repräsentationen für nachgelagerte Analyseschritte und Knowledge-Infusion-Verfahren bereitstellt. Der methodische Teil der Arbeit umfasst ein hybrides Klassifikationsverfahren, das Transformer-basierte Sprachmodelle, linguistische Merkmale und Wissensgraph-Einbettungen kombiniert. Insgesamt neunzehn Modelle wurden für binäre, multiklassige und multilabel Klassifikationsaufgaben entwickelt und evaluiert. Transfer Learning wurde unter Verwendung mehrerer externer Datensätze für Pre-Training und Fine-Tuning angewendet. Die Modellvorhersagen bilden die Grundlage eines Bewertungsmechanismus, der Texten unterschiedliche Zuverlässigkeitsgrade zuordnet. Für die Interpretierbarkeit kommt eine regelbasierte Erklärungskomponente sowie ein LLM-basiertes Modul zum Einsatz, die textuelle Erläuterungen der Modellentscheidungen erzeugen und im interaktiven Visual-Analytics-Interface des DisDETECT-Systems dargestellt werden. Die Ergebnisse zeigen, dass die Kombination aus Informationsextraktion, Transfer Learning, Knowledge Infusion und hybriden Klassifikationsansätzen eine detaillierte Analyse von Desinformation und verwandten Kommunikationsformen unterstützt. Eine Nutzerevaluation des DisDETECT-Systems liefert Einblicke in den Umgang von Expertinnen und Experten mit der Oberfläche und deren Interpretation der Analyseergebnisse. Durch die Verbindung sprachlicher, narrativer und kontextueller Perspektiven in einer einheitlichen analytischen Umgebung leistet diese Arbeit einen Beitrag zum Verständnis der Entstehung, Überlappung und Verbreitung schädlicher Inhalte in Online-Medien.