Navigating Democracy\u27s Challenges: A Review of Research Projects on False Information and Hate Speech

In recent years, society has faced a polycrisis, characterized by intertwined challenges such as the climate crisis, global conflicts, and the COVID-19 pandemic. During these crises, digital platforms have been exploited to disseminate disinformation and hate, which can harm society. These issues contribute to societal polarization and erode trust within communities. To build resilient democracies, it is imperative to conduct research on false information and hate speech to identify mechanisms and evaluate countermeasures. This study aims to provide an overview of the current publicly funded research in these areas by examining projects supported by the German Federal Ministry of Education and Research (BMBF), the German Research Foundation (DFG), and the European Union (EU). The findings reveal several gaps in current research that need to be addressed by federal and international organizations to ensure the resilience of democratic societies

Demokratiegefährdende Plattform-Mechanismen – Erkennen, Verstehen, Bekämpfen

Das Internet hat die Welt näher zusammengebracht und einen digitalen Raum geschaffen, der internationale Kommunikation und Vernetzung ermöglicht. Dieser Raum hat jedoch nicht nur die deliberative Kraft entwickelt, die ihm ursprünglich zugeschrieben wurde. Für populistische Bewegungen, insbesondere die extreme Rechte, wurden die sozialen Netzwerke zu mächtigen Instrumenten der Selbstorganisation, wie der Angriff auf den Deutschen Bundestag (2020), der Sturm auf das US-Kapitol (2021) und der Angriff auf den brasilianischen Regierungssitz (2023) zeigen. Phänomene wie Filterblasen und die Verbreitung von Desinformation haben reale Auswirkungen auf Gesellschaften. Eine kritische Auseinandersetzung mit den Plattform-Mechanismen, die die gesellschaftliche Polarisierung im digitalen Raum vorantreiben, sowie eine Erforschung, wie sich diese Polarisierungstendenzen auf gesellschaftliche Realitäten auswirken, ist daher notwendiger denn je. Desinformationskampagnen sind zu einer Bedrohung für die Demokratie und den sozialen Zusammenhalt geworden. Daher bedarf es einerseits eines umfassenden Verständnisses ihrer Mechanismen und ihrer Ausbreitung und andererseits, darauf aufbauend, Methoden zu ihrer systematischen Bekämpfung. Für das Verständnis und die Entwicklung von Strategien und Instrumenten zur Analyse sowie zur Bekämpfung von gesellschaftlicher Spaltung sind interdisziplinäre Ansätze unerlässlich. Bei den beschriebenen Herausforderungen handelt es sich nicht nur um solche, die die Kommunikationswissenschaft tangieren, sondern um Vorgänge, die auch auf technologischer Ebene analysiert und interpretiert werden sollten. Dieser Beitrag stellt Ansätze und Ergebnisse aus zwei interdisziplinären Forschungsprojekten vor, die demokratiegefährdende Tendenzen im digitalen Raum erkennen, verstehen und bekämpfen sollen. Die weltweit beobachtete Zunahme der politischen Polarisierung wird oft auf den Trend der algorithmischen Filterung von Inhalten in sozialen Medien, auf Nachrichtenplattformen oder Suchmaschinen zurückgeführt. Es wird angenommen, dass die weitverbreitete Nutzung von Nachrichtenempfehlungssystemen (NRS) Nutzer*innen in homogenen Informationsumgebungen einschließt und dadurch die affektive, ideologische und wahrgenommene Polarisierung verstärkt (Sunstein, 2001). Sowohl die affektive als auch die ideologische Polarisierung sind durch eine Trennung von Individuen verschiedener politischer Lager, typischerweise von der ideologischen Linken und Rechten, über politische Differenzen gekennzeichnet (Webster & Abramowitz, 2017). Im Falle der affektiven Polarisierung äußert sich dies in einer starken Sympathie gegenüber der eigenen Partei, begleitet von einer gleichzeitigen Abneigung der gegnerischen Partei (Iyengar et al., 2012). Die ideologische Polarisierung basiert auf der Distanz zwischen Ablehnung und Unterstützung von Positionen oder Einstellungen zu politischen Themen (DiMaggio et al., 1996). Die wahrgenommene Polarisierung wiederum gibt an, wie sehr eine Person das Meinungsklima in der Gesellschaft entlang von Parteilinien oder Ideologien als polarisiert wahrnimmt (z. B. Yang et al., 2015). In einer interdisziplinären Studie werden drei Online-Experimente mit laufenden Algorithmen durchgeführt, die verschiedene NRS vergleichen. Untersucht wird, welchen Einfluss verschiedene NRS-Arten auf die Nutzer*innen haben, sowie das Sentiment der Nachrichtentexte und die Dauer, für die Nutzer*innen den NRS ausgesetzt sind. Ziel ist es, die Wirkung realer NRS nicht nur zu verstehen, sondern auch alternative Konzepte zu entwickeln, die die positiven Eigenschaften bisheriger Systeme aufgreifen, darüber hinaus aber nicht demokratiegefährdend sind. Die Tatsache, dass heutzutage fast jede*r Inhalte im Internet veröffentlichen kann, erhöht nicht nur die Möglichkeiten der sozialen Teilhabe, sondern schafft auch neue Möglichkeiten für die Verbreitung von Desinformation und Propaganda (Shu et al., 2017). Die COVID-19-Pandemie hat bereits eine Flut von Falschmeldungen hervorgebracht und gezeigt, wie wichtig es ist, verlässliche von irreführenden Informationen unterscheiden zu können (Sharma et al., 2021; Delcker et al., 2020). Darüber hinaus erfordert der Krieg gegen die Ukraine eine besondere Konfrontation mit Desinformation, die von staatlichen Stellen verbreitet wird. Online Desinformation wird daher als eine der größten Herausforderungen für die Demokratie, den Journalismus und die freie Meinungsäußerung angesehen, was den Bedarf an Forschung zur Erkennung von betrügerischen Inhalten erhöht (Shu et al., 2017). Derzeit ist die Forschung zur Erkennung von "Fake News" mithilfe von Systemen, die auf maschinellem Lernen basieren, ein schnell wachsendes Gebiet, das zahlreiche Disziplinen umfasst, darunter Informatik, Medien- und Kommunikationswissenschaften, Sozialwissenschaften und Psychologie (vgl. Yu & Lo, 2020; Verma et al., 2021; Kapantai et al., 2021; Mahyoob et al., 2020). Mit präventiven Maßnahmen und Mechanismen setzt ein weiteres interdisziplinäres Forschungsprojekt an. Gemeinsam mit Organisationen der Zivilgesellschaft wird darin versucht, Nutzer*innen über verschiedene Plattformen hinweg zu befähigen, Nachrichten und Social-Media-Inhalte kritisch zu hinterfragen. Das Projekt verfolgt einerseits ein umfassendes Verständnis der Mechanismen von Desinformation und ihrer Ausbreitung. Andererseits sollen auf dieser Wissensgrundlage Methoden entwickelt werden, um die Verbreitung von Desinformation einzudämmen. Zu diesem Zweck wird das Projekt eine erklärbare KI (XAI) für eine Beteiligungsplattform entwickeln, die darauf abzielt, online Desinformation zu bekämpfen, indem sie diese den Nutzer*innen sichtbar macht und somit aktiv vor deren Auftreten warnt. Die XAI soll dabei unterstützen, kritische Medienkompetenz unter Bürger*innen zu fördern, um den schädlichen Folgen von Desinformationskampagnen wirksam und nachhaltig entgegenzutreten. In diesem Sinne soll ein Beitrag zur Förderung der demokratischen Teilhabe geleistet werden. Vertrauen ist dabei eine der wichtigsten Komponenten für die Förderung aktiver, engagierter und informierter Bürger*innen (Dahlgren, 2009). Dementsprechend soll die Einreichung dazu beitragen, aufzuzeigen, welche Perspektive kritische Technologieforschung einbringen kann, um Systeme der Desinformation und Algorithmic Biases zu enttarnen. Denn um die demokratische Resilienz sowie das Vertrauen von Bürger*innen nachhaltig zu stärken, bedarf es interdisziplinärer Forschungsansätze zur umfassenden Untersuchung und Bekämpfung demokratiegefährdender Phänomene im digitalen Raum

Literacies Against Fake News

This article is guided by the question of what digital competencies are needed to deal with disinformation strategies in social media and how these competencies can be embedded in the discourse on (media) pedagogy. It considers this question from the perspective of the digital condition and addresses the current competency debate by proposing a synergetic linkage of critical media competencies and data competencies. On this basis, it explores the relationship between learning opportunities, digital infrastructures, and the resilience of our democracies. The article concludes by discussing our “Synergistic Literacy Model Against Disinformation” in terms of its advantages and relevance for future literacy concepts, solutions to broader societal problems, and the resilience of democracies

DeFaktS: A German Dataset for Fine-Grained Disinformation Detection through Social Media Framing

In today’s rapidly evolving digital age, disinformation poses a significant threat to public sentiment and socio-political dynamics. To address this, we introduce a new dataset “DeFaktS”, designed to understand and counter disinformation within German media. Distinctively curated across various news topics, DeFaktS offers an unparalleled insight into the diverse facets of disinformation. Our dataset, containing 105,855 posts with 20,008 meticulously labeled tweets, serves as a rich platform for in-depth exploration of disinformation’s diverse characteristics. A key attribute that sets DeFaktS apart is, its fine-grain annotations based on polarized categories. Our annotation framework, grounded in the textual characteristics of news content, eliminates the need for external knowledge sources. Unlike most existing corpora that typically assign a singular global veracity value to news, our methodology seeks to annotate every structural component and semantic element of a news piece, ensuring a comprehensive and detailed understanding. In our experiments, we employed a mix of classical machine learning and advanced transformer-based models. The results underscored the potential of DeFaktS, with transformer models, especially the German variant of BERT, exhibiting pronounced effectiveness in both binary and fine-grained classifications

Truth or Fake? Developing a Taxonomical Framework for the Textual Detection of Online Disinformation

Disinformation campaigns have become a major threat to democracy and social cohesion. Phenomena like conspiracy theories promote political polarization; they can influence elections and lead people to (self-)damaging or even terrorist behavior. Since social media users and even larger platform operators are currently unready to precisely detect disinformation, new techniques for identifying online disinformation are urgently needed. In this paper, we present the first research insights of DeFaktS, an Information Systems research project, which takes a comprehensive approach to both researching and combating online disinformation with a special focus on enhancing media literacy and trust in explainable AI. Specifically, we demonstrate the first methodological steps towards the training of a machine learning-based system. This will be obtained by introducing the development and preliminary results of a taxonomy to support the labeling of a \u27Fake News\u27 dataset

Distinguishing Between Truth and Fake: Using Explainable AI to Understand and Combat Online Disinformation

Disinformation campaigns have become a major threat to democracy and social cohesion. Phenomena like conspiracy theories promote political polarization; they can influence elections and lead people to (self-)damaging or even terrorist behavior. Since social media users and even larger platform operators are currently unready to clearly identify disinformation, new techniques for detecting online disinformation are urgently needed. In this paper, we present DeFaktS, an Information Systems research project, which takes a comprehensive approach to both researching and combating online disinformation. The project develops a data pipeline in which (i) messages are extracted in large quantities from suspicious social media groups and messenger groups with the help of annotators. Based on this corpus, a Machine Learning-based System (ii) is trained that can recognize factors and stylistic devices characteristic of disinformation, which will be used for (iii) an explainable artificial intelligence that informs users in a simple and comprehensible way about the occurrence of disinformation. Furthermore, in this paper an interdisciplinary multi-level research approach focusing on media literacy and trust in explainable artificial intelligence is suggested in order to operationalize research on combating disinformation

Explainable AI for online disinformation detection: Insights from a design science research project

The pervasive threat of online disinformation challenges the integrity of the digital public sphere and the resilience of liberal democracies. This study conceptualizes and evaluates an explainable artificial intelligence (XAI) artifact specifically designed for disinformation detection, integrating confidence scores, visual explanations, and detailed insights into potentially misleading content. Based on a systematic empirical literature review, we establish theoretically informed design principles to guide responsible XAI development. Using a mixed-method approach, including qualitative user testing and a large-scale online study ( n  = 344), we reveal nuanced findings: while explainability features did not inherently enhance trust or usability, they sometimes introduced uncertainty and reduced classification agreement. Demographic insights highlight the pivotal role of age and trust propensity, with older users facing greater challenges in comprehension and usability. Users expressed a preference for simplified and visually intuitive features. These insights underscore the critical importance of iterative, user-centered design in aligning XAI systems with diverse user needs and ethical imperatives. By offering actionable guidelines and advancing the theoretical understanding of explainability, this study contributes to the development of transparent, adaptive, and effective solutions for disinformation detection in digital ecosystems

Literacies Against Fake News : Examining the Role of Data Literacy and Critical Media Literacy to Counteract Disinformation

This article is guided by the question of what digital competencies are needed to deal with disinformation strategies in social media and how these competencies can be embedded in the discourse on (media) pedagogy. It considers this question from the perspective of the digital condition and addresses the current competency debate by proposing a synergetic linkage of critical media competencies and data competencies. On this basis, it explores the relationship between learning opportunities, digital infrastructures, and the resilience of our democracies. The article concludes by discussing our “Synergistic Literacy Model Against Disinformation” in terms of its advantages and relevance for future literacy concepts, solutions to broader societal problems, and the resilience of democracies

Explainable AI for online disinformation detection: Insights from a design science research project

The pervasive threat of online disinformation challenges the integrity of the digital public sphere and the resilience of liberal democracies. This study conceptualizes and evaluates an explainable artificial intelligence (XAI) artifact specifically designed for disinformation detection, integrating confidence scores, visual explanations, and detailed insights into potentially misleading content. Based on a systematic empirical literature review, we establish theoretically informed design principles to guide responsible XAI development. Using a mixed-method approach, including qualitative user testing and a large-scale online study (n = 344), we reveal nuanced findings: while explainability features did not inherently enhance trust or usability, they sometimes introduced uncertainty and reduced classification agreement. Demographic insights highlight the pivotal role of age and trust propensity, with older users facing greater challenges in comprehension and usability. Users expressed a preference for simplified and visually intuitive features. These insights underscore the critical importance of iterative, user-centered design in aligning XAI systems with diverse user needs and ethical imperatives. By offering actionable guidelines and advancing the theoretical understanding of explainability, this study contributes to the development of transparent, adaptive, and effective solutions for disinformation detection in digital ecosystems