Motivation
Identitätsdiebstahl durch Phishing und Social Engineering bedroht die informationelle Selbstbestimmung. Während Phishing gut erforscht ist, bleiben neue Betrugsformen wie Voice Phishing (Vishing) bisher weitgehend unerforscht.
Durch den Fortschritt in der Künstlichen Intelligenz (KI) wird automatischer konversationeller Betrug immer einfacher. Besonders in den Bereichen der Verarbeitung natürlicher Sprache (NLP), großer Sprachmodelle (LLMs), Konversationssysteme und Sprachsynthese gibt es starke Entwicklungen.
Diese Technologien ermöglichen es, Betrugsversuche massenhaft und individuell anzupassen. Außerdem können Cyberkriminelle Informationen aus sozialen Netzwerken oder Datenlecks, um gezielter vorzugehen. Hierbei erlaubt KI z.B. bekannte Stimmen oder vertraute Personen nachahmen. So gewinnen sie schnelles Vertrauen. Für Betroffene wird es dadurch schwerer, dies zu erkennen.
Insgesamt erhöhen diese Entwicklungen das Risiko, Opfer von Betrug oder Identitätsdiebstahl werden. Deshalb erforscht AntiScam technische und verhaltensbasierte Maßnahmen, sich besser gegen KI-Angriffe zu wehren.
Universität Siegen
Verbundkoordinator
open.INC GmbH, Siegen
Partner
Bonn-Rhein-Sieg University of Applied Sciences, Sankt Augustin
Partner
Ziele und Vorgehen
Das Projekt zielt darauf ab, Verbraucher vor den wachsenden Gefahren durch konversationellen Betrug zu schützen. Es verfolgt einen ganzheitlichen, sozio-technischen Ansatz mit vier Kernzielen:
1. Bedrohungsanalyse: Entwicklung einer Taxonomie und Bedrohungskarte für KI-basierte Gesprächsbetrugsformen inklusive möglicher Abwehrmaßnahmen.
2. Erklärbare Betrugserkennung: Einsatz erklärbarer KI (XAI) zur Erkennung und Nachvollziehbarkeit von Angriffen mit synthetischen Stimmen.
3. Verbraucherbildung: Gestaltung eines Lernspiels zur Sensibilisierung und Stärkung der Selbstschutzkompetenz gegenüber Betrug.
4. Rechtliche Analyse: Untersuchung rechtlicher Lücken im Umgang mit KI-gestütztem Online-Betrug und Ableitung von Handlungsempfehlungen.
Insgesamt ergänzen sich die Teilziele gegenseitig. Die Bedrohungskarte liefert die Grundlage für die Entwicklung sowohl technischer Abwehrmaßnahmen als auch von Strategien zur Selbstverteidigung. Die technischen Schutzmechanismen bauen auf diesen Erkenntnissen auf, um wirksame und nachvollziehbare Lösungen für Verbraucher bereitzustellen. Die spielbasierte Verbraucherbildung vermittelt Selbstschutzstrategien, die sowohl auf der Bedrohungskarte als auch auf technischen Erkenntnissen beruhen, um Nutzer zu befähigen, sich aktiv gegen KI-basierte Angriffe zu schützen. In allen Bereichen werden zudem die rechtlichen Fragestellungen beleuchtet, die sich aus den neuen Missbrauchspotenzialen von KI-Systemen ergeben.
Lösungsansatz
Dieses Projekt leistet einen Beitrag durch empirische Forschung, erklärbare KI-gestützte Verfahren, rechtliche Analysen sowie die Entwicklung einer spielerischen Lernumgebung zur Stärkung der Nutzerkompetenz.
Empirische IT Sicherheitforschung
- Qualitative Fallanalyse / rekonstruktionslogische Crime Script Analysis
- Quantitative Studien zum Ausmaß der Bedrohung, zu Abwehrstrategien und Risikofaktoren
ELSI
- Riskiobewertung
- Rechtsdogmatische Analyse
- Fallstudien Analyse
Technische Abwehrmaßnahmen
- Erstellung einer Sample-Datenbank
- (Re-)Implementierung KI-Methoden
- Entwicklung von KI-Erklarungsmodelle & Interfaces
Verbraucherbildung
- XAI-basierte Hilfestellung
- Wissenquiz
- Dedektivspiel
Bereichsleiter IT-Sicherheit und Verbraucherinformatik, Universität Siegen, Siegen, Germany
Professor für BWL, insbes. Software Engineering, Hochschule Bonn-Rhein-Sieg (H-BRS), Sankt Augustin, Germany
Lehrstuhl für Bürgerliches Recht, Immaterialgüterrecht und Medienrecht, Universität Siegen, Siegen, Germany
Wissenschaftlicher Mitarbeiter
Postdoktorand & Koordinator, AntiScam-Projekt, IT-Sicherheit und Consumer Computing, Universität Siegen, Siegen, Germany
Wissenschaftlicher Mitarbeiterin, Hochschule Bonn-Rhein-Sieg (H-BRS), Sankt Augustin, Germany
Wissenschaftlicher Mitarbeiterin, Bürgerliches Recht, Immaterialgüterrecht und MedienrechtUniversität Siegen, Siegen, Germany
The 3rd World Conference on eXplainable Artificial Intelligence 2025 (XAI2025), Istanbul, Turkey
Md Shajalal, Md Atabuzzaman, Alexander Boden, Gunnar Stevens, Delong Du, “Do the Explanations Make Sense? Explainable Fake Review Identification and Users’ Perspectives on Explanations”, The 3rd International Conference on eXplainable Artificial Intel-ligence (xAI2025), Istanbul, Turkey (Publication In Process)
The 3rd World Conference on eXplainable Artificial Intelligence 2025 (xAI2025), Istanbul, Turkey
Jacob Larock, Md Shajalal, Gunnar Stevens, “Interpretable Fake Voice Identification: A Hybrid Deep-Learning Model and Explanation Evaluation”, The 3rd International Conference on eXplainable Artificial Intelligence (xAI2025), Istanbul, Turkey (Publication In Process)
The CHI conference on Human Factors in Computing System 2025 (CHI2025), Yokohama, Japan
Omid Veisi, Khoshnaz Kazemian, Farzaneh Gerami, Mahya Mirzaee Kharghani, Sima Amirkhani, Delong K Du, Gunnar Stevens, Alexander Boden, “User Narrative Study for Dealing with Deceptive Chatbot Scams Aiming to Online Fraud” Proceedings of the Extended Abstracts of the CHI Conference on Human Factors in Computing Systems 2025. [PDF]
Communities & Technologies 2025 (C&T2025), Siegen, Germany
Sima Amirkhani, Gunnar Stevens, MD Shajalal, Alexander Boden, “Detecting the Undetectable: Human Judgments and the Challenge of Synthetic Voicesd” Proceedings of the 12th International Conference on Communities & Technologies (C&T 2025) [PDF]
Mensch und Computer 2025 (Muc2025), Chemnitz, germany
Sima Amirkhani, Gunnar Stevens, Md Shajalal, Alexander Boden, “The Sound of Synthetic: A Scoping Review of Human Perception in Detecting Synthetic Voices”, Workshop Mensch-Maschine-Interaktion in sicherheitskritischen Systemen, Mensch und Computer 2025, Chemnitz, Germany. [PDF]
Projektinformation
Volumen
Projektvolumen: 1,40 Mio. €
BMBF-Förderung: 1,25 Mio. € inkl. Projektpauschale
Laufzeit
10/2024 – 09/2027
Contact
Prof. Dr. Gunnar Stevens