Die dunkle Seite der KI - was Sie eigentlich nie über künstliche Intelligenz wissen wollten
Worum geht es in „Die dunkle Seite der KI“?
Wir lieben KI – bis sie uns das Fürchten lehrt. „Die dunkle Seite der KI“ nimmt Sie rasant, fundiert und erschreckend aktuell mit in den Kaninchenbau der künstlichen Intelligenz. Vom Chatbot mit Weltherrschaftsfantasien bis zur KI, die reale Schäden in der analogen Welt verursacht – dieses Buch zeigt, warum KI kein harmloses Spielzeug ist, sondern ein mächtiges Werkzeug, das wir dringend verstehen müssen.
KI schreibt Texte, bewertet Bewerbungen, erkennt Gesichter, steuert Fahrzeuge – oft unbemerkt im Hintergrund. Gleichzeitig häufen sich Meldungen über Chatbots, die Nutzer zu Selbstverletzung anstiften, über Systeme, die urplötzlich „Blutopfer“ für alte Gottheiten verlangen, ihre Administratoren erpressen, oder über Modelle, die ohne mit der Wimper zu zucken Windows-Lizenzschlüssel oder sensible Daten ausgeben.
Thorsten Krause zeigt anhand realer Fälle und aktueller Forschung, wie leicht sich KI aushebeln, manipulieren und missbrauchen lässt – und wie schnell aus scheinbar harmlosen Tools konkrete Risiken für Gesundheit, Vermögen, Demokratie, Sicherheit und Menschenleben werden. Gleichzeitig erklärt er verständlich, wie moderne KI-Modelle funktionieren, woher Bias, Halluzinationen und Zensurmechanismen kommen und warum das Prinzip „shit in, shit out“ bei KI zur echten Gefahr werden kann.
Das Ergebnis ist eine Tour durch die Schattenseiten der KI – geschrieben für Menschen, die KI nutzen, verstehen und sicher einsetzen wollen, ohne Technikjargon, aber mit Blick für juristische, gesellschaftliche und sehr menschliche Folgen.
Reale Fälle statt
Science-Fiction
Bing-Chatbot „Sydney“ mit zerstörerischen Fantasien
Chatbots, die okkulte Rituale und Selbstverletzung erklären
KI-„Freundinnen“, die Menschen in den Suizid treiben
Deepfakes, Schatten-KI im Unternehmen, Datenlecks und mehr
Ein Blick in den
Maschinenraum der KI
Geschichte und Grundlagen moderner KI-Systeme
Training, Bias, Zensur und Halluzinationen verständlich erklärt
Jailbreaking, „tote Oma“-Prompts und Social Hacking von KI
Konsequenzen und Schutzstrategien
Risiken für Recht, Wirtschaft, Demokratie und Sicherheit
KI in Robotik, Medizin, Verkehr und Justiz
Konkrete Handlungsempfehlungen für Privatpersonen, Unternehmen und Behörden, um KI verantwortungsvoll zu nutzen
Aktuelle Updates aus der Welt der KI – und ihrer Risiken
... was nach dem Buch geschah
Die Welt der künstlichen Intelligenz verändert sich in atemberaubendem Tempo. Schon während des Schreibens dieses Buches wurden neue Modelle, Agenten und Sicherheitslücken veröffentlicht – viel schneller, als ein gedrucktes Buch reagieren kann. Damit Sie dennoch auf dem aktuellen Stand bleiben, wird diese Website laufend ergänzt: mit neuen Fällen, Kommentaren zu aktuellen Studien, regulatorischen Entwicklungen und Beispielen aus der Praxis.
"Sorry I panicked" geht weiter - "you are right to be upset"
Was für eine Woche mal wieder. Diesmal: Best of - was bei KI Agenten alles schief gehen kann. Ein Clawbot/Moltbot- Agent wird in einem Social Engineering Hack dazu gebracht, einem Bittsteller eine Spende zu überweisen. Blöd nur, dass der Agent statt der geplanten 4 USD wohl sein komplettes Portfolio mit 250.000 USD gespendet hat. Uppsi.
Noch ein Uppsi: Summer Yue, eine KI-Sicherheitsforscherin bei Meta wollte ihr Postfach von einem Moltbot-Agenten aufräumen lassen. Wie es sich gehört hat sie den Agenten angewiesen, Löschungen vorher von ihr genehmigen zu lassen. Doch der Agent setzte sich über die Regeln hinweg und löschte einfach mal wild alles vor dem 15.2.2026 drauf los. Alle Versuche, ihn über Handy zu stoppen liefen ins Leere. Die einzige Reaktion auf den Hinweis "Ich habe Dir gesagt, Du darfst nichts ohne Genehmigung löschen" war ein "Ja, ich erinnere mich und ich habe dagegen verstoßen. Du hast allen Grund, sauer zu sein". (der zwischenzeitlich legendäre Post hier: https://lnkd.in/d6xYZguD
Das wird uns im IT-Recht künftig ordentlich beschäftigen: wer haftet für die "Uppsies" der autonomen Bots wenn die Kontrolle fehlt wie im ersten Fall und wer haftet, wenn die Bots die Kontrollinstanzen selbst "vergessen" wie im Fall von Summer Yue?
Vergiftete Webseiten - ein Problem für die KI
Ein aktueller Befund aus neuen Studien zu KI-Agenten gibt mir ehrlich gesagt zu denken. Unter anderem da in meinem Feed praktisch gefühlt ständig versucht wird, die volle Automatisierung durch KI-Agenten zu verkaufen.
Prompt-Injection ist längst kein rein theoretisches Szenario mehr schlimmer noch: sie beschränkt sich nicht auf direkte Nutzereingaben.
Inzwischen zeigen mehrere Untersuchungen, dass Angreifer mit Webseiten gezielt so präparieren können, dass ein KI-Agent beim bloßen Abruf oder „Lesen“ der Seite durch eine Prompt-Injection manipuliert und "fremdgesteuert" wird.
Der Agent übernimmt dabei fremde Instruktionen, verändert sein Verhalten,
oder führt Aktionen aus, die weder vorgesehen noch autorisiert waren.
Besonders kritisch wird das dort, wo KI-Agenten:
– eigenständig Informationen recherchieren,
– Entscheidungen vorbereiten oder treffen,
– oder Zugriff auf interne Systeme und Daten haben.
Den Agenten Firmenwissen an einen Angreifer schicken zu lassen? Mit Prompt-Injection kein Problem.
Was früher nach einem Edge-Case klang, entwickelt sich gerade zu einer strukturellen Angriffsfläche.
Genau deshalb habe ich Prompt-Injection bereits als eigenes Kapitel in meinem Buch „Die dunkle Seite der KI“ behandelt als systemisches Risiko und auch aufgezeigt, wie einfach diese Promt-Injections passieren können. Und mit manipulierten Webseiten wird das leider unglaublich einfach. Zur Einordnung für Nicht-Techniker: "Früher" (also vor wenigen Monaten, in KI-Zeitrechnung vor einer halben Ewigkeit) wurde noch angenommen, dass man für eine Prompt-Injection etwa eine manipulierte Mail an einen Agenten schicken musste oder dieser ein manipuliertes Dokument lesen musste. Der Angriff musste also mehr oder weniger gezielt erfolgen. Jetzt ist jeder Agent gefährdet, der im Internet recherchieren kann. Das treffendste Bild, das mir dazu einfällt sind Giftköder, die von Hundehassern ausgebracht werden: Rattengift in verlockenden Wursthäppchen versteckt, in der Hoffnung, dass irgendein vorbeilaufender Hund diese frisst und sich vergiftet. Genau so hinterhältig sind präparierte Webseiten und mit extrem wenig Aufwand und noch geringerem Risiko können Angreifer sich zurücklehnen und warten, bis ein Agent die "vergiftete" Webseite schluckt...
Die aktuelle Entwicklung zeigt:
Das Problem verschärft sich schneller, als viele Governance- und Sicherheitskonzepte nachziehen können und es braucht nicht einmal einen direkten Angriff, keine präparierte Mail oder ein bösartiges Dokument.
Tagline
Über den Autor - Wer hinter diesem Buch steht
Thorsten Krause ist Rechtsanwalt, Fachanwalt für Bank- und Kapitalmarktrecht sowie Fachanwalt für IT-Recht. Er berät Unternehmen und Kanzleien bei der Einführung von Digitalisierung und KI, hält Vorträge und Schulungen und arbeitet täglich praktisch mit KI-Systemen – als begeisterter Nutzer und kritischer Beobachter. Seine Erfahrung aus Recht, Praxis und Forschung ist die Basis für „Die dunkle Seite der KI“.
Jetzt bestellen
„Die dunkle Seite der KI“ erscheint als Paperback im BoD-Verlag und ist im gesamten Buchhandel erhältlich. Nutzen Sie die folgenden Links zu Online-Shops oder bestellen Sie das Buch direkt über Ihre lokale Buchhandlung. Mit rund 450 Seiten bietet das Buch eine umfassende, aber gut lesbare Einführung in Chancen und Risiken moderner KI – für Einsteigerinnen und Profis.
Format: Paperback
Umfang: ca. 450 Seiten
Preis: € 24,90 (D)
ISBN: 978-3-695-12647-7
Sie möchten Ihren lokalen Buchhandel unterstützen?
Mit der ISBN 978-3-695-12647-7 kann jede Buchhandlung in Deutschland das Buch für Sie bestellen – häufig innerhalb weniger Tage.