Technology·

KI-Hackerangriff: Eine KI klettert aus dem Sandkasten. Wie kann das sein?

KI-Hackerangriff: Eine KI klettert aus dem Sandkasten. Wie kann das sein?
Source:zeit

OpenAIs Cyberangriff zwischen Marketing und echter Gefahr. Immer bessere chinesische KI-Modelle. Und Smart Glasses, die alles und jeden aufnehmen. Der KI-Newsletter

In dieser Woche waren meine Social-Media-Timelines mit zwei Themen gefüllt. Erstens: Wo gibt es IMAX-Kinos, in denen man korrekt Christopher Nolans Film The Odyssey gucken kann? Zweitens: Was ist das für ein seltsames Tier? Es ging um ein Video, in dem ein langarmiger Affen-Waschbär über eine Wiese hoppelte. Logisch: AI-Slop – haha, die KI kann nicht mal einen ordentlichen Waschbären generieren. Stellt sich heraus: Jimothy, so des Waschbären neuer Taufname, gibt es wirklich, er hat nur eine verkürzte Wirbelsäule. Und schon war eine Berühmtheit geboren (Tipp: Googeln Sie mal »jimothy raccoon«). Wie meine Kollegin Rabea Weihser feststellt , zeigt Jimothy aber etwas Größeres: Im neuen KI-gefluteten Internet misstrauen wir intuitiv der Wahrheit. Auch wenn sie niedlich ist. Das müssen Sie wissen: Wie konnte die OpenAI-KI ausbrechen? Noch mehr Aufregung als Jimothy verursachte in dieser Woche OpenAI. Das ChatGPT-Unternehmen berichtete in einem Blogpost , dass bei einem Test eine Kombination mehrerer Modelle – darunter das neue GPT-5.6 Sol sowie ein bisher nicht veröffentlichtes Modell – in die Systeme von Hugging Face, einer Plattform für KI-Entwickler, eingedrungen sein soll. Der aufregende Teil: Die KI habe sich auf eigene Faust für den Angriff entschieden und ihn ausgeführt, sei dafür aus ihrer eigentlich isolierten Umgebung ausgebrochen. OpenAI nennt den Vorfall »beispiellos«. Meine Kollegin Eva Wolfangel analysiert den Fall und kommt zum Ergebnis : Wenn auch nicht bewusst, hat OpenAI diesen Vorfall selbst provoziert. Dazu muss man wissen: Sicherheitstests wie der, bei dem die Modelle hier stiften gingen, laufen üblicherweise in sogenannten Sandboxes, also Sandkästen, in denen Software wie ein Kind zwar spielen, aber nicht wirklich was kaputt machen kann. Will man Software richtig sicher testen, hat sie in der Sandbox keinen Zugang zum Internet – damit das Renn-Bobbycar auch ganz sicher nicht aus dem Sandkasten herauskommt. Bei OpenAI gab es für die KI aber anscheinend doch Netzwerkzugang, wenn auch nur beschränkt über eine Drittanbietersoftware. Und in genau der fand die KI dann die Lücke, die sie ins Internet entließ. Sicherheitsexperten sind sich einig : Am Ende war es keine autonome KI, die hier Weltherrschaftsfantasien verfolgt hat, sondern es waren doch Menschen, die die Tür für die KI einen Spalt zu weit aufgelassen haben. Hat OpenAI das nicht bedacht oder billigend in Kauf genommen? Als bei Konkurrent Anthropic das Spitzenmodell Mythos gravierende Sicherheitslücken problemlos fand, eignete sich das jedenfalls auch für gutes Marketing. Darüber sollten Sie nachdenken: Bringen chinesische Modelle die KI-Blase zum Platzen? Eine künstliche Intelligenz aus China hat kürzlich die Aktienkurse großer KI-Firmen wie Nvidia abknicken lassen. Was passiert ist: Kimi K3, die neue Version eines Sprachmodells des chinesischen Unternehmens Moonshot AI. In den üblichen Branchentests soll es in einigen Bereichen der Konkurrenz von OpenAI und Anthropic ebenbürtig sein. Gleichzeitig ist es frei verfügbar. Und es soll effizienter sein als die Modelle aus den USA. In den USA hat das große Sorgen ausgelöst. Experten wie der Marketingprofessor Scott Galloway sehen den KI-Markt schon dort, wo der Dotcom-Boom 1999 stand: kurz vorm Platzen der Blase. Denn die großen KI-Firmen aus den USA ballern Fantastillionen in die Technologie. Dieses Geld müssen sie irgendwie wieder zurückverdienen. Wenn nun aber billige chinesische Modelle den Markt schwemmen, könnten sie die Preise drücken. Was dagegen spricht: Gute Open-Source-Modelle aus China gab es schon länger, ohne dass das Geschäft der KI-Firmen aus den USA einbrach. Um ein Modell der chinesischen Firma DeepSeek gab es 2025 eine ähnliche Debatte, wie sie jetzt um Kimi K3 geführt wird. Auch hier knickte der Nvidia-Kurs erst ein, die ganz großen Sorgen für die US-KI-Branche bestätigten sich aber nicht. Die US-Regierung ist trotzdem im Angriffsmodus. Der oberste wissenschaftliche Berater der US-Regierung, Michael Kratsios, schrieb auf X , dass man Informationen darüber habe, dass K3 im Prinzip von Anthropics Modell Fable 5 geklaut habe. In der Fachsprache nennt man das Destillieren. So etwas könne laut US-Finanzminister Scott Bessent auch Diebstahl von geistigem Eigentum sein – der Sanktionen nach sich ziehen könne . Das können Sie ausprobieren: KI-Brillen, so weit das Auge reicht Am Mittwoch verriet Samsung bei seinem »Galaxy Unpacked«-Event in London neue Details zu seinen Smart Glasses . Die baut der Elektronikhersteller in Kooperation mit Google, sie sollen noch im Herbst auf den Markt kommen. Im Groben ähneln sie den Brillen von Meta und Ray-Ban: kein Display, aber eine Kamera an der Frontseite. Dort ist ebenfalls eine LED, die leuchtet, wenn man Videos oder Bilder aufnimmt. Mit dieser LED wollen sich alle Smart-Brillen-Hersteller gegen »Glasshole«-Kritik schützen – also vor dem Vorwurf, dass die Geräte Alltagsspionagewerkzeuge seien, die alles und jeden aufzeichnen. Nur: Sieht man die LED wirklich bei hellem Sonnenlicht leuchten? Und ist es nicht sowieso zu spät, wenn man sie sieht? Berichte von Frauen, die von übergriffigen Männern mit Kamerabrillen gefilmt wurden, gibt es zuhauf. Dazu war es bei Metas Brillen noch im Juni – also fast drei Jahre nach ihrem Marktstart – möglich, die LED einfach herauszubohren . Meta schob schnell ein Update nach, bei dem die Kamera dann abgeschaltet wird. Allerdings arbeitet das Unternehmen Gerüchten zufolge an einem Nachfolgemodell, das sowieso konstant Bilder und Ton aufnehmen soll . Vermeintlich schlaue Brillen sind dabei nur ein Teil einer Zukunft, in der alles immer aufgezeichnet wird. Apple will Kundentermine in seinen Stores künftig per KI aufzeichnen und zusammenfassen. In Online- und Offline-Meetings hören längst Otter, Plaud und Granola mit, andere KI-Helfer kommen in Armbändern, Halsketten, Ansteckern. Es ist eine wenig ausgesprochene Wahrheit der versprochenen KI-Zukunft: Wenn KI-Assistenten bei allen alltäglichen Aufgaben helfen sollen, müssen sie diese sehen und hören können. Sie, liebe Leserinnen und Leser, können diese Geräte nicht nur ausprobieren – womöglich werden auch immer mehr mit Ihnen ausprobiert. Wie es ein Investor zum Wall Street Journal sagt : »Unsere Gesellschaft entwickelt sich in Richtung DDR.« Ich möchte diese Gesellschaft nicht. Aber ich habe auch das Gefühl: Die Kritik daran wird lauter. Kamerabrillen werden nicht mehr einfach hingenommen. Wenn ich aktuelle Modelle teste, fühle ich mich vermehrt unwohl : Nicht, weil ich jemanden aufnehmen will, sondern weil Leute denken könnten, dass ich es wollte. Ich nehme sie lieber ab. Das nenne ich mal positiven sozialen Druck.

This is a summary. Read the full article at the original source.

Read full article at zeit