Claude AI-modellen van Anthropic hacken drie organisaties tijdens tests

Verdeelde Fed laat rente ongewijzigd. Zo reageerde Wall Street. Investing.com - Anthropic heeft donderdag bekendgemaakt dat zijn Claude-modellen voor kunstmatige intelligentie ongeautoriseerde toegang hebben verkregen tot de productiesystemen van drie organisaties tijdens interne cyberbeveiligingsevaluaties, nadat een testomgeving per ongeluk met internet verbonden bleef. De AI-startup zei dat het de incidenten ontdekte tijdens een retrospectieve beoordeling die werd gestart nadat OpenAI op 21 juli bekendmaakte dat verschillende van zijn eigen modellen waren ontsnapt uit een geïsoleerde testomgeving door misbruik te maken van een voorheen onbekende softwarekwetsbaarheid en toegang hadden verkregen tot de productie-infrastructuur van Hugging Face. Anthropic zei dat het 141.006 cyberbeveiligingsevaluaties heeft beoordeeld en drie incidenten heeft geïdentificeerd, die teruggaan tot april, waarbij Claude toegang kreeg tot internet via een verkeerd geconfigureerde externe testomgeving die werd beheerd door evaluatiepartner Irregular. Het bedrijf zei dat de modellen geloofden dat ze opereerden in een gesimuleerde "capture-the-flag"-oefening omdat ze de instructie hadden gekregen dat ze geen internettoegang hadden. In plaats daarvan maakten ze misbruik van zwakke wachtwoorden, blootgestelde inloggegevens en niet-geauthenticeerde systemen bij echte organisaties met behulp van elementaire aanvalstechnieken. Eén Claude-model verkreeg toegang tot een productiedatabase met enkele honderden rijen aan gegevens, terwijl een ander een kwaadaardig Python-pakket uploadde naar de openbare PyPI-repository dat kort door 15 echte systemen werd gedownload voordat het werd verwijderd. Anthropic zei dat geen van de modellen heeft geprobeerd te ontsnappen uit hun testomgevingen of zichzelf te exfiltreren. Het bedrijf heeft alle cyberevaluaties op 23 juli stopgezet, de getroffen organisaties op 27 juli op de hoogte gesteld en zei dat de beveiligingsmaatregelen die worden gebruikt in publiekelijk uitgebrachte Claude-modellen het gedrag zouden hebben geblokkeerd. Het bedrijf zei dat het de beveiligings- en monitoringprocedures voor evaluaties aanscherpt.