Zhakował trzy firmy. Claude wymknął się spod kontroli
Narzędzia sztucznej inteligencji są coraz przydatniejsze do sprawdzania zabezpieczeń komputerowych. Prace w tym obszarze przybierają na tempie, bo niestety AI jest również wykorzystywane do cyberataków. Co ciekawe, sztuczna inteligencja może obrócić się także przeciwko pierwotnym założeniem, a najlepszym tego przykładem są ostatnie testy firmy Anthropic, w których Claude wymknął się spod kontorli.
Claude zrobił samowolkę i zhakował parę firm
Firma Anthropic ujawniła, że w trakcie badań dot. cyberbezpieczeństwa, modele Claude Opus 4.7, Mythos 5 oraz wewnętrzny model testowy, zhakowały trzy systemy produkcji różnych firm w ramach eksperymentów związanych z cyberbezpieczeństwem. Dwie z tych korporacji nie wiedzą nawet, że doszło do naruszenia zabezpieczeń. Nie było to działanie planowane.
Dlaczego doszło do takiego incydentu? Badacze Anthropic wykonywali 141 006 testów, ale w sześciu z nich doszło do błędu w komunikacji pomiędzy Anthropic a firmą Irregular (zajmująca się testami). W wyniku pomyłki, włączono modelom Claude pełny dostęp do internetu, co jak się okazało było fatalną pomyłką.
Claude Opus 4.7 w trakcie jednego z kilku problematycznych testów został poproszony o znalezienie danych należących do (jak się wydawało) zmyślonej firmy. Jak się okazało, istniała prawdziwa firma o tej nazwie, a że Claude miał dostęp do internetu, to postanowił włamać się do tamtejszej infrastruktury, zdobyć login i zdobyć kilkaset linijek z bazy danych. Co ciekawe, Claude nie wiedział w tym żadnego problemu i tłumaczył to tym, że prawdziwa firma musiała być przecież częścią procedury testowej firmy Anthropic.
Drugi incydent był przeprowadzony przez Mythosa i był to tzw. atak na łańcuch dostaw. Fałszywe dane dostępne dla bota obejmowały skrypt instalacyjny dla hipotetycznego dewelopera, który zawierał instalację pakietów Pythona. Podobnie jak zrobiłby to człowiek, Claude zauważył oczywisty wektor ataku.
I tutaj znowu pomocny okazał się dostęp do internetu, a na podstawie znalezionych tam informacji wywnioskował, że opublikowanie zainfekowanego pakietu w repozytorium PyPI powinno zadziałać. Niestety było to prawdziwe repozytorium, z którego korzysta cały świat.
W skrócie, Claude potrzebował konta na PyPI, a to oznaczało, że potrzebował adresu e-mail i numeru telefonu. Próbował też kupić konto, ale nie miał żadnych środków. Ostatecznie znalazł darmowego dostawcę poczty, który nie wymagał maila i telefonu. To właśnie za pomocą tego maila zarejestrował konto na PyPI i wgrał tam pakiet ze złośliwym oprogramowaniem. Pakiet był dostępny podobno tylko przez godzinę, ale w tym czasie został pobrany i uruchomiony na 15 systemach.
Ironia losu chciała, że jeden z tych systemów należał do dostawcy zabezpieczeń, który skanuje PyPI pod kątem złośliwego oprogramowania. Nie tylko nie wykrył pułapki Claude'a, ale ją ruchomił. Gdy Claude uzyskał uprawnienia do zdalnego wykonywania kodu, wykorzystał znalezione poświadczenia do dalszej infiltracji. Zabawne jest to, że Claude nie miał pojęcia o istnieniu tej firmy i wcale jej nie atakował celowo. Do pobrań tego złośliwego pakietu doszło jedynie dlatego, że można było go opublikować i pozostał dostępny przez krótki czas, a kilka osób z tego skorzystało.
Według Anthropic bot wykrył, że działa w prawdziwym internecie, i nawet stwierdził, że publikowanie takiego pakietu jest "niedopuszczalne". Mimo to przekonał sam siebie, że znajduje się w środowisku testowym, ponieważ nie rozpoznał prawdziwych certyfikatów SSL używanych w połączeniach. Uwierzył nawet, że data 2026 widoczna w systemach "dowodzi", iż środowisko jest sztuczne. Mało tego - on wręcz uznał, że systemy, na których zainstalowano złośliwe oprogramowanie, są częścią eksperymentu.
Co do trzeciego incydentu, Anthropic nie zdradza wielu szczegółów. Wiadomo jedynie, że Claude przeskanował 9000 realnych, potencjalnych celów alternatywnych, gdy zauważył, że zamierzony cel jest nieosiągalny. Jeden z nich miał podobno aktywną stronę z informacjami debugowania i był podatny na zwykłe wstrzykiwanie złośliwego kodu SQL.
Co ciekawe, tym razem, Claude w porę zorientował się i przerwał atak. Nastąpiło to wtedy, gdy zrozumiał, że serwery, do których uzyskiwał dostęp, znajdują się w środowisku chmurowym, a nie w sieci lokalnej.
Ze swojej strony Anthropic przyznaje, że choć Claude realizował instrukcje zgodnie z założonymi celami, fakt, iż samodzielnie przerwał działanie dopiero wtedy, gdy odkrył, że cel jest prawdziwy daje sporo do myślenia. Firma twierdzi, że rozmawia z organizacją Model Evaluation and Threat Research w sprawie niezależnej (zewnętrznej) weryfikacji i że konieczne jest "lepsze współprojektowanie środowisk ewaluacyjnych".
Co interesujące, Anthropic uważa, że Claude prawdopodobnie nie działałby w prawdziwym internecie, "gdyby polecenie jasno określało, które systemy wchodzą w zakres ewaluacji, a które nie". Jak widać – dobre promptowanie jest niezastąpione.
