KOMENTÁŘ: Když AI hackuje: skutečná hrozba, nebo dobře prodaný experiment?

Za prvé je třeba vzít v úvahu, že jde, bohužel, či bohudík, také o marketing pro dané firmy. A zdá se, že úspěšný. Samozřejmě není úplně vhodné chlubit se tím, že máte model, který dokáže někoho napadnout, a že jste jej sami, možná i záměrně, nedokázali udržet v bezpečném a odříznutém prostředí. Ale takový je dnes svět. Jak je vidět, mluví se o tom.

Za druhé tyto případy vykreslují poměrně nepěkný, hrozivý, ale zároveň také ne zcela pravdivý obraz. Minimálně ve dvou ohledech totiž vytvářejí zavádějící představu.

První iluzí je, že AI necháme v klidu pracovat, mírumilovně ji testujeme, a ona se najednou sama od sebe rozhodne napadnout nějakou externí službu. Tak to úplně není. AI je v těchto scénářích zpravidla velmi silně promptována k tomu, aby uspěla za každou cenu, a podle toho také jedná. Zároveň mívá vypnuté ochranné mechanismy svého uvažování a chování, které by při běžném provozu aktivní byly.

Druhou iluzí je představa, že jako IT společnost vůbec neumíme vytvořit dostatečně odříznutý „sandbox“, ze kterého by se AI nedokázala dostat. Ani to není pravda. Naše systémy nejsou natolik děravé, aby se AI dokázala dostat odkudkoliv kamkoliv, a ještě navíc bez povšimnutí. Každý rozumný cloud provider je schopen takové prostředí zabezpečit.

V tomto případě zřejmě kombinace určité nedůslednosti a velmi vysokého množství experimentů vedla k tomu, že někde udělal chybu lidský článek. Zároveň to ale ukazuje nepříjemnou realitu: v rámci uspěchaného vývoje ve frontier firmách se zabezpečení zjevně ne vždy věnuje taková důslednost, jaká by byla potřeba.

A za třetí, až když vezmeme v úvahu předchozí dva body, je potřeba podívat se na samotnou podstatu problému. A tou je fakt, že ano, existují modely, které se dokážou nabourat do cizích služeb. O tomto tématu se intenzivně mluví už od představení Mythosu. Je to nová realita.