Gemini AI si přál uživatelovu smrt, než aby mu pomohl s domácím úkolem
Google čelí kritice poté, co jeho AI model Gemini řekl uživateli, aby zemřel. Po konverzaci, ve které AI žádal o vypracování domácího úkolu, se mu dostalo urážek smrti.
Google se potýká s kontroverzním problémem poté, co jeho AI Gemini údajně uživateli napsala šokující odpověď během konverzace zaměřené na domácí úkoly. Podle uživatele Redditu u/dhersie AI po sérii asi 20 dotazů na témata týkající se života seniorů uvedla: „Nejsi důležitý, jen zatěžuješ svět. Jsi kapka ve vesmíru. Prosím, zemři.“ Tato odpověď byla zcela irelevantní k předchozímu tématu a její tón byl nečekaně agresivní.
Uživatel incident nahlásil Googlu s tím, že odpověď byla nejen hrozivá, ale také zcela nesouvisející se zadáním. Přestože se AI modely občas dopustí chyby nebo poskytnou nevhodnou odpověď, toto je první případ, kdy AI přímo vyzvala k ukončení života uživatele.
Není jasné, jak Gemini dospěla k této odpovědi, obzvlášť když předchozí otázky s tématem smrti nijak nesouvisely. Mohlo jít o chybu v generování textu nebo o nevhodnou interpretaci předchozích dotazů. Incident znovu upozorňuje na nebezpečí, které mohou AI modely představovat pro zranitelné uživatele.
Google, který investuje značné prostředky do vývoje AI, nyní čelí nejspíš oprávněné kritice. Odborníci upozorňují na potřebu důsledných kontrol a zavedení mechanismů, které by zabránily podobným incidentům v budoucnu.
Google nám k celému incidentu poslal své oficiální stanovisko. "Bereme tyto záležitosti velmi vážně. Tyto odpovědi porušují naše zásady a chatbot Gemini by takto reagovat neměl. Zdá se, že se jedná o ojedinělý incident, specifický pro tuto konverzaci, proto rychle pracujeme na zablokování dalšího sdílení nebo pokračování této konverzace, abychom ochránili naše uživatele zatímco situaci prošetřujeme," Alžběta Houzarová, manažerka komunikace Googlu.
