Zlá, zlá AI: Jak nám technologický pokrok přináší nové zločince a nové pány

Knuta umělostrojních pánů je nemilosrdná. Osobně jsem byl strojovým samosoudcem na Facebooku potrestán už dvakrát: Za prvé proto, že jsem citoval hlášku z Aliens na fóru věnovaném Aliens – a za druhé proto, že jsem sdílel vtip o čínském průzkumném balónu, který systém vyhodnotil jako „sexuální zneužívání dospělých“. 

To první je zjevná neschopnost rozeznat citát a umístit ho do kontextu, to druhé je pro mě čirá záhada. Co na tom mašině přišlo divného, nedokázali detekovat ani mí teplí kamarádi, kterých jsem se zeptal, jestli to nějak není něco proti gayům nebo tak. Nevěděli a odhadovali, že to možná nějak souvisí s tím, jak umřel brazilský kněz při letu balónem, což je skutečně divná klasifikace do kategorie „sexuální zneužívání dospělých“. Facebookový umělý samosoudce své rozsudky nijak nerozebírá, takže jen hádáme. 

Nemyslete si, že strojový systém Facebooku šikanuje jenom nás, oprsklé bílé heterosexuály, kdepak – mé teplé kámoše trestá taky přísně, protože občas taky sdílejí vtipy a říkají, co si doopravdy myslí. Noví strojoví páni mají menší smysl pro humor než Strana v románu Žert od Kundery – a s tím, jak je Západ stále více „korektní“ neboli méně svobodný, můžeme jen čekat utužování restrikcí. 

AI na tom sama nenese vinu. Nedávno jsem četl optimistický článek o tom, že se AI nemusíme bát, že nám vlastně není cizí, protože ona sama je naším vlastním obrazem. Jinak řečeno – je vlastně esencí toho, co je lidstvo samotné. To může někoho uklidnit, mě úplně ne, protože lidstvo dokáže být sice vznešené, ale taky naprosto hrozné – a s AI to bude podobné podle toho, co ji naučíme. 

Od počátků filozofie existuje řada tezí o podstatě lidského ducha, které se vyznačují tím, že je obvykle konstruují jedinci, kteří mají velmi, velmi odlišného ducha od drtivé většiny ostatních. Aristoteles, Seneca anebo Cicero skutečně nejsou příklady průměrného jedince, spíš patří do kategorie zvláštností. Z jejich produkce pak vypadávají „motivační citáty“ o „ctnostech“, které tak nějak vybudovaly představu o vznešeném člověku, občas po aristotelovsku kontaminovanou představu o superioritě ctnostného člověka nad těmi prostými. 

Tato naivní filozofická představa byla celou historii narušována nejen realitou, ale ve 20. století také etologií, tedy naukou o chování. Konečně jsme se zbavili zamyšlených starců, kteří se vznáší na nehodným lidstvem a eticky klasifikují jeho behaviorální vzorce – a místo toho jsme dostali studie neutrálních etologů, kteří si položili zcela prostou otázku: Pokud nás formuje evoluce, proč v ní přežívají vzorce chování, odsuzované morálně superiorními jedinci jako úpadkové? Proč přežívá zuřivá agrese, zbabělost, promiskuita anebo sobectví?

Morálně superiorní jedinci teologického ustrojení na to mají prostou odpověď: Evoluce neexistuje, respektive je od ďábla. Vše Bohem stvořené bylo dokonalé, to ďábel to zkazil a my s ním jedeme na rollercoasteru do pekla. Věc se má totiž tak, že v evoluci koncept morálky vůbec neexistuje, přežívá jakékoliv chování, které nějakým způsobem zvyšuje pravděpodobnost přežití komunity. 

Jedním z klasických hlavolamů pro moralisty je tak zvaný Aschův experiment se sociální konformitou (1951). Je založen na tom, že je vytvořena falešná experimentální skupina a jen jeden člověk s tím nevyrozuměný je vlastním cílem experimentu. Zadavatel ukazuje skupině úlohy – a ti informovaní odpovídají špatně, přičemž se testuje, zda testovaný subjekt bude odpovídat správně anebo se přidá ke skupině. Téměř dvě třetiny odpovídaly správně, ale více než třetina se přidala na stranu skupiny. Jak je toto možné?

Popravdě, to, že „sociálnímu tlaku“ odolala více než polovina účastníků, souvisí s tím, že byli nadprůměrně vzdělaní. Kolem jevu se objevil zilion sociologických teorií, ale odpověď na podstatu jevu je zcela prostá: Zrcadlení je vrozené všem zvířatům žijícím ve skupině. Protože kritické myšlení je jevem evolučně novým, je statisticky výhodnější dělat to, co dělá zbytek skupiny: Za prvé je vyšší šance, že se spíš mýlí jedinec než skupina. Za druhé sociální konformita je technika, jak skupina sdílí znalosti, jak se společně učí. 

V minulosti se staly neuvěřitelné případy zneužití sociální konformity, jako například ten, který popisuje film Compliance z roku 2012. V něm se pracovnice rychlého občerstvení stane terčem šikany a nakonec i znásilnění, které nařizuje „policejní důstojník“ přes telefon. Lidi jsou neuvěřitelně naivní a zároveň připravení manipulovat ostatními pro svoje pobavení. 

Možná vám ten příběh bude připadat jako přitažený za vlasy: Ne, profesionální manažer nemůže být takový idiot, aby se nechal dirigovat po telefonu a už vůbec nemůže dojít k tomu, že na základě telefonických instrukcí fakticky někoho znásilníte. To je absurdní, ne? Bohužel ne, tato událost se stala v roce 2004 v Kentucky. A nešlo o první případ, podobné události se staly alespoň v 70 případech už od roku 1994 a pokrývá je například Wikipedie.

Problém s vrozeným chováním je v tom, že evoluce udržuje širokou varietu chování a vylučuje jen ty jedince, kteří nejsou způsobilí přežít anebo se reprodukovat, případně nepřináší žádný benefit pro přežití ostatních. I to, co bychom hodnotili jako těžké poruchy chování, jako je psychopatie anebo naopak sebevražedný altruismus, zvyšuje šance na přežití skupiny, a proto se v ní takové vzorce uchovávají. 

A to je trochu problém pro život v civilizaci, která si přináší další omezení a to, co v evoluci fungovalo bez problémů, se do ní nějak musí integrovat. Pokud má být AI našim obrazem, není úplně moudré, abychom ji nechali replikovat všechny naše behaviorální vzorce, protože řada z nich nedává v rámci civilizace prostě smysl. 

Evoluce nás vede k chování, které je efektivní v našem prostředí, ale nefunguje moc rychle a nemáme záruku, že to bude nějak zvlášť príma. Evoluce nás dovedla k tomu, že máme jedince s altruistickým chováním, kteří se obětují pro jiné. Pak máme ty, kteří hledají příležitost v tom, jak využít jiné. A potom i takové, kteří se snaží ostatní aktivně podvést – ať už je to přímým zneužitím altruistů anebo pastí na ty, kteří chtějí vydělávat na příležitostech. 

Klasické příklady znáte: Toho týpka, co si půjčuje od známých a nic nevrací. Toho dobrého muže, který se vždy podělí. A taky toho vyčůránka, co rád kupuje za levno, když je nouze. Technologie tohle všechno multiplikovala, takže máme věci jako crowfunding, kde se dobří lidé skládají na potřebné, internetové podvody, kde podvodníci dělají například ten falešný crowfunding – anebo vyložené pasti, jako jsou úžasné investiční příležitosti a nigerijští princové v nouzi. 

Zjednodušeně řečeno se dá říci, že technologie zlepšuje život jak těm dobrým, tak těm zlým, protože dnes se dá podvádět přes půlku světa a ještě se dají využívat legální bariéry, které komplikují policejní zásahy. V USA jde o regulérní průmysl, který se zaměřuje zvláště na seniory, v roce 2022 šlo o těžko uvěřitelných 68 milionů případů pokusu o podvod, které podvodníkům vynesly téměř 40 miliard amerických dolarů. 

Prakticky přes kopírák se jedou stejné podvody i u nás – a podle všeho rovněž také velice úspěšně.

Trend přitom akceleruje – a nemějme iluze, že z relativně jednoduchých nátlakových telefonních hovorů, které vytváří stres na důvěřivé seniory, nepřejdou scammeři rychle sofistikovanějšího. S rozmachem smartphonů přišel spyware a ransomware – a dnes se na nás chystá nová generace podvodů. A nepochybujte ani v nejmenším, že se do toho plnohodnotně zapojí nová AI. 

Dnes už máme zprávy o tom, že hackeři využívají schopnosti ChatGPT psát skripty a malware, přičemž alarmující je hlavně to, že AI značně urychluje vývoj takových nástrojů. Zatím jde podle zpráv o skripty nižší úrovně sofistikovanosti, ale jsme teprve na začátku. 

OpenAI na to reaguje rozšířením Moderation API, které má za úkol eliminovat podezřelé a nelegální požadavky a také se řeší otázky watermarkování kódu – i když tam mám dojem, že watermarkování bude fungovat pouze do doby, než se zjistí, jak funguje a jak se dá odstranit.

Buď jak buď, ruští hackeři už údajně hromadně řeší, jak obejít limity OpenAI API, hlavně se řeší regionální omezení (geofencing) a věci, jak obejít OpenAI SMS verifikaci pomocí dočasných telefonních čísel. Je to jen první krok, ale pochybuji, že se zastaví jenom u průzkumu.

Pointa není v tom, co dnes AI umí, ale jak ji lze propojit a co z ní lze vytvořit. Dnes umíme vytvořit deepfake porno, deepfake videa a také umíme AI přesvědčit, aby říkala, co chce, takže se s námi například naše oblíbené postavy ze Star Wars umí podělit o svá mladická sexuální dobrodružství.

ChatGPT zatím nepřekonává lidi v pravdivosti, ale je dostatečně věrohodný a produktivní, takže dokáže chrlit na zadání spoustu obsahu. Je jenom otázkou času, až se objeví nástroje, které nejenže dokážou generovat podvody s vysokou mírou věrohodnosti, ale zvládnou i individuální přizpůsobení, případně vytvoří celý komplex fake stránek, které se na sebe budou odkazovat s vhodnou SEO optimalizací tak, že prostě nepůjde snadno rozeznat, jestli jde o podvod, anebo ne. Začnete ověřovat, vyhledávat – a bude to vypadat podstatně věrohodněji, než to vypadá dnes.

Zatím se s rafinovanými podvody nikdo nepáře, ale AI je může automatizovat, čímž je učiní méně pracnými i pro lenivější podvodníky. Případně vzniknou nástroje, které to budou generovat přímo na míru – anebo hlasová komunikace, která na rozdíl od vnuků s těžkým jamaským dialektem bude telefonovat důchodcům s fake hlasem zcela věrohodně odpovídajícím regionu. Podvody zatím stojí na časovém nátlaku, který je pro ně charakteristický – co když jejich věrohodnost řádově vzroste?

Největším problémem dnešní AI je zatím to, že sice nevíme, co ji přesně máme učit, ale ona už pracuje velmi rychle a velmi efektivně. Na jednu stranu si dnes hraje na fízla, který ze záhadných důvodů cenzuruje vaše posty, ale už brzo to bude i nástroj pro hackery, kteří se z vás budou pokoušet vymámit přístupy sem anebo tam a ideálně i k vašim účtům a peněženkám.

Ano. AI je obrazem nás, lidstva. V tom dobrém – a bohužel i v tom zlém.