Když hloupý učí hloupého: Hloupne AI, hloupnou lidé | Kapitola 2
Seznam kapitol
Pokusy s tím, že AI učí jinou AI, nevypadají úplně dobře. To by ale asi nepřekvapilo žádného rodiče, který nechává vzdělávání svých ratolestí nevzdělancům na TikToku a dalších sociálních sítích.
Tahle superserverová monstra se budou používat pro „velké AI učení“ na velkých datasetech s modely s obrovským počtem parametrů. Zajímavá situace ale nastala na opačném konci spektra, tedy u modelů Llama2 a jejich učení na běžných GPU, kde se úspěšně podařilo učení jednoho AI modelu od jiného AI modelu. To přineslo masivní zrychlení a masivní zlevnění učícího procesu.
Experimentuje se i s dalšími metodami, jako jsou evoluční algoritmy, kdy AI dostane za úkol zoptimalizovat nějaký proces matematickou evolucí. Výsledky jsou někdy srandovní, protože, přiznejme si to, evoluce prostě občas produkuje srandovní výsledky.
Evoluční algoritmy provádí lokální optimalizaci, není u nich zaručeno, že najdou nejlepší možné řešení, ale typicky jenom nějaké postačující – a jindy to skončí legračním bizárem, jako u tohoto tenisu. Ono ostatně vůbec učení AI může dopadnout bizarně, pořád nejsme u toho, abychom nechali stroj bez supervize, ať se prostě učí sám.
Pozvolna se totiž ukazuje, že pokud se AI opakovaně učí od jiné AI, začíná být „divná“. Tento jev je dlouhou dobu známý, ukázal se například ve chvíli, kdy DeepMind, který se učil partiemi sám se sebou, provedl „divný tah z jiné dimenze“. Kdyby to udělal člověk, označili bychom to asi jako „geniální“ anebo „revoluční“, ale když to udělá AI, spoustu odborníků to vyděsí.
To, že se AI, která se učí od jiné AI, vzdaluje od našeho chápání, není nic divného. V podstatě jde o evoluční učení, které obvykle pomáhá vylepšovat chování – jako například u tréningu generování pomocí konkurenčních neuronových sítí. První síť se učí rozeznávat, zda je výsledek přirozený anebo generovaný, ta druhá se učí generovat tak, aby první síť nedokázala rozeznat její výsledky od přirozených. Sítě se přetahují tím, jak se vylepšují – a učí se tím od sebe navzájem.
Strašidelné to začne být ve chvíli, kdy se podobný mechanismus použije na hledání neobvyklých řešení, protože AI skutečně dokáže najít řešení, na které jsme jako lidé ještě nepřišli. A také ve chvíli, kdy si z dat vypozoruje něco, co se nám nelíbí, například když začne generovat predikce na základě lidských ras, což je hodnoceno jako rasistické – a tyto rozdíly jsou připisovány „rasovému biasu v datech“.
Komentáře naleznete na konci poslední kapitoly.
