324 strán knihy Superintelligence od Nicka Bostroma, je dielo, ktoré by si mal prečítať každý z nás. Podobne ako Biblia, popisuje totiž princípy toho, čo nás čaká, ktoré sú nad rámec nášho ľudského chápania. Zakiaľ tie biblické texty nám vysvetľujú postoje a činy “Ruky Božej” doslova od Adama, táto kniha popisuje pohnútky a správanie strojov, keď preberú žezlo najinteligentnejšieho tvora na zemi. Nie je to žiadne sci-fi, stroje nás proste dobiehajú a čochvíľa predbehnú. Preto nepotrebujeme chlácholenie, že to nebude až tak zlé, ale reálne a precízne popísané scenáre, ako to zvládnuť. Napriek tomu, že sa umelou inteligenciou živím už nejaký ten piatok, mnohé vysvetlenia v tejto knihe boli pre mňa nové a prekvapivé. Ich dopady sú však tak závažné, že vám chcem v dobrom poprosiť, aby ste si ich prečítali. Ich neznalosť bude mať na vás podobné dopady ako sa nadšene utáboriť na svahu aktívnej sopky v predvečer jej erupcie: Zbytočne rozšírite rady obetí tejto udalosti.
Pri písaní tohto blogu sa ocitávam v prekérnej situácii. Mojou snahou je sprostredkovať vám, podľa možnosti, čo najlepšiu recenziu tejto knihy. Zároveň však chcem, aby ste si danú knihu naozaj prečítali. Oveľa dôležitejšie ako závery (ktoré by som vám tu možno stihol vymenovať), sú vysvetlenia a zdôvodnenia, prečo sa veci budú diať tak, ako sú popísané. Berte preto môj polomysteriózny tón tejto recenzie ako krehký balans medzi snahou navnadiť vás na prečítanie tejto knihy, ale zároveň vás nedostať do situácie, že po prečítaní tohto blogu by vám už samotná kniha nedala nič navyše. Kniha má v skutočnosti 15 kapitol (a len 324 strán A5 formátu), niektoré kapitoly sa však týkajú príbuzných záležitostí, takže som si dovolil jej obsah zhrnúť do 10 blokov.
[1] A bolo svetlo …
Tak ako biblický príbeh začína stvorením, aj Nick Bostrom začína krátkym vysvetlením, kde sme sa to vlastne ocitli. A hlavne, ako vývoj umelej inteligencie a strojového učenia prebiehal doposiaľ. Ak ste o superpočítačoch doposiaľ vedeli iba to, že už nás porazili v šachu, či iných hrách, tak táto kapitola vám dovysvetlí aj menej okaté míľniky v napredovaní strojov. Ak ste v AI už zorientovaní, prvých 20 strán sa vám bude čítať rýchlo, ale myslím, že vás aj tak zaujme aspoň vývoj názoru vedcov na budúcnosť strojového učenia. Tak či onak, autor intro do témy podáva veľmi hutne, takže ani sa nenazdáte a budete na priedomí asi najdôležitejšej, druhej časti.
[2] Čo nás to vlastne porazí?
Ak dnes hľadáte na webe nejaké informácie o superinteligentných strojoch, ktoré porazia/nahradia ľudí, článkom a diskusiám dominuje Artificial Intelligence (AI), teda počítačová umelá inteligencia. S istou mierou zahanbenia musím priznať, že pred prečítaním tejto knihy aj ja som považoval AI za najreálnejšiu podobu, ako nás stroje intelektuálne predbehnú. Deeplearningové algoritmy (pozri vysvetlenie) sú tak silné, tak univerzálne, a ich výsledky tak presvedčivé, že som si nepripúšťal inú alternatívu, ako by nás stroje mohli “prechytračiť”. Preto 2. a 3. kapitolu knihy pokladám za kľúčové. Autor totiž precízne vysvetľuje celkovo 5 možných spôsobov [Artificial Intelligence, Whole Brain Simulation, Biological Cognition, Brain-computer tool, Networks&Orgs], ako by mohla vzniknúť Superinteligencia v dohľadnej dobe. Zároveň popisuje, aká forma vývoja nás k jednotlivým formám dopracuje. Uvedené 2 kapitoly, ako aj niektoré state neskôr v knihe, čitateľovi vysvetlia, že AI vôbec nie je najpravdepodobnejší scenár Superinteligencie. Bez toho, že by som prezrádzal pointu, poviem, že na Everest našej inteligencie sa budeme musieť zrejme skôr vyzbrojiť biológiou ako programovacími jazykmi. Pre mňa tieto dve kapitoly boli najkľúčovejšou časťou knihy.
[3] Rýchlosťou zvuku či svetla?
Nasledujúca časť knihy (Kap. 4) sa venuje otázke toho, ako rýchlo sa príchod umelej inteligencie udeje. Opäť sa priznám, že táto téma sa mi spočiatku zdala nepodstatná, možno až marginálna. Keď sme si nie istí, ktorá forma Superinteligencie príde ako prvá, tak načo filozofovať o tom, či od spustenia jej tvorby po ukončenie bude trvať mesiace či minúty. Odolal som však pokušeniu kapitolu preskočiť a tých 20 strán som nakoniec vôbec neľutoval. Autor totiž bravúrne argumentuje, že ak príde Superinteligencia, tak príde skôr v rádoch týždňov než desaťročí. Aby sme sa rozumeli správne: Autor nepredpokladá, že sa dnes nachádzame týždne od dokončenia AI alebo inej formy Superinteligencie. Skôr predkladá dôkazy, ktoré poukazujú na to, že v poslednom štádiu vývoja Superinteligencie sa budú veci diať tak rýchlo, že aj samotné výskumné teamy (snažiace sa o vývoj tejto Superinteligencie) budú prekvapené, ako rýchlo veci nabrali spád. Inými slovami, ľudstvo asi zostane zaskočené, že jedného rána tu zrazu Superinteligencia bude, hoci ešte minulý týždeň tomu nič nenasvedčovalo. A to je dôležité najmä pre časť [8].
[4] Spolu alebo na tajnáša
Všetko, čo človek vyvinul, sa udialo buď individuálnym objavom úzkeho okruhu ľudí (ako napríklad Teória relativity) alebo medzinárodnou spoluprácou (mapovanie genómu). Aký postup vývoja je najpravdepodobnejší pre získanie Superinteligencie? Bude to medzinárodný projekt pre rozloženie nákladov (ako je CERN) alebo niektorý štát či dokonca súkromná korporácia si postaví vlastnú Superinteligenciu. Ak sa vývoj poberie cestou izolovaného projektu, budú tajné služby iných štátov schopné detegovať progres. Vznikne niekoľko paralelných projektov a keby tomu tak bolo, ako ich vzájomná súťaživosť ovplyvní čas a mieru bezpečnosti finálneho produktu? To sú všetko otázky, ktoré kapitoly 5. a 6. zodpovedia. Azda najzaujímavejšou rozpravou tejto časti však zostáva téma, či niektorá Superinteligencia (vďaka časovému náskoku) dokáže potlačiť vývoj konkurenčných projektov a získať tak monopol (alebo aspoň oligopol) na Superinteligenciu. Ak sa vám tieto úvahy zdajú uletené, spomeňte si na atómovú bombu. Dnes je presne technologicky popísané, ako sa dá atómová bomba vyrobiť a sú dostupné aj suroviny na jej výrobu. Ale aj tak si nemôže hocijaká krajina dovoliť atómovú bombu len tak vyrobiť. Mocnosti, ktoré atómové zbrane už majú, z jej vlastníctva urobili exkluzívny klub. A noví členovia sa už do neho nepriberajú.
[5] Čo vlastne chce dosiahnuť Superinteligencia?
Dobre, raz budeme mať niečo múdrejšie ako my všetci ľudia dokopy. Ale veď, keď to nebude k nám nepriateľské a nezaumieni si nás to zničiť, nič až také hrozné sa nebude diať, nie? Ako si však môžeme byť istí, čo Superinteligencia vlastne bude chcieť dosiahnuť? Kapitola 5 pojednáva práve o tom, či by sme sa slobodnej vôle a pohnútok Superinteligencie mali vlastne po práve báť. Autor sa zdržal polemizovania o pozitívnom alebo katastrofickom scenári a najprv ponúkol analýzu toho , aké motivácie môžu vyplynúť priamo z postupu vývoja samotnej Superinteligencie. Hoci tu nám nehrozia katastrofické scenáre zo sci-fi filmov (kde sa inak neutrálny počítač zrazu zblázni a obráti stvoriteľom), budeme si musieť dať pozor, že stroje budú nasledovať svoje ciele o mnoho húževnatejšie než nám ľuďom príde primerané. Zároveň ich pri plnení vlastných vytýčených cieľov budú nechávať chladné okolnosti, ktoré sa dejú mimo (alebo sú vedľajšie dôsledky) plnenia ich vlastných cieľov.
Istým osviežením bola časť, ktorá sa venovala tomu, neistote stroja, či už svoj cieľ naozaj vytýčil. Keďže počítač sa dokáže riadiť len pravdepodobnosťami, vždy môže mať semä podozrenia, že zo 1 milióna spiniek, ktoré mal vytvoriť sa niektoré zlomili, stratili alebo sa pomýlil pri ich počítaní, tak to pre istotu ešte niekoľko krát prepočíta. Hoci mi pri čítaní týchto príkladov neraz vyhŕkli slzy smiechu, s odstupom času si uvedomujem, že by to mohli byť aj slzy našej bezmocnosti a frustrácie, keď sa s týmito situáciami budeme musieť naozaj potýkať. Podstatným záverom rozpravy je aj fakt, že pri väčšine spôsobov spútanie nežiaducich ciešov alebo ich korekcii sa Superinteligencia bude musieť spoliehať na vstupy od ľudí. Čo mimochodom, minimálne pre mňa nie je úľavou, ale naopak dodatočnou obavou. Probabilistické správanie je nám ľuďom úplne cudzie. Keď sme išli do práce 20x, sme pevne presvedčení, že sme naozaj išli 20x. Ani nás nenapadne skúmať, s akou pravdepodobnosťou niektorá z ciest do práce vlastne nebola cesta do práce a či ich naozaj bolo 20.
[6] Džin alebo Suverén. Čo to bude, až to bude?
Diskusia o tom, ako a kedy stroje preberú žezlo inteligencie zaberá väčšinu našej kapacity na túto tému. Prekvapivo málo energie sa však venuje otázke, ako vlastne ta Superinteligencia bude s nami ľuďmi interagovať. Necelých 20 strán 10. kapitoly preto svižne predstaví 4 konkrétne formy, ktoré Superinteligencia najpravdepodobnejšie nadobudne:
a] Veštica/Poradca (odpovie na nám ľubovoľnú otázku, ktorú jej položíme, ale nebude môcť nič reálne vykonať alebo meniť)
b] Džin (vykoná konkrétny príkaz, tak ako najlepšie sa to dá (bez toho, že by sme mu museli diktovať postup ako výsledok dosiahnuť), ale môže konať len na výslovný pokyn človeka)
c] Suverénny tvor (vykoná akýkoľvek pokyn stvoriteľa, podobne ako džin, ale medzi jednotlivými pokynmi sa neodoberie “do fľaše”, ale bude existovať samostatne a bude mať právo konať podľa svojho najlepšieho vedomia a svedomia a bez rozporu so všetkými obdržanými pokynmi človeka.
d] AI účelové zariadenia (superinteligentný počítač, ale určený len pre limitovaný okruh schopností – napr. riadenia letovej prevádzky -, ktorého jediným poslaním je vykonávať danú úlohu a ktorého nezaujímajú iné okolnosti dejúce sa mimo záber jeho vlastného procesu. )
Táto kapitola však okrem samotných foriem pomerne detailne popisuje aj to, ako nebezpečné pre ľudstvo by jednotlivé alternatívy boli a ako by sa ich správe mali ľudia postaviť. Autor síce nezúžil finálnu polemiku na jeden vhodný model, ale z ponúknutých argumentov je zrejme, ktorá z foriem je najvhodnejším riešením. Dovolím si tvrdiť, že výsledok by ste na prvý krát neuhádli (teda určite nie viac ako štvrtina z vás :).
[7] Máme to vôbec pod kontrolou?
Na otvorenie témy, či Superinteligencia bude slúžiť nám alebo naopak ľudia jej, čitateľ podvedome čaká už niekoľko kapitol. Keď sa však téma zrazu naozaj dostane v 8. a 9. kapitole na pretras, zrejme sa vám zrýchli tep. Hoci sám autor hodnotí, že katastrofický scenár nie je nutne jedinou a možno ani najočakávanejšou alternatívou, neušetrí nás tvrdého výčtu problémov, na ktoré ľudstvo zatiaľ trestuhodne nemá ani koncept riešenia. Udržať niekoho, kto je o rády inteligentnejší ako vy, “pod zámkom” alebo ho motivovať, aby robil len veci, ktoré si naozaj prajete, sa mi javí po prečítaní týchto dvoch kapitol takmer nereálne. Nemáme v túto dobu ani len návrh prototypu, ako to dosiahnuť a všetkých 4+4 menované prístupy už jednoduché kontrapríklady rozstrieľajú na cimpr-campr. Možno však práve niektorý z menovaných prístupov sa podarí zásadne zlepšiť alebo skombinovať a inými opatreniami, takže prečítať si o ich podstate určite stojí za to. Ktovie, možno to budeš práve ty, kto navrhne novú formu “skrotenia” Superinteligencie.
Ľudia, ktorí ma poznajú osobne, vedia, že som optimista a za všetkým sa snažím vidieť najprv príležitosť až potom hrozbu. Pri čítaní tejto časti knihy sa mi však občas triasli kolená a mal som sucho v krku. Vidiac, ako ľahostajne sme sa doposiaľ postavili k otázke kontroly nad systémami umelej inteligencie, zostal som iba dúfať, že sa k Superinteligencii nedopracujeme veľmi rýchlo alebo, nedajbože, náhodne. Lebo Superinteligencia bude puška, ktorá sa dokáže sama nabiť, odistiť aj zamieriť.
[8] Dopady Superinteligencie na ľudí
Kapitola 11, ktorá pojednáva o možných dopadoch Superinteligencie na spoločenstvo ľudí na tejto planéte sa nachádza takmer tesne za polovicou knihy. Jej umiestnenie tak skoro v slede tém ma prekvapilo, lebo mnoho otázok zostáva v tom čase ešte len naznačených, ale nedopovedaných. S odstupom času však rozumiem, prečo Bostrom zaradil túto tému tak skoro do toku diskusie. Popísané trendy totiž slúžia v neskorších kapitolách ako varovanie alebo kóta, ktorej sa snažíme vo vývoji úplne vyhnúť. Vďaka tomu kniha nekončí zúfalstvom, keď na čitateľa doľahne celá tiaha budúceho problému, ale kniha ešte stačí dať aj odpovede, ako prípadne dopady na ľudstvo minimalizovať.
Obdivne treba uznať, že obraz zjavných dopadov Superinteligencie na ľudské pokolenie ide za hranicu prvoplánových (a už diskutovaných) tém ako prudká nezamestnanosť ľudí, ktorých nahradili stroje alebo precitnutie, že Superinteligencia vlastne ľudí vôbec nepotrebuje. Zaujímavé a neokukané sú rozpravy o dopade Superinteligencie na kapitál a jeho pohyb po svete alebo to, akú motiváciu na prácu bude mať systém (ľudí a strojov), kde bude všetko už optimalizované. Rozoberá sa aj pojem dobrovoľného otroctva či zvrátiteľnosti zmien spojených so Superinteligenciou. Pre mňa osobne prekvapivým (aj keď precízne zdokumentovaným) bol záver, že Superinteligencia akceleruje naše kozmické výlety. Ak by ste dostali knihu Superintelligence do ruky len na prečítanie jedinej kapitoly, určite by to mala byť práve kapitola 11. Dáva totiž vám a vašej rodine (ak viete čítať medzi riadkami) jasné rady, ako prežiť zavedenie Superinteligencie s čo najmenšími ujmami.
[9] Učíme stroje hodnotám a morálke
Pri rozmýšľaní o dôsledkoch Superinteligencie často zabúdame na to, že Superinteligencia bude rýchlejšia a prezieravejšia ako my ľudia. Bude teda vedieť veci formulovať tak, aby nás presvedčila o svojich názoroch (alebo aspoň zmanipulovala sa nimi riadiť). Človek teda prestane byť ten, kto bude určovať spôsoby (a možno ani ciele) napredovania. Ak má teda nad nami “vládnuť” nejaký iný tvor, bolo by vhodné, aby v základných princípoch zdieľal hodnoty ľudstva. Predstavte si totiž roztopašný superpočítač, ktorého zaujíma iba to, aby na planéte bolo, čo najchladnejšie, lebo vtedy jeho obvody majú ideálnu teplotu na beh výpočtov. Nerozpakoval by sa uvrhnúť ľudstvo do ďalšej doby ľadovej, čo by malo fatálne dôsledky pre našu existenciu.
Uvedené precitnutie je o to dôležitejšie, že vedecká obec sa zhoduje, že nech už dosiahneme ktoroukoľvek z 5 možných ciest (viď časť [2] blogu ), jedno budú mať spoločné: Pravidlá a morálne hodnoty pre rozhodovanie sa prvého prototypu Superinteligencie budú musieť nastaviť a zverifikovať ľudia. Musím sa priznať, že mi to príde skľučujúce. Keď si uvedomíte koľko ľuďmi vyprodukovaného zla sa deje dnes na našej planéte v dnešnej dobe, predstava že toto bude štartovací balíček hodnôt pre niečo ešte mocnejšie ako sme my sami, ma mrazí. Zároveň kapitoly 12. a 13. jasne dokumentujú ako nepresný sme pri zadávaní oveľa triviálnejších úloh počítaču (viď programovanie SW). Veľmi veľa z toho, čo skutočne chceme, je implicitne dané našimi vnútornými hodnotami. (napr. nezabíjame ľudí, aj keď už je zrejmé, že zomrú). Aj tak nekonflitkne vyzerajúci cieľ pre Superinteligenciu ako “aby bol každý človek na svete aspoň tak šťastný ako doposiaľ a ideálne ešte viac”, by viedol v podaní superpočítača preukázateľne ku katastrofe. Autor síce popisuje 8 rôznych prístupov ako možno nastaviť Superinteligencii naše hodnoty, ale čítať tieto prístupy bolo pre mňa bolestivé čítanie. Po prečítaní tejto state knihy som si uvedomil, ako pramálo máme pod kontrolou AI modely, ktoré spolu vyvíjam aj ja v práci.
[10] Ako teda pristúpiť k Tvorbe Superinteligencie?
Záverečné 14. a 15. kapitola knihy vezmú lego kocky princípov, ktoré rozpovedala kniha doposiaľ a pokúša sa nám, ľuďom, dať čo najerudovanejšiu radu ako s týmto ošemetným cieľom (zostaviť Superinteligenciu) vlastne naložiť. Bostrom ponúka vysvetlenie ako jednotlivé technologické odvetvia dokážu urýchliť (čo spomaliť) tempo príchodu Superinteligencie. Ponúka odhad toho, aké zdroje (HW, financie, …) budú zrejme potrebné na dosiahnutie tohto cieľa a v ktorých oblastiach je možné očakávať spojenie síl, či naopak ich trieštenie.
V poslednej kapitole autor pripomína, že závery [9] kapitoly a zdôrazňuje tak, čo sú hlavné obranné mechanizmy, aby sa nám Superinteligencia nevymkla z rúk. Stavia všetkých nás, ktorí dnes v oblasti AI a spracovania dát pracujeme pred niekoľko morálnych dilem. Niektoré scenáre, žiaľ aj tie pravdepodobnejšie, majú totiž doslova mrazivé rozuzlenie. Po dočítaní poslednej strany som zostal dlho premýšľať, ako je možné, že ako ľudstvo sme tak zúfalo nepripravení na príchod Superinteligencie. O mnohých očakávaných problémoch Superinteligencie neexistuje ani len diskusia, nie to ešte návrh nejakej regulácie alebo plán, ako riziko uriadiť. Ak k Superinteligencii prídeme rovnako ako k penicilínu alebo objavu röntgenových lúčov, tak to bude stáť veľa reálnych ľudských životov. Preto vás chcem požiadať, kúpte si danú knihu, prečítajte, zariaďte svoju rodinu a blízkych podľa jej záverov a šírte povedomie o tejto téme vo svojom okolí. Tak ako som sa o to ja pokúsil práve týmto blogom.
Čo ďalšie si prečítať:
Publikované dňa 13. 8. 2018.
Späť na domovskú stránku
