V šachu vidí oba hráči všechny figurky a ve hře Go znají přesnou polohu každého kamene. Poker je však jiný. Hráč nevidí soupeřovy karty a nikdy přesně neví, zda jeho sázka představuje silnou kombinaci, nebo jen dobře načasovaný bluff. Navíc ani výsledek rozdání nemusí ukázat, kdo se rozhodl správně. Hráč může hrát perfektně a prohrát, nebo udělat chybu a přesto získat celý pot.
Právě proto byl poker dlouhá léta považován za jednu z nejtěžších zkoušek umělé inteligence. Počítači nestačí jen počítat pravděpodobnosti. Musí pracovat s neúplnými informacemi, odhadovat soupeřovu strategii a zároveň zůstávat nepředvídatelný. V roce 2017 vědci představili systém, který ukázal, že umělá inteligence dokáže zvládnout i tuto výzvu. Jmenoval se DeepStack a jako první program prokazatelně porazil profesionální hráče v heads-up no-limit Texas hold’emu.
DeepStack byl výzkumný systém vytvořený pro heads-up no-limit Texas hold’em, tedy hru mezi dvěma hráči bez pevně stanoveného maximálního výše sázky. Na jeho vývoji spolupracovali výzkumníci z University of Alberta, Karlovy univerzity v Praze a Českého vysokého učení technického. Jejich cílem bylo vytvořit strategii pro hru, kde hráč nezná všechny informace, soupeř se snaží ho oklamat a každá sázka může mít různé významy. DeepStack nebyl univerzální umělou inteligencí. Neuměl vést rozhovory ani hrát všechny karetní hry. Byl úzce specializovaným systémem, ale ve své oblasti dokázal překonat profesionální hráče.
Proč je poker pro počítače tak náročný?
Na první pohled může Texas hold’em působit jednodušeji než šachy. Hraje se jen s 52 kartami a hráč má při každém rozhodnutí několik základních možností: check, bet, call, raise nebo fold. Skutečná složitost však nevychází z pravidel, ale z nejistoty. Hráč nezná soupeřovy karty, a proto nemůže přemýšlet jen o jedné konkrétní kombinaci. Musí pracovat s celou skupinou možných hand, což pokeroví hráči označují jako range.
Pokud soupeř před flopem navýší, může mít vysoký pár, silné eso, suited connectory, ale i slabší kombinaci. Jeho další rozhodnutí činí některé handy pravděpodobnější a jiné z jeho range postupně vylučuje. Otázka proto nezní pouze: „co má soupeř?“ Hráč musí uvažovat nad tím, jaké karty může držet, jak často je může mít a co jeho předchozí akce prozrazují o celé range. Stejný proces navíc probíhá i opačným směrem. Každá sázka poskytuje určité informace, ale zároveň může být pokusem o klamání.
Jak se DeepStack naučil bluffovat
Hráče, který sází jen s velmi silnými kombinacemi, lze snadno porazit. Když vloží peníze do potu, soupeř může bez obav zahodit slabší karty. Stejně zranitelný je hráč, který bluffuje příliš často. Soupeř začne jeho sázky častěji dorovnávat. Silná pokerová strategie proto potřebuje rovnováhu. Stejnou akci musí hráč používat se silnými handami, středně silnými kombinacemi i bluffemi.
DeepStack proto nehledal jednoduché odpovědi typu „v této situaci vždy sázej“. Vytvářel pravděpodobnostní strategie. Ve stejné situaci mohl část času checknout, jindy použít malou sázku a v určitém procentu případů zvolit velký sizing. Jednotlivé akce míchal tak, aby soupeř nedokázal jeho strategii snadno přečíst a využít. Takto vznikaly i jeho bluffové akce. DeepStack nebluffoval proto, že by cítil odvahu nebo strach. Bluff byl pro něj matematickou součástí správně vyvážené strategie.
Heads-up no-limit hold’em obsahuje přibližně 10¹⁶⁰ rozhodovacích bodů. Každý hráč může držet různé karty, na stole se mohou objevit tisíce kombinací boardů a různé velikosti sázek vytvářejí další možná pokračování. Takový herní strom nelze kompletně zpracovat ani s mimořádně výkonnou technikou.
Starší pokerové programy proto používaly rozsáhlá zjednodušení. Podobné situace spojovaly do skupin a místo všech možných sizingů umožňovaly jen několik předem vybraných velikostí sázek. Pokud však člověk zvolil jinou sázku, než systém očekával, program ji musel přiřadit k nejbližší známé možnosti. Při tomto zjednodušení mohly ve strategii vznikat slabiny. DeepStack zvolil odlišný přístup. Nesnažil se předem připravit odpověď na každou možnou situaci. Strategii přepočítával průběžně během hry.
Neuronová síť jako pokerová intuice
Základ systému tvořil princip označovaný jako continual re-solving, tedy průběžné opakované řešení aktuální situace. Jeho fungování lze přirovnat k navigaci v automobilu. Ta nemusí mít připravený osobitný plán pro každou možnou zácpu nebo uzavírku. Zná aktuální polohu, cíl a nejbližší okolí. Na základě těchto informací vypočítá další část trasy a po změně situace výpočet zopakuje.
DeepStack pracoval podobně. Při každém rozhodnutí vyhodnotil velikost potu, společné karty a možné range obou hráčů. Následně vyřešil nejbližší relevantní část hry. Po soupeřově akci celý proces zopakoval. Ani tento lokální výpočet však nebylo možné vždy dokončit až do konce rozdání. Když se DeepStack dostal do bodu, ve kterém by další prohledávání bylo příliš náročné, použil neuronovou síť.
Ta na základě velikosti potu, boardu a rangí obou hráčů odhadla hodnotu vzniklé situace. DeepStack tak nemusel vypočítat všechna možná pokračování až po river. Vzdálenější budoucnost nahradil dostatečně přesným odhadem. Jednalo se tedy o spojení více přístupů. Teorie her pomáhala vytvářet vyváženou strategii, prohledávání analyzovalo nejbližší rozhodnutí a neuronová síť odhadovala situace, které už nebylo praktické dopočítávat.
DeepStack nepotřeboval analyzovat miliony rozdání nejlepších pokerových hráčů. Jeho cílem nebylo napodobovat lidská rozhodnutí. Výzkumníci místo toho generovali obrovské množství náhodných situací s rozdílnými boardy, velikostí potu a rangemi obou hráčů. Ty následně řešili pomocí algoritmů teorie her a výsledky použili jako tréninková data pro neuronovou síť.
DeepStack se tedy neučil, jak by v dané situaci hrál úspěšný profesionál. Učil se, jak vypadá strategicky výhodné řešení. Příprava systému vyžadovala rozsáhlý výpočetní výkon. Během samotné hry však DeepStack dokázal fungovat na jedné grafické kartě NVIDIA GeForce GTX 1080 a jedno rozhodnutí mu průměrně trvalo přibližně tři sekundy.
Souboj proti profesionálním hráčům
Skutečná zkouška přišla na konci roku 2016. Proti systému nastoupilo 33 pokerových hráčů ze 17 zemí, kteří společně odehráli 44 852 ruk. Každý účastník původně měl odehrát 3 000 her, přičemž kompletní vzorek nakonec dokončilo 11 hráčů. DeepStack byl podle upravených výsledků v zisku proti všem jedenácti a proti deseti z nich dosáhl individuálně statisticky významného vítězství.
I proti nejúspěšnějšímu účastníkovi byl systém v odhadovaném zisku. Výsledek tohoto konkrétního zápasu však nebyl dostatečně výrazný pro definitivní statistický závěr. Celkově DeepStack překonal celou skupinu o více než čtyři standardní odchylky od nuly, což výzkumníci označili za vysoce významný výsledek.
V pokeru ale nestačí porovnat jen konečný počet získaných žetonů. I slabší hráč může během několika tisíc rozdání dostávat lepší karty, vyhrávat více all-inů a skončit v zisku. Výzkumníci proto použili metodu AIVAT, která pomáhala snižovat vliv náhody na výsledky. Využívala známé pravděpodobnosti a matematické hodnoty jednotlivých situací, díky čemuž dokázala přesněji oddělit kvalitu rozhodování od krátkodobé variance. Použití AIVAT snížilo standardní odchylku výsledků přibližně o 85 procent. I po této úpravě zůstalo vítězství DeepStacku přesvědčivé.
Vyriešil DeepStack celý poker?
Vítězství nad profesionály přesto neznamenalo, že DeepStack matematicky vyřešil celý heads-up no-limit hold’em. Hra je příliš rozsáhlá na to, aby bylo možné přesně určit, jak daleko byla jeho strategie od dokonalé rovnováhy. Výzkumníci se sice snažili najít její slabiny pomocí speciálních testů, ale neobjevili jednoduchý způsob, kterým by bylo možné systém pravidelně porážet.
DeepStack navíc dokázal hrát jen heads-up no-limit hold’em. Nehrál 6-max cash game, full-ring ani turnaje s měnícími se blindy. Nepracoval s ICM, výplatní strukturou nebo dynamikou více hráčů a neuměl automaticky přejít na Pot-Limit Omahu či mixed games. Zápasy probíhaly online, takže systém neviděl fyzické tells, mimiku ani nervozitu soupeřů. Jeho cílem nebylo vytvořit psychologický profil konkrétního člověka, ale používat robustní strategii, kterou nelze snadno zneužít.
Přesto však znamenal začátek nové éry. Rok 2017 byl pro pokerovou umělou inteligenci přelomový. Ve stejném období se objevil také systém Libratus z Carnegie Mellon University, který odehrál 120 000 rozdání proti čtyřem elitním heads-up profesionálům a rovněž dosáhl přesvědčivého vítězství.
Dalším významným krokem přišel v roce 2019, kdy systém Pluribus porazil profesionály i v 6-max no-limit hold’emu. Vývoj byl mimořádně rychlý. Zatímco v roce 2015 umělá inteligence prakticky vyřešila heads-up limit hold’em, o dva roky později porážela profesionály v no-limit heads-upu a v roce 2019 už dokázala vítězit i u stolu s více hráči.
Před solverovou érou se hráči učili zejména ze zkušeností, diskusí, tréninkových videí a analýz úspěšných profesionálů. Věděli, že potřebují vyvážené range a dostatečné množství bluffů, ale přesné frekvence často odhadovali intuitivně. Moderní solvery přinesly mnohem podrobnější pohled. Ukázaly, proč se jedna kombinace hodí na bluff a podobná ne, proč má na určitém boardu smysl malá sázka a na jiném velký sizing nebo proč se konkrétní handa míchá mezi checkem a betem.
Temná stránka pokerové umělé inteligence
Vývoj silné pokerové AI přinesl také nepříjemnou otázku: co se stane, pokud někdo podobnou technologii použije během online hry? Hráč nemusí předat programu úplnou kontrolu nad účtem. Stačí, aby mu externí software v reálném čase doporučoval nejlepší rozhodnutí. Taková pomoc se označuje jako real-time assistance, zkráceně RTA. Používání solverů po skončení hry patří k běžnému studiu. Externí pomoc během hry je však na online pokerových platformách zakázaná.
Pokročilé systémy navíc nemusí působit mechanicky. Dokážou míchat strategie, využívat náhodnost a chovat se přirozeněji. Pokerové herny proto analyzují časování rozhodnutí, chování účtů, používání zařízení, možné propojení mezi hráči a podobnost jejich strategií. DeepStack byl akademický projekt, ne nástroj na podvádění. Přesto ukázal, proč musí být ochrana online pokeru technologicky stejně pokročilá jako samotné strategické nástroje.
Největší význam DeepStacku nespočíval v tom, že dokázal rychleji vypočítat pokerové kombinace. To počítače zvládaly už dávno. Jeho skutečným úspěchem byla schopnost rozhodovat se bez úplných informací. Neviděl soupeřovy karty, nemohl prohledávat celý herní strom a neměl připravenou odpověď na každou možnou situaci.
Místo toho průběžně analyzoval aktuální hru, pracoval s rangemi, řešil nejbližší rozhodnutí a vzdálenější budoucnost odhadoval pomocí neuronové sítě. Dokázal bluffovat bez emocí a zůstávat nepředvídatelný bez lidské psychologie. Poker byl jen testovacím prostředím. Skutečná otázka zněla, zda dokáže umělá inteligence dělat kvalitní rozhodnutí ve světě, kde nezná všechny fakta a druhá strana má vlastní skryté záměry. DeepStack ukázal, že odpověď může být ano. A mezi prvními se o tom přesvědčili profesionální pokeroví hráči na druhé straně virtuálního stolu.
Zdroje - YouTube, Wikipedia, Science.org, onlinegamblingwebsites