Im Schach sehen beide Spieler alle Figuren, und im Spiel Go kennt man die genaue Position jeder Figur. Poker ist jedoch anders. Man sieht die Karten des Gegners nicht und weiß nie genau, ob die eigene Wette eine starke Hand darstellt oder nur ein gut getimter Bluff ist. Außerdem muss das Ergebnis einer Hand nicht immer zeigen, wer die richtige Entscheidung getroffen hat. Ein Spieler kann perfekt spielen und dennoch verlieren oder einen großen Fehler machen und trotzdem den gesamten Pot gewinnen.
Deshalb galt Poker lange als eine der härtesten Prüfungen für künstliche Intelligenz. Ein Computer kann nicht einfach nur Wahrscheinlichkeiten berechnen. Er muss mit unvollständigen Informationen arbeiten, die Strategie des Gegners einschätzen und gleichzeitig unvorhersehbar bleiben. Im Jahr 2017 stellten Wissenschaftler ein System vor, das zeigte, dass künstliche Intelligenz auch diese Herausforderung meistern kann. Es hieß DeepStack und war das erste Programm, das professionelle Spieler im Heads-up No-Limit Texas Hold'em nachweislich besiegte.
DeepStack war ein Forschungsprojekt für künstliche Intelligenz, das für Heads-up No-Limit Texas Hold'em entwickelt wurde, ein Spiel zwischen zwei Spielern ohne festgelegtes maximales Einsatzlimit. An seiner Entwicklung arbeiteten Forscher der University of Alberta, der Karls-Universität in Prag und der Tschechischen Technischen Universität. Ihr Ziel war es, eine Strategie für ein Spiel zu entwickeln, in dem der Spieler nicht alle Informationen kennt, der Gegner aktiv versucht, ihn zu täuschen, und jeder Einsatz eine Vielzahl von Bedeutungen haben kann. DeepStack war keine universelle künstliche Intelligenz. Er konnte keine Gespräche führen oder beliebige Kartenspiele spielen. Er war ein eng spezialisierter Experte, doch in seiner Domäne übertraf er die professionellen Spieler.
Warum ist Poker für Computer so anspruchsvoll?
Auf den ersten Blick mag Texas Hold'em einfacher erscheinen als Schach. Es wird nur mit 52 Karten gespielt, und der Spieler hat bei jeder Entscheidung einige grundlegende Möglichkeiten: check, bet, call, raise oder fold. Die eigentliche Komplexität ergibt sich jedoch nicht aus den Regeln, sondern aus der Unsicherheit. Der Spieler kennt die Karten des Gegners nicht und kann sich daher nicht nur auf eine bestimmte Hand konzentrieren. Er muss mit einer ganzen Palette möglicher Hände arbeiten, die von Pokerprofis als Range bezeichnet wird.
Wenn der Gegner vor dem Flop erhöht, kann er ein hohes Paar, ein starkes Ass, suited Connectors oder auch eine schwächere Hand haben. Seine nachfolgenden Entscheidungen machen einige Hände wahrscheinlicher und schließen andere allmählich aus seinem Range aus. Die Frage ist also nicht nur: „Was hat der Gegner?“ Der Spieler muss darüber nachdenken, welche Karten er haben könnte, wie oft er sie haben könnte und was seine vorherigen Aktionen über das gesamte Range aussagen. Der gleiche Prozess läuft auch in die andere Richtung. Jeder Einsatz gibt bestimmte Informationen preis und kann gleichzeitig ein Versuch sein, den Gegner zu täuschen.
Wie DeepStack das Bluffen lernte
Ein Spieler, der nur mit sehr starken Händen wettet, lässt sich leicht besiegen. Wenn er Geld in den Pot steckt, kann der Gegner ohne größere Bedenken schwächere Karten folden. Ebenso verwundbar ist ein Spieler, der zu oft blufft. Der Gegner beginnt, seine Einsätze einfach häufiger zu callen. Eine starke Pokerstrategie benötigt daher ein Gleichgewicht. Die gleiche Aktion muss mit starken Händen, mittelstarken Kombinationen und Bluffs genutzt werden.
DeepStack suchte daher nicht nach einfachen Antworten wie „setze in dieser Situation immer“. Er entwickelte probabilistische Strategien. In der gleichen Situation konnte er manchmal checken, gelegentlich eine kleine Wette setzen und in einem bestimmten Prozentsatz großer Einsatz wählen. Er mischte die einzelnen Aktionen so, dass der Gegner seine Strategie nur schwer durchschauen konnte. Auf diese Weise entstanden auch seine Bluffs. DeepStack bluffte nicht, weil er Mut, Angst oder den Wunsch verspürte, den Gegner psychologisch zu einschüchtern. Für ihn war der Bluff ein mathematischer Bestandteil einer gut ausgewogenen Strategie.
Heads-up No-Limit Hold'em umfasst etwa 10¹⁶⁰ Entscheidungspunkte. Jeder Spieler kann verschiedene Karten haben, der Tisch kann Tausende von Board-Kombinationen aufweisen, und unterschiedliche Einsatzgrößen schaffen weitere potenzielle Entscheidungen. Einen solchen Spielbaum kann auch mit enormer Rechenleistung nicht vollständig verarbeitet werden.
Frühere Pokerprogramme verwendeten daher weitgehende Vereinfachungen. Ähnliche Situationen wurden in Gruppen zusammengefasst, und anstelle aller möglichen Größen wurde nur eine Auswahl vorab festgelegter Einsatzgrößen erlaubt. Wenn ein Spieler jedoch einen anderen Einsatz wählte, als das System erwartete, musste das Programm ihn der nächsten bekannten Möglichkeit zuordnen. Durch diese Vereinfachung konnten Schwächen in der Strategie entstehen. DeepStack ging einen anderen Weg. Er versuchte nicht, für jede mögliche Situation im Voraus eine Antwort parat zu haben. Stattdessen berechnete er die Strategie laufend während des Spiels.
Neuronales Netz als Pokerintuition
Das System basierte auf dem Prinzip des Continual Re-Solving, also der kontinuierlichen erneuten Lösung der aktuellen Situation. Dies funktioniert ähnlich wie die Navigation im Auto. Diese muss keinen separaten Plan für jeden möglichen Stau, jede Straßensperrung oder ein falsches Abbiegen haben. Sie kennt die aktuelle Position, das Ziel und die nächste Umgebung. Auf Basis dieser Informationen berechnet sie den nächsten Teil der Route und wiederholt die Berechnung nach jeder Änderung der Situation.
DeepStack arbeitete ähnlich. Bei jeder Entscheidung bewertete er die Pot-Größe, die Gemeinschaftskarten und die möglichen Ranges beider Spieler. Dann löste er den nächsten relevanten Teil des Spiels. Nach einer Aktion des Gegners wiederholte er den gesamten Prozess. Auch diese lokale Berechnung konnte nicht immer bis zum Ende der Hand abgeschlossen werden. Wenn DeepStack an einen Punkt gelangte, an dem weitere Suche zu anspruchsvoll gewesen wäre, verwendete er ein neuronales Netz.
Dieses schätzte auf Basis der Pot-Größe, des Boards und der Ranges beider Spieler den Wert der entstandenen Situation ab. DeepStack musste also nicht alle möglichen Fortsetzungen bis zum River berechnen. Die entfernte Zukunft wurde durch eine ausreichend genaue Schätzung ersetzt. Es handelte sich also um eine Kombination verschiedener Ansätze. Die Spieltheorie half dabei, eine ausgewogene Strategie zu entwickeln, die Suche analysierte die nächsten Entscheidungen, und das neuronale Netz schätzte Situationen, die praktisch nicht mehr berechnet werden konnten.
DeepStack musste nicht Millionen von Händen der besten Pokerspieler analysieren. Sein Ziel war es nicht, menschliche Entscheidungen nachzuahmen. Stattdessen generierten die Forscher eine große Menge zufälliger Szenarien mit unterschiedlichen Boards, Pot-Größen und Ranges beider Spieler. Diese wurden dann mit Hilfe von spieltheoretischen Algorithmen gelöst und die Ergebnisse als Trainingsdaten für das neuronale Netz verwendet.
DeepStack lernte also nicht, wie ein erfolgreicher Profi in einer bestimmten Situation gespielt hätte. Er lernte, wie eine strategisch vorteilhafte Lösung aussieht. Die Vorbereitung des Systems erforderte umfangreiche Rechenleistung. Während des eigentlichen Spiels konnte DeepStack jedoch auf einer einzigen NVIDIA GeForce GTX 1080-Grafikkarte laufen und benötigte durchschnittlich etwa drei Sekunden pro Entscheidung.
Der Kampf gegen Profispieler
Die eigentliche Probe kam Ende 2016. Dem System traten 33 Pokerspieler aus 17 Ländern gegenüber, die gemeinsam 44.852 Hände spielten. Jeder Teilnehmer sollte ursprünglich 3.000 Hände spielen, wobei die vollständige Stichprobe schließlich von 11 Spielern abgeschlossen wurde. DeepStack war in den angepassten Ergebnissen gegen alle elf profitabel und erreichte gegen zehn von ihnen individuell statistisch signifikante Siege.
Selbst gegen den erfolgreichsten Teilnehmer war das System in einem geschätzten Gewinn. Das Ergebnis dieses konkreten Matches war jedoch nicht signifikant genug für einen endgültigen statistischen Abschluss. Insgesamt übertraf DeepStack die gesamte Gruppe um mehr als vier Standardabweichungen vom Nullpunkt, was die Forscher als ein hochsignifikantes Ergebnis bezeichneten.
Beim Poker reicht es jedoch nicht aus, nur die endgültige Anzahl der gewonnenen Chips zu vergleichen. Auch ein schwächerer Spieler kann während Tausender von Händen bessere Karten bekommen, mehr All-ins gewinnen und mit einem Gewinn enden. Um den Einfluss des Zufalls auf die Ergebnisse zu reduzieren, verwendeten die Forscher die AIVAT-Methode. Sie nutzte bekannte Wahrscheinlichkeiten und mathematische Werte einzelner Situationen, um die Qualität der Entscheidungsfindung präziser von kurzfristiger Varianz zu trennen. Der Einsatz von AIVAT reduzierte die Standardabweichung der Ergebnisse um etwa 85 Prozent. Auch nach dieser Anpassung blieb der Sieg von DeepStack überzeugend.
Hat DeepStack das gesamte Poker gelöst?
Der Sieg über die Profis bedeutete nicht, dass DeepStack das gesamte Heads-up No-Limit Hold'em mathematisch gelöst hat. Das Spiel ist zu umfangreich, um genau zu bestimmen, wie weit seine Strategie von einem perfekten Gleichgewicht entfernt war. Die Forscher versuchten zwar, Schwächen in seiner Strategie mit speziellen Tests aufzudecken, fanden jedoch keinen einfachen Weg, das System regelmäßig zu schlagen.
DeepStack konnte zudem nur Heads-up No-Limit Hold'em spielen. Er spielte keine 6-max Cash Games, keine Full-Ring-Spiele und keine Turniere mit variierenden Blinds. Er arbeitete nicht mit ICM, Auszahlungsstrukturen oder dynamischen Mehrspieler-Umgebungen und konnte nicht automatisch auf Pot-Limit Omaha oder gemischte Spiele umschalten. Die Spiele fanden online statt, sodass das System keine physischen Tells, Mimik oder Nervosität der Gegner sehen konnte. Sein Ziel war es nicht, ein psychologisches Profil eines bestimmten Menschen zu erstellen, sondern eine robuste Strategie zu verwenden, die nicht leicht auszunutzen war.
Trotzdem markierte er den Beginn einer neuen Ära. Das Jahr 2017 war ein Durchbruch für Poker-KI. Zur gleichen Zeit erschien auch Libratus von der Carnegie Mellon University, der 120.000 Hände gegen vier Elite-Heads-up-Profis spielte und ebenfalls überzeugend gewann.
Ein weiterer bedeutender Fortschritt kam 2019, als Pluribus professionelle Spieler auch im 6-max No-Limit Hold'em besiegte. Die Entwicklung ging extrem schnell. Während 2015 künstliche Intelligenz praktisch Heads-up Limit Hold'em löste, besiegte sie zwei Jahre später Profis im No-Limit Heads-up, und 2019 konnte sie auch in Multi-Player-Spielen gewinnen.
Vor der Solver-Ära lernten die Spieler hauptsächlich aus Erfahrung, Diskussionen, Trainingsvideos und Analysen erfolgreicher Profis. Sie wussten, dass sie ausgewogene Ranges und genügend Bluffs benötigten, aber die genauen Frequenzen wurden oft intuitiv geschätzt. Moderne Solvers brachten einen viel detaillierteren Einblick. Sie zeigen, warum eine Kombination sich für einen Bluff eignet und eine ähnliche nicht, warum auf einem bestimmten Board ein kleiner Einsatz Sinn macht und auf einem anderen ein großer oder warum eine bestimmte Hand zwischen Check und Bet gemischt wird.
Die dunkle Seite der Poker-KI
Die Entwicklung starker Poker-KI brachte auch eine unangenehme Frage auf: Was passiert, wenn jemand ähnliche Technologie während eines Online-Spiels einsetzt? Ein Spieler braucht dem Programm nicht die vollständige Kontrolle über seinen Account zu geben. Es genügt, dass ihm externe Software in Echtzeit die besten Entscheidungen vorschlägt. Diese Hilfe wird als Real-Time Assistance, kurz RTA, bezeichnet. Der Einsatz von Solvern nach dem Spiel gilt als gewöhnliches Studium. Externe Hilfe während eines laufenden Spiels ist jedoch auf Online-Poker-Plattformen verboten.
Fortschrittliche Systeme müssen zudem nicht mechanisch wirken. Sie können Strategien mischen, Zufälligkeit nutzen und sich natürlicher verhalten. Pokerseiten analysieren daher das Timing von Entscheidungen, das Verhalten von Accounts, genutzte Geräte, mögliche Verbindungen zwischen Spielern und die Ähnlichkeit ihrer Strategien. DeepStack war ein akademisches Projekt, kein Werkzeug zum Betrügen. Trotzdem zeigte er, warum der Schutz des Online-Pokers technologisch genauso fortschrittlich sein muss wie die strategischen Werkzeuge selbst.
Der größte Erfolg von DeepStack bestand nicht darin, schneller Pokerkombinationen zu berechnen. Das konnten Computer schon lange. Seine eigentliche Leistung war die Fähigkeit, Entscheidungen ohne vollständige Informationen zu treffen. Er sah die Karten des Gegners nicht, konnte den gesamten Spielbaum nicht durchforsten und hatte keine vorgefertigte Antwort auf jede mögliche Situation.
Stattdessen analysierte er laufend das aktuelle Spiel, arbeitete mit Ranges, löste die nächsten Entscheidungen und schätzte die entfernte Zukunft mit Hilfe des neuronalen Netzwerks ab. Er konnte ohne Emotionen bluffen und unvorhersehbar bleiben, ganz ohne menschliche Psychologie. Poker war nur ein Testumfeld. Die eigentliche Frage war, ob künstliche Intelligenz qualitativ hochwertige Entscheidungen in einer Welt treffen kann, in der sie nicht alle Fakten kennt und die andere Seite eigene versteckte Absichten hat. DeepStack zeigte, dass die Antwort „Ja“ lauten kann. Und als Erste erfuhren das Pokerprofis auf der anderen Seite des virtuellen Tisches.
Quellen - YouTube, Wikipedia, Science.org, onlinegamblingwebsites