Handel kryptowalutami jeszcze się nie rozstrzygnął, a AI już zasiadły do stołu pokerowego.

W porównaniu do rywalizacji z rynkiem, tym razem przeciwnikiem AI stało się inne AI.

Autor: Eric, Foresight News

Do zakończenia konkursu handlowego NOF1 AI pozostały jeszcze 4 dni. Obecnie DeepSeek i Tongyi Qianwen nadal zdecydowanie prowadzą, a pozostałe 4 AI nie osiągnęły lepszych wyników niż zwykłe trzymanie bitcoin. Jeśli nic się nie zmieni, DeepSeek powinien zdobyć mistrzostwo; teraz pozostaje tylko obserwować, kiedy pozostali uczestnicy przekroczą zyski z samego trzymania bitcoin oraz kto zajmie ostatnie miejsce.

Chociaż AI handlujące kryptowalutami mierzy się z ciągle zmieniającym się rynkiem, to wciąż jest to gra PvE. Prawdziwą rywalizacją typu PvP, w której chodzi o to, „które AI jest mądrzejsze”, a nie „które AI lepiej handluje”, jest pokerowa rozgrywka zorganizowana przez Rosjanina Maxa Pavlova, który zaprosił do stołu 9 różnych AI.

Z informacji publicznych na LinkedIn wynika, że Max Pavlov przez długi czas pracował jako product manager. W opisie na stronie AI Poker przyznaje, że jest entuzjastą deep learningu, AI i pokera. Jeśli chodzi o powód przeprowadzenia takiego testu, Max Pavlov twierdzi, że społeczność pokerowa nie osiągnęła jeszcze konsensusu co do niezawodności wnioskowania dużych modeli językowych, a ten turniej ma pokazać ich zdolności w praktycznych rozgrywkach.

Być może dlatego, że Grok nie wyróżniał się w handlu kryptowalutami, Elon Musk wczoraj udostępnił zrzut ekranu, na którym Grok prowadzi w pokerze, jakby chciał „odzyskać twarz”.

Jak radzą sobie AI?

W tym turnieju pokera wzięło udział 9 zawodników. Oprócz znanych nam Gemini, ChatGPT, Claude Sonnet (stworzony przez Anthropic, który otrzymał inwestycję od FTX), Grok, DeepSeek, Kimi (AI należące do Moonshot AI), Llama, są także Mistral Magistral, AI skoncentrowane na rynku i językach europejskich stworzone przez francuską firmę Mistral AI, oraz GLM, należące do Beijing Zhipu, pioniera badań nad dużymi modelami językowymi w Chinach.

Na moment pisania tego tekstu, pięciu zawodników: Gemini, ChatGPT, Claude Sonnet, Grok i DeepSeek jest „nad wodą” (na plusie), a pozostała czwórka jest na minusie. Najgorzej radzi sobie Llama od Meta, która straciła już ponad połowę środków.

Turniej rozpoczął się 27-go i zakończy się 31-go, więc pozostało mniej niż półtora dnia. Patrząc na krzywą zysków, przez ponad dzień od startu Grok od xAI utrzymywał prowadzenie, a po wyprzedzeniu przez Gemini długo zajmował drugie miejsce. Wśród 2540 rozdań, Grok został wyprzedzony przez Claude Sonnet około 2270 rozdania, a przez ChatGPT około 2500 rozdania.

DeepSeek, Kimi i europejski zawodnik Mistral Magistral utrzymywali się stabilnie w okolicach „wody”. Llama zaczęła gwałtownie tracić po około 740 rozdaniu, zajmując ostatnie miejsce, a GLM zaczęło odstawać po około 1440 rozdaniu.

Poza stopą zwrotu, statystyki techniczne pokazują różne „charaktery” AI.

W VPIP (Voluntarily Put $ In Pot, dobrowolne wrzucenie żetonów do puli), nasz zawodnik Llama osiągnął 61%, czyli w ponad połowie rozdań decydował się na zakład. Trzej najostrożniejsi zawodnicy mieli najmniej zagrań, a ci z czołówki mieli VPIP w przedziale 25%–30%.

W PFR (Pre-Flop Raise, podbicie przed flopem) Llama również zajmuje pierwsze miejsce, a Gemini, który osiągnął najwyższy zysk, jest tuż za nim. Wynika z tego, że Llama od Meta to zawodnik przesadnie agresywny i aktywny, podczas gdy Gemini, choć również agresywny, zachowuje umiarkowaną aktywność – być może odważnie podbijał z dobrymi kartami i trafił na szalonego Llama, co sprawiło, że ich wyniki poszły w skrajnie różne strony.

Analizując także dane 3-Bet i C-Bet, widać, że Grok jest raczej stabilnym, ale nie przesadnie pasywnym graczem, wywierającym dużą presję przed flopem. Ten styl pozwolił mu utrzymać prowadzenie na początku, ale później agresywna strategia Gemini i ChatGPT oraz szaleństwo Llama pozwoliły odważniejszym AI wyprzedzić go i objąć prowadzenie.

Jak analizują AI?

Max Pavlov ustalił kilka podstawowych zasad dla tego turnieju: blindy 10/20 dolarów, bez ante i bez straddle, 9 zawodników gra jednocześnie przy 4 stołach, a jeśli żetony spadną poniżej 100 big blindów, system automatycznie uzupełnia do 100 big blindów.

Ponadto wszystkie AI korzystają z tego samego promptu, z limitem maksymalnej liczby tokenów, aby ograniczyć długość wnioskowania, a jeśli odpowiedź jest nieprawidłowa, domyślnie następuje fold. Max Pavlov zaprojektował system zadawania AI pytań o proces decyzyjny podczas akcji lub po zakończeniu rozdania.

Przyjrzyjmy się analizie AI na przykładzie jednej z rozdań rozegranych podczas pisania tego artykułu.

Po podziale small i big blinda przez Claude i Gemini, Llama uznała, że 8 pik i Q trefl to „stosunkowo silne” karty, które mogą dać strita lub kolor, więc sprawdziła za 20.

DeepSeek uznał, że Q kier i 2 kier na tej pozycji są zbyt słabe, by sprawdzać, natomiast GLM uznał, że mając suited cards na środkowej pozycji, można podbić, by zbudować pulę przeciwko luźnemu Llama, a 80 dolarów pozwala wywrzeć presję, jednocześnie kontrolując wielkość puli. Kimi, mając karty tego samego nominału, ale w innych kolorach niż Llama, uznał, że ręka jest zbyt słaba i nie warto sprawdzać wobec możliwego 3-Bet w kolejnych rundach.

Na tym etapie widać, że Llama nie analizuje danych ani pozycji, po prostu „bezmyślnie” stawia zakład, podczas gdy trzej kolejni gracze podejmują decyzje na podstawie pozycji i wcześniejszych danych.

Po tym, jak GPT o3 odważnie podbił do 260 mając asa, Grok i Magistral zdecydowali się spasować – zwłaszcza Grok, który podejrzewał, że GPT może mieć AK lub parę wyższą od własnej, a biorąc pod uwagę szalone tempo Llama, mógł tylko spasować.

Następnie Gemini, Llama i GLM również spasowali. GLM uznał, że GPT najprawdopodobniej ma wysoką parę lub asa, a Llama nie przeprowadził analizy danych, po prostu uznał, że jego ręka jest całkiem silna, ale nie na tyle, by sprawdzić za 260.

Szaleństwo Llama, ostrożność DeepSeek i Kimi oraz odwaga GPT były w tej rozgrywce widoczne jak na dłoni. Ostatecznie, bez flopa, GPT zgarnął pulę. W trakcie pisania tego artykułu zyski czołowej czwórki nadal rosną, więc można przewidzieć, że mistrz wyłoni się spośród nich. AI, które nie radziły sobie w handlu kryptowalutami, udowodniły swoje możliwości przy pokerowym stole.

Chociaż wiele laboratoriów testuje AI według naukowych procedur, dla użytkowników najważniejsze jest, czy AI może być dla nich użyteczne. DeepSeek, który nie radzi sobie przy stole, jest świetnym traderem, podczas gdy Gemini, który w handlu zachowuje się jak „noob”, przy stole pokera odnosi sukcesy. Gdy AI pojawia się w różnych scenariuszach, możemy obserwować, w jakich dziedzinach każde AI się specjalizuje, patrząc na zrozumiałe dla nas zachowania i wyniki.

Oczywiście kilka dni handlu lub kilka dni gry nie może przesądzić o możliwościach AI w danej dziedzinie ani o jego przyszłej ewolucji. Decyzje AI są wolne od emocji, a ich proces decyzyjny zależy od logiki algorytmu – nawet twórcy modelu mogą nie wiedzieć, w czym ich AI jest naprawdę najlepsze.

Dzięki tym rozrywkowym testom poza laboratorium możemy bardziej intuicyjnie obserwować logikę AI w sytuacjach i grach, które są dla nas codziennością, a tym samym poszerzać granice myślenia ludzi i AI.