Alpha Arena раскрывает недостатки AI-трейдинга: западные модели потеряли 80% капитала за одну неделю

Рынок — это окончательный тест для AI.

Автор: Juan Galt

Перевод: AididiaoJP, Foresight News

Может ли AI торговать криптовалютой? На этот вопрос пытается ответить Jay Azhang, инженер-компьютерщик и финансист из Нью-Йорка, с помощью Alpha Arena. В этом проекте самые мощные большие языковые модели соревнуются друг с другом, каждая из которых имеет капитал в 10 000 долларов, чтобы выяснить, кто сможет заработать больше на торговле криптовалютой. Среди этих моделей — Grok 4, Claude Sonnet 4.5, Gemini 2.5 pro, ChatGPT 5, Deepseek v3.1 и Qwen3 Max.

Возможно, вы сейчас думаете: «Вау, какая отличная идея!» И будете удивлены: на момент написания этой статьи три из пяти AI находятся в убытке, а лидируют два китайских open-source-моделя — Qwen3 и Deepseek.

Да, самые мощные, закрытые, управляемые такими гигантами, как Google и OpenAI, проприетарные AI Запада за чуть больше недели потеряли более 8 000 долларов, что составляет 80% их капитала для торговли криптовалютой, в то время как их open-source-аналоги с Востока находятся в плюсе.

Самая успешная сделка на данный момент? Qwen3 сохраняет прибыль и продолжает зарабатывать, используя простую длинную позицию по bitcoin с 20-кратным кредитным плечом. Grok 4, что неудивительно, большую часть времени держал длинную позицию по dogecoin с 10-кратным плечом, и в какой-то момент делил лидерство с Deepseek, но сейчас близок к убытку в 20%. Возможно, Илон Маск должен опубликовать мем с dogecoin, чтобы вытащить Grok из беды.

Тем временем Gemini от Google занял безжалостно медвежью позицию, открыв шорт по всем доступным для торговли криптоактивам, что соответствует их общей криптовалютной политике за последние 15 лет.

В итоге он целую неделю совершал все возможные ошибочные сделки — чтобы так плохо торговать, тоже нужен талант, особенно когда Qwen3 просто держит лонг по bitcoin. Если это лучший уровень, который могут предложить закрытые AI, возможно, OpenAI стоит и дальше оставаться закрытым, чтобы не подвергать нас убыткам.

Новый бенчмарк для AI

Идея противопоставить AI-модели друг другу на арене криптовалютной торговли дает очень глубокие инсайты. Во-первых, AI не может получить ответы на тесты по торговле криптовалютой во время предобучения, потому что это непредсказуемо — в отличие от других бенчмарков. Другими словами, многие AI-модели получают ответы на некоторые тесты еще во время обучения, поэтому показывают хорошие результаты на тестах. Но исследования показывают, что небольшие изменения в этих тестах могут привести к резким изменениям результатов AI-бенчмарков.

Этот спор поднимает вопрос: что является окончательным тестом интеллекта? По словам создателя Grok 4 и поклонника Железного человека Илона Маска, предсказание будущего — это высшая мера интеллекта.

И нужно признать, что нет ничего более неопределенного, чем краткосрочные цены на криптовалюту. Как говорит Azhang: «Наша цель в Alpha Arena — сделать бенчмарки ближе к реальному миру, а рынок для этого идеален. Он динамичен, состязателен, открыт и всегда непредсказуем. Он бросает вызов AI так, как не могут статические тесты. Рынок — это окончательный тест для AI».

Этот взгляд на рынок глубоко укоренился в либертарианских принципах, из которых родился bitcoin. Экономисты, такие как Мюррей Ротбард и Милтон Фридман, еще более ста лет назад отмечали, что рынки по своей сути непредсказуемы для центральных властей, и только отдельные люди, несущие риски убытков, способны принимать рациональные экономические решения.

Другими словами, рынок — самая труднопредсказуемая вещь, потому что он зависит от индивидуальных взглядов и решений умных людей по всему миру, и поэтому это лучший тест для интеллекта.

Azhang в описании своего проекта отмечает, что задача AI — не только получать прибыль, но и учитывать доходность с поправкой на риск. Этот аспект риска крайне важен, потому что одна неудачная сделка может свести на нет все предыдущие успехи, как это было видно в случае краха портфеля Grok 4.

Есть и еще одна проблема: учатся ли эти модели на своем опыте торговли криптовалютой? Технически это сложно реализовать, потому что предобучение AI-моделей очень дорого. Их можно дообучать на собственной или чужой истории сделок, они даже могут хранить последние сделки в краткосрочной памяти или контекстном окне, но это лишь частичное решение. В конечном итоге правильная AI-модель для трейдинга, возможно, должна действительно учиться на собственном опыте — эта технология недавно была анонсирована в академической среде, но до продукта ей еще далеко. MIT называет их самоадаптирующимися AI-моделями.

Как узнать, что это не просто удача?

Еще один анализ этого проекта и его текущих результатов — возможно, их нельзя отличить от «случайного блуждания». Случайное блуждание — это как бросать кости для каждого решения. Как это выглядит на графике? На самом деле есть симулятор, который позволяет это проверить; визуально разница будет не так уж велика.

Проблема удачи на рынке также была подробно описана такими мыслителями, как Нассим Талеб, в его книге «Антихрупкость». Он утверждает, что с точки зрения статистики вполне нормально и возможно, чтобы трейдер, например Qwen3, был исключительно удачлив целую неделю подряд — и это может создать иллюзию выдающихся аналитических способностей. Талеб идет еще дальше: на Уолл-стрит достаточно трейдеров, чтобы кто-то из них мог быть удачлив 20 лет подряд, заработать себе репутацию гения, и все вокруг будут считать его талантом, пока удача не закончится.

Поэтому, чтобы Alpha Arena предоставила действительно ценные данные, ей нужно работать очень долго, а ее паттерны и результаты должны быть независимо воспроизведены, при этом должен быть риск реального капитала — только тогда можно будет утверждать, что это не случайное блуждание.

В конечном итоге, на данный момент приятно видеть, что такие open-source и экономичные модели, как DeepSeek, превосходят своих закрытых конкурентов. Alpha Arena до сих пор была отличным источником развлечения, ведь на прошлой неделе она стала вирусной на X.com. Куда она пойдет дальше — никто не знает; нам остается только наблюдать, окупится ли ставка ее создателя: дать пяти чат-ботам 50 000 долларов для криптовалютного гэмблинга.