Как распознать фейковый крипто-бэктест: 7 красных флагов

Бэктест — самое простое, что можно подделать в финансах, и не мошенничеством, а самообманом. Вам не нужно лгать ни про одну цифру. Можно прогнать честную симуляцию на реальных данных, добросовестно показать результат и всё равно получить трек-рекорд, который является чистой фантазией. График показывает +900% с гладкой кривой equity; стратегия начинает терять деньги, как только касается реальной биржи. Ниже — семь красных флагов, отличающих торгуемый эдж от статистического миража, и точные вопросы, которые разоблачают выдуманный трек-рекорд меньше чем за минуту.

Почему бэктесты врут, даже когда никто не врёт

У торговой стратегии есть горстка свободных параметров: какой сигнал, насколько сильный, сколько держать, когда выходить. У исторического датасета есть фиксированный объём настоящей, повторяемой структуры и куда больший объём шума, который не повторится никогда. Когда вы перебираете параметры в поисках комбинации, давшей лучшую историческую доходность, вы по построению подгоняетесь под этот шум. Чем больше комбинаций вы пробуете, тем лучше выглядит ваш лучший результат и тем меньшая его часть реальна.

Именно поэтому бэктест может быть одновременно честным и бесполезным. Цифры — реальный вывод реального расчёта. Просто они описывают паттерн, который был однажды, случайно, и больше не повторится. Распознать фейковый трек-рекорд — это по большей части понять, что описывает цифра: структуру или шум.

Красный флаг 1: нет транзакционных издержек (или они нереалистично низкие)

Именно на этом бэктест рушится чаще всего. Стратегия, которая часто ребалансируется, может показать красивую валовую доходность и быть глубоко убыточной после издержек. На крипто-перпетуалах реалистичная стоимость круговой сделки по ликвидной паре — примерно 0,1% комиссий плюс спред и проскальзывание: скажем, 0,2–0,5% за круг на всём, что вне топовых имён, и хуже на small-cap.

Проверка: спросите, какие издержки заложены на сделку, а затем как меняется результат при их удвоении. Настоящий эдж деградирует плавно: может уйти с +40% до +25%. Мираж обваливается: идёт с +28% до −51% и до −81% по мере роста издержек. Мы отбраковали несколько внутренне многообещающих сигналов ровно на этой проверке: валовый эдж на ребаланс был меньше стоимости его исполнения, а значит снять его мог бы только маркет-мейкер, который зарабатывает спред, но не тейкер, который его платит.

Красный флаг 2: слишком хороший Sharpe

Коэффициент Sharpe измеряет доходность на единицу волатильности. Пожизненный Sharpe Уоррена Баффета — около 0,8. Лучшие квант-фонды мира держат устойчивый Sharpe 2–3. Если крипто-бэктест заявляет Sharpe 8, 10 или 13, это не открытие, а тревожная лампочка.

Экстремально высокий Sharpe почти всегда рождается из одного из двух артефактов: очень высокая частота ребаланса (которая раздувает годовую цифру до вычета издержек) или look-ahead bias, протекающий будущей информацией во вход. Когда вы видите Sharpe выше ~4 на стратегии, доступной рознице, считайте это ошибкой измерения, пока не доказано обратное. Честная реакция на Sharpe 13 — не восторг, а «что я сделал не так?».

Красный флаг 3: look-ahead bias и загрязнённые поля

Look-ahead bias означает, что бэктест использовал информацию, которой не было бы в момент симулированной сделки. Он коварен, потому что обычно невидим в коде. Колонка датасета с меткой «максимум цены за следующие 4 часа» годится для замера результатов, но если ваша логика входа случайно ссылается на окно, которое включает то самое движение, которое вы пытаетесь предсказать, каждая сделка выглядит выигрышной.

Мы поймали ровно это в собственном ресёрче по восстановлению после дампов: предвычисленное поле «максимальной благоприятной экскурсии» замерялось от окна, которое начиналось до точки входа, поэтому было загрязнено на 100% событий. Выдуманная версия стратегии показывала винрейт 81%; честный ре-тест, с повторной загрузкой реальных свечей от точки входа вперёд, показал 53%. Та же стратегия, те же данные, один баг — и почти удвоение видимого эджа. Если трек-рекорд не может точно сказать, что было известно на входе, а что замерено после, считайте его загрязнённым.

Красный флаг 4: перекрывающиеся окна и один удачный период

Если стратегию тестируют, сдвигая окно вперёд по часу и считая каждое отдельным результатом, «размер выборки» ненастоящий. Соседние окна делят почти все свои данные, так что тысяча перекрывающихся наблюдений может содержать всего пару десятков по-настоящему независимых. Стратегия, которая на перекрывающихся окнах выглядит статистически пуленепробиваемой, часто разваливается, стоит перепроверить её на строгих, непересекающихся периодах.

Родственная ловушка: единственный удачный период. Стратегия, заработавшая всю доходность в одном трёхнедельном окне в одном рыночном режиме, не прошла валидацию — её подогнали под конкретный момент. Попросите показать кривую equity, разбитую на трети. Если две трети из трёх плоские или отрицательные, а одна взлетает ракетой, то эта ракета отражает режим, а не эдж.

Красный флаг 5: нет out-of-sample или walk-forward теста

Минимально убедительная валидация — это split train/test: вы настраиваете стратегию на одном срезе истории, а потом проверяете её, нетронутую, на срезе, которого она не видела. Стратегия, прибыльная in-sample и разваливающаяся вне выборки, переоптимизирована, и точка. Настоящий эдж переживает holdout.

Walk-forward — версия посильнее: раз за разом настраиваете на прошлом, проверяете на ближайшем будущем, катитесь вперёд. Это имитирует, как стратегию развернули бы на самом деле. Если трек-рекорд получен оптимизацией сразу по всей истории без holdout, он ничего не говорит о будущем результате: он лишь говорит, что автор нашёл параметры, лучше всего подходящие под прошлое.

Красный флаг 6: ошибка выжившего и отбор во вселенной

Если бэктест торгует только монеты, которые существуют сегодня, он тихо исключил каждый проект, который делистнули, который схлопнулся или ушёл в ноль. В крипте, где доля провалов токенов огромна, эта ошибка выжившего систематически приукрашивает любую стратегию с уклоном в лонг. Проигравших удалили из датасета ещё до запуска теста.

Зеркальная проблема — отбор вселенной: тест на 1000 самых ликвидных пар делает допущения по издержкам правдоподобными; тест на неликвидных микрокапах раздувает доходность, скрывая, что вы никогда не набрали бы эти ордера. Убедительный трек-рекорд явно указывает свою вселенную и тестируется на инструментах, которыми вы реально могли бы торговать в заявленном объёме.

Красный флаг 7: нет доверительных интервалов по бутстрэпу

Одна точечная оценка («+113% за 90 дней») ничего не говорит о неопределённости. Пересемплируйте последовательность сделок тысячи раз (бутстрэп) и получите распределение: может, стратегия положительна в 96% пересемплов, а может, лишь в 60%. Трек-рекорд, который приводит одну цифру и никакого доверительного интервала, прячет собственную хрупкость. Честная версия говорит: «медиана +36%, но бутстрэп-вероятность положительного результата 96%, при широком интервале», и даёт вам судить самому.

Тест на 30 секунд

Аудировать чужой код вы сможете не всегда. Но можете задать пять вопросов, и ответы (или неловкость, которую они вызывают) говорят почти всё:

1. Какие издержки вы заложили и что будет при их удвоении?
2. Какой результат вне выборки, на данных, которых стратегия не видела при настройке?
3. Покажите кривую equity по третям: доходность размазана по всему периоду или сконцентрирована в одном окне?
4. Какой была вселенная и входят ли в неё монеты, которые с тех пор делистнули?
5. Какова бутстрэп-вероятность того, что результат положителен, а не только заголовочная цифра?

Оператор с настоящим эджем отвечает на это сразу и без напоминания, потому что уже задавал себе те же вопросы и отбраковал версии, которые провалились. Оператор, продающий мираж, занимает оборону, меняет тему или громче повторяет заголовочную цифру. Вопросы одни и те же, оцениваете ли вы сервис сигналов, фонд или собственный ресёрч.

Почему мы публикуем честную версию

Большая часть нашего внутреннего ресёрча не проходит отбор. Мы прогнали сотни конфигураций факторов и наблюдали, как самые привлекательные кандидаты обваливаются под издержками, поправкой на look-ahead и непересекающимися ре-тестами. Это не сбой процесса: это и есть сам процесс. Горстка стратегий, переживающих каждую из этих проверок, — единственные, за которыми мы ставим реальный капитал, и единственные, которые получают наши подписчики. Наш трек-рекорд на рынках предсказаний и наши торговые сигналы публикуются с той же дисциплиной, с какой мы отбраковываем собственные идеи: честные издержки, валидация вне выборки и доверительные интервалы вместо заголовочных цифр.

Если вам нужны сигналы от команды, которая считает собственные бэктесты виновными, пока не доказана невиновность, и предупреждает, когда результат неопределён, вместо того чтобы его приукрасить, получите доступ здесь. Трек-рекорд стоит ровно столько, сколько переживает семь вопросов выше.

← Назад ко всем постам · Бесплатные email-курсы · ИИ для рынков предсказаний