1. Отправная точка: цель валидации — не «доказательство прибыльности»
Предыдущие два урока были посвящены разделению труда в рабочем процессе и структуре входных данных. Третий урок переходит к вопросу о том, демонстрирует ли идея историческую согласованность. Многие неудачи возникают не из-за принципиально неверных направлений, а из-за того, что бэктесты рассматриваются как выводы без надлежащей проверки: данные включают делистированные активы, сигналы используют будущую информацию, затраты упускаются, параметры многократно подгоняются на коротких выборках. ИИ может ускорить написание кода и интерпретацию индикаторов, но не может принять окончательное решение о том, является ли стратегия валидной. Более разумная цель валидации: при четких допущениях стратегия не была статистически или с точки зрения затрат опровергнута — а не доказательство неизбежной прибыльности с помощью гладкого повествования.
2. Разумное разделение труда для ИИ в бэктестинге
ИИ подходит для помощи в:
-
Генерации кода фреймворка для бэктестов
-
Объяснении значения коэффициента Шарпа, максимальной просадки, доли выигрышных сделок
-
Перечислении потенциальных источников предвосхищения данных (look-ahead bias)
-
Преобразовании таблиц результатов в текстовые сводки
Задачи, которые должны быть выполнены или проверены человеком самостоятельно:
-
Содержит ли вселенная активов bias выжившего (survivorship bias)
-
Существовали ли цены до листинга
-
Включены ли комиссии, проскальзывание и ставки финансирования
-
Выполнены ли тесты на вневыборочных данных или с скользящим окном (walk-forward)
-
Учитываются ли расхождения между бумажной и реальной торговлей
Запуск кода означает лишь, что инженерные шаги выполнены; это не означает, что стратегия прошла валидацию.
3. Очистка данных: самый хрупкий этап в крипто-бэктестинге
Если в бэктесте используются только токены, которые до сих пор активны, результаты, как правило, систематически завышены. Периоды до листинга токена не следует считать торгуемыми. Цены, объемы и ставки финансирования различаются на биржах; бэктесты должны фиксировать биржу или указывать правила синтеза. Форки, миграции контрактов и переименования токенов вызывают разрывы в ценовых рядах и требуют ручного сопоставления или исключения. Использование одного стейблкоина для ценообразования во время глубоких фаз может исказить показатели доходности и риска; основные периоды глубоких фаз следует отдельно отмечать или объяснять. От ИИ следует требовать перечисления источников данных, временных диапазонов и определений вселенной активов в документации, а также проверки каждого пункта на соответствие сырым данным — это важнее, чем просто гнаться за кривыми бэктестов.
4. Предвосхищение данных (look-ahead bias): временнóе согласование сигналов и исполнения
Распространенные виды предвосхищения данных включают:
-
Использование статистики по всей выборке для нормализации, но бэктестинг на той же выборке
-
Генерацию сигналов на закрытии дня, но исполнение на открытии
-
Использование адресов, помеченных как «умные деньги», только постфактум
-
Использование пересмотренных макроданных, как если бы это были исторические значения на момент публикации
Дисциплина должна уточнять: сигналы, генерируемые в момент t, должны исполняться в t+1 или позже в зависимости от типа стратегии; если макроданные невозможно получить в исходном виде на момент публикации, соответствующие выводы должны быть понижены. От ИИ можно требовать аннотировать время доступности данных для каждого признака в комментариях к коду; человек должен выборочно проверять ключевые признаки, чтобы убедиться, что они предшествуют исполнению как минимум на один день.
5. Затраты и трение: бэктесты без комиссий недействительны по умолчанию
Криптостратегии как минимум должны включать торговые комиссии, проскальзывание, ставки фондирования по перпетуальным контрактам (если позиции пересекают расчетные точки), ставки заимствования (если используется кредитное плечо), а также затраты на вывод средств или кросс-чейн переводы при необходимости. Базовые и пессимистичные сценарии комиссий (например, удвоение комиссий) можно использовать для стресс-тестирования. Если ожидаемая доходность резко ухудшается или становится отрицательной при пессимистичных сценариях, стратегия сильно чувствительна к затратам и не должна оцениваться только по внутривыборочным кривым. ИИ часто по умолчанию устанавливает нулевые комиссии или один базисный пункт; человек должен вписать таблицы комиссий в допущения бэктеста и отчеты.
6. Переобучение и вневыборочные данные: чем больше параметров, тем больше осторожности в рассказе
Симптомы включают:
-
Отображение только лучшей комбинации после множества наборов индикаторов
-
Настройку параметров только на коротких выборках бычьего рынка
-
Высокоспецифичные правила без объяснения механизма
Контрмеры включают:
-
Резервирование вневыборочных интервалов, не используемых для настройки параметров
-
Применение тестирования со скользящим окном (walk-forward)
-
Максимальное упрощение правил в рамках объяснимых предпосылок
Отчеты должны представлять ключевые показатели как на внутривыборочных, так и на вневыборочных данных; если вневыборочная производительность значительно хуже внутривыборочной, следует указать на риск переобучения и приостановить масштабирование в реальной торговле. ИИ не должен многократно оптимизировать параметры без контроля, пока кривая не станет выглядеть хорошо — это равносильно автоматизированному переобучению.
7. От бэктеста к реальной торговле: постепенное продвижение, а не одношаговый запуск
Рекомендуется трехступенчатая лестница. Уровень первый: бэктест пройден с документированными вселенной, комиссиями и вневыборочными результатами. Уровень второй: бумажная или симулированная торговля фиксирует расхождения между сигналами и ценами исполнения и наблюдает реальное проскальзывание. Уровень третий: небольшая реальная торговля с лимитами и стоп-лоссами, постоянное сравнение бумажных и реальных результатов. Продвижение на каждом уровне решается человеком — а не моделями, рекомендующими крупные позиции. ИИ может генерировать контрольные списки для каждого уровня, но не может заменить решения о продвижении.
8. Минимальные поля в отчете по бэктесту
Даже без сложных систем, отчет должен включать:
-
Описание стратегии одним предложением
-
Интервал данных и охват активов
-
Таблицу допущений по комиссиям
-
Внутривыборочную и вневыборочную доходность, максимальную просадку, количество сделок
-
Максимальный последовательный убыток
-
Список нерешенных вопросов
-
Вывод: продолжить валидацию, приостановить или отказаться
Избегайте формулировок вроде «осторожный оптимизм», которые не направляют действия. Бэктесты и обзоры имеют одну и ту же дисциплину: выполнимость, проверяемость, воспроизводимость.
9. Итоги урока
Этот урок посвящен тому, были ли идеи протестированы. ИИ подходит для помощи в написании кода бэктестов, объяснении индикаторов, выявлении предвосхищения данных и пропущенных комиссий; он не подходит для замены человеческого подтверждения наличия bias выжившего в данных, согласования сигналов и исполнения, вневыборочной производительности или запаса при пессимистичных затратах. Запуск кода и красивые внутривыборочные кривые означают лишь, что инженерные шаги выполнены — а не что масштабирование в реальной торговле оправдано. Более безопасный путь: документирование бэктестов, затем отслеживание на бумаге перед мелкомасштабными экспериментами и ошибками — каждый шаг вперед решается человеком. Следующий урок будет посвящен макро- и крупным ончейн-событиям: периодам с наибольшим количеством информации, но также наиболее склонным вводить в заблуждение, требующим четких границ того, что ИИ может помочь подготовить, и что он не может заменить в верификации.
