Бэктест стратегии: как заметить ошибки и переобучение

Бэктест воспроизводит правила стратегии на исторических данных. Он помогает отсеять неработающие идеи и оценить чувствительность к расходам, но легко превращается в поиск красивой кривой. Если сначала изучить весь график, затем подобрать правила и на том же графике подтвердить успех, результат будет описывать прошлое значительно лучше, чем будущую торговлю.

Что записать до первого запуска

Сформулируйте гипотезу обычными словами: почему предполагается преимущество, какие данные доступны перед решением, когда происходит вход и выход. Укажите инструменты, период, комиссии и ограничения объёма. Пример рабочей формулировки — проверка конкретного правила выхода после заранее определённого сигнала. Формулировка «найти самый прибыльный индикатор» не ограничивает поиск и провоцирует перебор.

Сохраните исходную версию стратегии. Каждая новая комбинация параметров — дополнительная попытка найти удачное совпадение. В документации QuantConnect такой перебор рассматривается как один из факторов переобучения. Универсального безопасного количества запусков нет: важны сложность модели, данные и способ отбора.

Ошибка: использовать данные из будущего

Представим дневную стратегию, которая принимает решение по цене закрытия дня, но в тесте покупает по цене открытия этого же дня. На момент открытия итог дня ещё неизвестен. Даже идеальная формула расчёта прибыли не исправляет такую временную ошибку. Нужно сдвинуть исполнение на момент, когда информация действительно доступна, и моделировать достижимую цену.

Похожая проблема возникает с пересмотренными макроэкономическими рядами и финансовой отчётностью. Важно знать, какое значение было опубликовано на конкретную дату, а не брать окончательно исправленную таблицу как знание трейдера в прошлом. При тестировании акций дополнительно учитывают исключённые с биржи бумаги, чтобы не оставить в выборке только выживших победителей.

Разделение истории: учебный пример

Месяцы условные. Такое деление не делает короткую историю достаточной для любой стратегии. Медленному методу могут потребоваться годы и несколько рыночных режимов. При последовательной проверке walk-forward параметры выбирают на предыдущем отрезке, а результат оценивают на следующем; затем окно сдвигают. В каждом шаге нужно сохранить временной порядок.

Добавьте реалистичное исполнение

В тесте должны быть комиссии обеих сторон, доступный объём, шаг цены и правила округления. Для заёмных позиций добавляют стоимость финансирования, а для бессрочных контрактов — фандинг. Если дневная свеча одновременно касается стопа и цели, по одной свече нельзя достоверно определить, что произошло раньше. Нужны более подробные данные либо явно консервативное допущение.

Посчитайте сценарий с более высокими расходами. Допустим, 200 сделок дали 30 000 рублей до затрат. При 100 рублях расходов на цикл останется 10 000 рублей; при 160 рублях получится убыток 2 000 рублей. Если небольшой реалистичный сдвиг издержек меняет знак результата, преимущество слишком хрупкое для уверенного вывода.

Какие результаты смотреть кроме прибыли

Нужны максимальная просадка, время восстановления, крупнейшая потеря, открытый риск и вклад отдельных сделок. Проверьте, не сформирован ли весь плюс одним редким скачком. Сравните соседние значения параметров: прибыль только при единственной точной настройке требует объяснения. Отдельно оцените средний результат сделки после расходов.

Итог теста должен быть воспроизводимым: версия кода или правил, источник данных, диапазон дат, параметры и допущения сохранены. Скриншот кривой без этих сведений не позволяет понять, что именно проверялось и можно ли повторить расчёт.

Частые вопросы

Можно ли менять стратегию после плохой отложенной проверки?

Можно, но использованный отрезок больше не является независимым. Новую версию потребуется проверять на ещё не использованных данных или в последующем наблюдении без подгонки.

Успешный бэктест заменяет демо?

Нет. Он проверяет историческую модель, а демо-счёт помогает выявить проблемы текущей работы: задержки, формат заявок и сбои. Ни один этап не гарантирует будущую доходность.

Источники и методика

Материал подготовлен редакцией TraderBooks. Числа в примерах учебные; это не котировки и не прогноз доходности. Документация проверена 29 октября 2026 года.

• QuantConnect — Research Guide
• QuantConnect — Optimization Parameters