Сравнение моделей

Сравнение моделей, метрики MAE/RMSE/MAPE и значение σ (волатильность GARCH) на графиках

Сравнение моделей прогнозирования

В сервисе Финансовый анализ доступны пятнадцать подходов из model_settings: статистика, нейросети, zero-shot foundation-proxy, бустинг и ансамбль. Ниже — сравнительный обзор для выбора модели под задачу.

Сводная таблица

Модель Класс Что прогнозирует Сильные стороны Ограничения Когда брать
ARIMA Статистическая Цена / уровень ряда Интерпретируемость, быстрый baseline на коротких стационарных рядах Линейность; плохо ловит сложные нелинейности и длинные зависимости Первый ориентир, спокойные ряды без сильной сезонности
SARIMA Статистическая Цена с сезонностью Явный сезонный блок (P,D,Q,m) — удобно для недельных/торговых циклов Больше гиперпараметров; переобучение сезона на короткой истории Видимая сезонность (например, m≈5 торговых дней)
ETS Статистическая Цена (сглаживание) Простое экспоненциальное сглаживание тренда/сезона, устойчивый baseline Ограниченная гибкость на режимах высокой волатильности Быстрый прогноз уровня без тонкой настройки ARIMA
GARCH Статистическая Волатильность σ(t) Моделирует кластеры волатильности, типичные для финансов Не прогноз цены close; нужна отдельная интерпретация графика σ Оценка риска / переменной дисперсии, не точка цены
LSTM Нейросеть Цена (последовательности) Нелинейные временные зависимости, память о длинном контексте окна Дольше учится; чувствителен к окну, эпохам и масштабу ряда Достаточно истории и нужен нелинейный прогноз уровня
GRU Нейросеть Цена (последовательности) Близка к LSTM при меньшей сложности ячейки — часто быстрее Те же требования к данным и тюнингу, что у LSTM Альтернатива LSTM при сопоставимом качестве на окне
TCN Нейросеть Цена (свёртки) Дилатированные свёртки: большой receptive field при параллельном обучении Нужна настройка глубины/каналов; на очень коротких рядах избыточна Длинные локальные паттерны без явной «памяти» RNN
PatchTST Нейросеть (трансформер) Цена (патчи ряда) Патч-эмбеддинги + attention — сильный кандидат на длинных рядах Тяжелее по вычислениям; больше гиперпараметров (patch, d_model) Длинная история и сравнение с RNN/TCN на сложных рядах
TFT Нейросеть (трансформер) Цена + отбор признаков Variable-selection gates + attention — сам взвешивает, что важнее во входном окне Дороже LSTM; на короткой истории gates могут быть шумными Нужен интерпретируемый вклад истории/признаков на финрынках
FinCast Нейросеть (MoE) Цена (скачки / режимы) Mixture of Experts + FFT-инжекция — меньше «заглаживания» резких движений Локальная реализация духа FinCast (не полный foundation-чекпойнт 2025) Волатильные тикеры, где классические сети слишком гладкие
Chronos-2 Foundation / zero-shot Цена без fine-tune Патч-токены + поиск аналогов «из коробки», без эпох на ассете Лёгкий zero-shot proxy (не веса Amazon Chronos / Google TimesFM) Быстрый baseline без обучения нейросети на тикере
LightGBM Бустинг (деревья) Цена (табличные лаги) Скорость + Optuna; на лаговых фичах часто бьёт «чистые» сети по ROI времени Нужны информативные лаги/экзогены; слабо ловит длинный контекст как TFT Много внешних индексов или нужен быстрый сильный tabular-baseline
N-BEATS Нейросеть (FC-блоки) Цена (тренд/сезон) Раскладывает ряд без Attention — обычно быстрее трансформеров Меньше гибкости на сложных мультиисточниках, чем TFT/PatchTST Нужна глубокая модель без overhead внимания
ARIMA+LSTM Гибрид Цена (линейное + остатки) ARIMA снимает линейную динамику, LSTM учит остатки Два этапа настройки; ошибка ARIMA влияет на вход LSTM Есть и тренд/автокорреляция, и нелинейный остаток
Ансамбль Гибрид / агрегация Цена (комбинация) Сглаживает промахи отдельных моделей, часто стабильнее на out-of-sample Зависит от качества базы; интерпретация вклада моделей слабее Итоговый прогноз после обучения нескольких ценовых моделей

Группы методов

  • Статистические (ARIMA, SARIMA, ETS, GARCH) — прозрачные допущения, быстрый расчёт. GARCH стоит особняком: моделирует условную дисперсию, а не close.
  • Нейросети (LSTM, GRU, TCN, PatchTST, TFT, FinCast, N-BEATS) — гибкость на нелинейных рядах; TFT/FinCast — отбор признаков и MoE, N-BEATS — без Attention.
  • Zero-shot / деревья (Chronos-2, LightGBM) — прогноз без долгого fine-tune на тикере или быстрый бустинг на лагах (+ Optuna).
  • Гибриды (ARIMA+LSTM, Ансамбль) — сочетают линейную базу с нелинейной поправкой или усредняют несколько прогнозов цены.

Критерии выбора

  • Цель прогноза. Для уровня цены сравнивайте ARIMA/SARIMA/ETS и нейросети; для риска волатильности — отдельно GARCH.
  • Длина и характер ряда. Короткие спокойные ряды — статистика; длинные нелинейные — LSTM/GRU/TCN/PatchTST/TFT.
  • Сезонность. Явный торговый/календарный цикл — SARIMA или ETS с сезоном; иначе начните с ARIMA.
  • Волатильность и настроения. GARCH — по доходностям; VIX/VVIX/SKEW/MOVE и CNN F&G — уровни страха и режимов как цель или экзогены (см. страницу «Рыночные индексы»).
  • Метрики. MAE / RMSE / MAPE — на одном hold-out (см. раздел ниже); при двух+ моделях — тест Дибольда–Мариано. σ на графиках — волатильность GARCH, не ошибка цены.
  • Практика в UI. Сначала 1–2 быстрых baseline (ARIMA, ETS или Chronos-2), затем нейросеть/LightGBM и гибрид; Ансамбль — в конце.

Метрики сравнения (MAE, RMSE, MAPE)

В таблице сравнения (вкладка после обучения) для ценовых моделей считаются ошибки на одном и том же hold-out окне: чем меньше значение, тем лучше на этом окне. GARCH в эту таблицу обычно не попадает — у него другой объект прогноза (см. σ ниже).

Метрика Что измеряет Формула (идея) Как читать
MAE Mean Absolute Error — средняя абсолютная ошибка среднее |факт − прогноз| В тех же единицах, что цена (руб., пункты индекса). Устойчивее к редким выбросам, чем RMSE. Удобна как «типичная» ошибка в деньгах/пунктах.
RMSE Root Mean Squared Error — корень из средней квадратичной ошибки √ среднее (факт − прогноз)² Тоже в единицах цены, но сильнее штрафует крупные промахи. Часто сортируем модели по RMSE. Если RMSE ≫ MAE — есть отдельные большие ошибки.
MAPE Mean Absolute Percentage Error — средняя относительная ошибка среднее |факт − прогноз| / |факт| × 100% В процентах от факта — удобно сравнивать разные инструменты (USD и SBER). На нулевых/околонулевых уровнях ряда ненадёжна (в коде нули маскируются).
  • Сравнивайте модели только на одном окне и одном инструменте — иначе метрики несравнимы.
  • Тест Дибольда–Мариано отвечает, значима ли разница двух прогнозов статистически (p-value), а не только «чья MAE чуть меньше».

Строчная сигма σ на графиках

Символ σ (строчная греческая «сигма») на графиках сервиса — это не цена close, а условная волатильность, которую даёт модель GARCH (оценка стандартного отклонения доходности на дату / горизонт).

  • Что видно: кривая или heatmap с подписью σ — насколько «нервный» рынок по оценкам GARCH в этот момент (кластеры высокой/низкой волатильности).
  • Чего нет: σ не сравнивают с MAE/RMSE в таблице ценовых моделей и не читают как прогноз уровня курса или индекса.
  • Связь с VIX: VIX — рыночная implied-волатильность; σ(GARCH) — модельная оценка по истории доходностей выбранного ряда. Их можно сопоставлять по смыслу («страх»), но это разные величины и шкалы.
  • Colorbar / hover с «σ=…» на тепловой карте — значение этой условной волатильности в соответствующей ячейке.

Практические пары для сравнения

  • ARIMA vs SARIMA — есть ли выигрыш от сезонного блока на вашем тикере.
  • ETS vs ARIMA — простой сглаживающий baseline против ARMA-структуры.
  • LSTM vs GRU — качество при близком окне и числе эпох.
  • TCN vs PatchTST — свёртки против патч-трансформера на длинной истории.
  • TFT vs PatchTST — отбор признаков/gates против «чистого» патч-attention.
  • FinCast vs LSTM — меньше ли сглаживания скачков на волатильном тикере.
  • Chronos-2 vs ARIMA — zero-shot proxy против классического baseline без эпох.
  • LightGBM vs TFT — скорость tabular+Optuna против глубокого отбора признаков.
  • N-BEATS vs PatchTST — FC-блоки без Attention против трансформера.
  • GARCH vs прогноз уровня VIX — условная σ доходностей против уровня индекса страха.
  • ARIMA+LSTM vs лучшая одиночная — окупается ли разложение на остатки.
  • Ансамбль vs лучшая одиночная — стабильность на hold-out, а не только in-sample.

Руководство по интерфейсу: Как пользоваться аналитикой. Открыть приложение: /finance/.