Переобучение модели вызывает деградацию точности - причины и решения

Переобучение модели вызывает деградацию точности - причины и решения

Переобучение модели одна из тех проблем в машинном обучении, которая кажется банальной на бумаге, но регулярно превращается в головную боль у инженеров и менеджеров проектов. Казалось бы, чем лучше модель "запомнит" тренировочные данные, тем точнее она будет в реальных задачах.

На практике же переобучение (overfitting) приводит к деградации точности на валидации и в продакшне: модель блестяще работает на тренировочном наборе и фейлит на реальных данных.

Разберёмся, почему это происходит, какие проявления имеют разные виды деградации, какие метрики и тесты помогают обнаружить проблему, и, самое главное, какие практические решения и инженерные приёмы используются в индустрии Hi‑Tech для её предотвращения и корректировки.

Что такое переобучение и почему оно приводит к деградации точности

Переобучение ситуация, когда модель слишком хорошо постраивается под закономерности и шум конкретного тренировочного набора, теряя способность обобщать на новые данные. В классическом определении статистики это выглядит как сильное снижение смещения модели при одновременном росте её дисперсии.

На практике это проявляется так: высокая точность на train, но значительно более низкая на validation/test и в продакшне.

Причины этого явления лежат как в природе данных, так и в архитектуре моделей, а также в ошибках в процессе разработки.

Основные факторы: слишком маленький или нерепрезентативный тренировочный набор; высокая ёмкость модели (большое число параметров); отсутствие или неправильное применение регуляризации; утечка информации (data leakage); несоблюдение временных сплитов в задачах с временными рядами; несбалансированные классы и др.

Все они приводят к тому, что модель "учит" не обобщаемые паттерны, шум и артефакты, которые присутствуют только в тренировочных данных.

Признаки деградации точности- как вовремя заметить проблему

Важно научиться распознавать переобучение как можно раньше экономит время и ресурсы. Первый и самый очевидный признак - расхождение между метриками на тренировочном и валидационном наборах.

Если loss_train стремится к нулю, а loss_val остаётся высоким или начинает расти, это классический показатель. Но есть и более тонкие сигналы.

Другие признаки включают: отсутствие улучшения метрик на отложенной выборке после длительного обучения; ухудшение производительности при лёгких изменениях данных (невосприимчивость к шуму означает отсутствие устойчивости); сильная зависимость результатов от случайных начальных весов или порядка батчей; чрезмерно сложные объяснения модели (feature importance концентрируется на небольшом наборе признаков, которые выглядят подозрительно).

В продакшне тревожными сигналами будут неожиданные сдвиги в распределении входов (data drift), рост числа ошибок на "реальных" случаях или жалобы пользователей на непредсказуемое поведение.

Источники проблемы? Данные и их свойства

Данные - первопричина большинства проблем с переобучением. Маленький объём выборки делает модель уязвимой к шуму: при недостатке примеров модель начинает подстраиваться под редкие совпадения, которые не повторяются в новых данных.

Репрезентативность - ключевой момент: если тренировочные данные не покрывают разнообразие реального мира (региональные особенности, сезонность, разные устройства и т.д.), то модель будет "пересчитана" на узкие условия.

Другие важные аспекты данных - качество и аннотации.

Шумные метки (label noise) заставляют модель запоминать ошибочные зависимости; несбалансированные классы приводят к чрезмерному фокусированию на большинстве; дублирующиеся или почти идентичные примеры в train и test дают иллюзию хороших результатов.

Отдельная тема - data leakage: если в обучении используются признаки, которые по факту недоступны в момент предсказания или прямо/косвенно переносят информацию о целевой переменной, то модель может спокойно "читерить" и показывать завышенные метрики на тестах, но проваливаться в реальной работе.

Архитектура и параметризация модели: когда мощь оборачивается против

Современные нейросети и ансамбли имеют огромную емкость - миллионы и миллиарды параметров. Высокая емкость нужна для захвата сложных зависимостей, но при недостатке данных это же свойство ухудшает обобщение.

Переподгонка наблюдается, когда модель способна в точности запомнить тренировочные примеры, включая шум и аномалии.

Примеры из индустрии Hi‑Tech: крупные трансформеры в NLP показывают фантастические успехи, но требуют огромных датасетов и грамотной регуляризации; если попытаться обучить такую архитектуру на ограниченной выборке, результат будет плачевным - модель перестанет работать вне обучающего корпуса.

То же касается ансамблей: без контроля сложности (глубины деревьев, числа слоев) ансамбль деревьев решений легко переобучится. Важна настройка гиперпараметров: learning rate, weight decay, dropout, размер батча, число эпох - все они влияют на баланс bias-variance.

Регуляризация? Методики и их эффекты

Регуляризация - основной набор инструментов для борьбы с переобучением.

Существуют разные подходы: L1/L2 (weight decay) снижают величину весов, что ограничивает сложность функции; dropout и его варианты (dropconnect, spatial dropout) случайно "выключают" нейроны во время обучения, что стимулирует более робустное представление; ранняя остановка (early stopping) прерывает обучение при отсутствии улучшения на валидации, предотвращая дальнейшее запоминание шумов.

Помимо классических методов, есть современные приёмы: данные аугментации (data augmentation) для изображений/аудио, маскирование и синтез данных в NLP, MixUp и CutMix, регуляризация по ансамблю (stochastic weight averaging) и техники на уровне оптимизатора (например, SAM - Sharpness‑Aware Minimization).

Каждая техника имеет свою цену и ограничения: L2 хорош при линейных моделях и нейросетях, но не решит проблему с плохими метками; аугментация даёт прирост только если новые примеры реалистичны; SAM повышает устойчивость, но увеличивает время обучения.

Валидация, кросс‑валидация и тестирование? Как правильно мерить

Ключ к обнаружению и предотвращению деградации - корректная методика оценки.

Простая схема train/val/test может быть недостаточной: если данные непостоянны по времени, нужен time‑aware split; для небольших датасетов эффективна K‑fold кросс‑валидация, которая оценивает устойчивость на разных подвыборках и помогает снизить влияние случайных флуктуаций.

Кроме того, важны контролируемые тесты в продакшне: shadow‑deployment, A/B‑тесты, Canary‑releases - они позволяют сравнить старую и новую модель на живом трафике прежде, чем сделать полный релиз.

Метрики должны включать не только accuracy/ROC AUC, но и precision/recall по сегментам, calibration (насколько вероятности соответствуют реальности), latency и вычислительные ресурсы.

Нельзя доверять только одной метрике - часто высокое AUC сочетается с плохой калибровкой и большим количеством ложных срабатываний.

Инжиниринг данных и системы мониторинга в продакшне

Даже после успешного тестирования модель может деградировать в продакшне: данные меняются, пользователи ведут себя иначе, появляются новые устройства и сценарии. Поэтому жизненно важны процессы мониторинга и реагирования.

На уровне данных это мониторинг распределений (feature drift), метрик качества (model drift), частоты категорий и качества аннотаций.

Системы мониторинга в Hi‑Tech компании обычно включают: автоматическое сравнение статистик входных признаков с базовым профилем; отслеживание производительности модели по периодам и по сегментам пользователей; детекторы аномалий и алерты; пайплайны для автоматического ретренинга при достижении порогов деградации.

Логируйте не только предсказания и истинные метки, но и контекст (версия данных, дата, источник), чтобы при анализе можно было быстро отследить корень проблемы.

Стратегии предотвращения и исправления переобучения - практические кейсы

Существуют как превентивные, так и реактивные стратегии.

Превентивные включают: сбор дополнительных данных (минимум - увеличивать разнообразие), синтетическое расширение датасета, грамотную предобработку (удаление дублей, исправление меток), подбор архитектуры по объёму данных и регуляризацию на этапе разработки.

Реактивные меры - ранняя остановка, уменьшение сложности модели, реструктуризация признаков, исправление утечек и повторный тренинг с корректировками.

Примеры из практики: 1) Стартап по детекции дефектов на производстве обнаружил, что высокая точность тренировки отражает статические дефекты камеры - решение: собрать данные с других камер и применить аугментацию освещения; 2) Финтех-компания, где модель кредитного скоринга начинала ухудшаться после изменения продукта - кейс решился добавлением новых признаков и переводом модели на периодическое ретренирование с горизонтом 2 недели; 3) Команда NLP, у которой трансформер переобучался на небольшом доменном корпусе, применила transfer learning с заморозкой нижних слоёв и агрессивной аугментацией маскированием токенов.

Дополнительные нюансы! Метрики, этика и экономические аспекты

Переобучение - не только техническая проблема, но и этическая/экономическая. Плохо обобщающая модель может дискриминировать определённые группы, давать неверные рекомендации или приводить к финансовым потерям.

Поэтому важно оценивать модели по групповым метрикам fairness, отслеживать негативные последствия в реальном мире и иметь планы отката.

Экономический аспект: слишком частые ретренинги и большие модели повышают cost of ownership - вычислительные расходы, время инженеров, латентность. Порой оптимальное решение - более простая модель с регулярными обновлениями и мониторингом, чем громоздкий трансформер, который требует постоянного вмешательства.

Баланс между точностью, устойчивостью и затратами - важнейшая задача инженерного менеджмента.

Резюме. Чек-лист действий при обнаружении деградации точности

Когда вы видите деградацию точности, полезно иметь готовый чек‑лист: 1) проверить сдвиг распределений между train/val/prod; 2) убедиться в отсутствии data leakage; 3) проанализировать качество меток и наличие дублей; 4) оценить сложность модели относительно объёма данных; 5) попробовать более строгую регуляризацию и раннюю остановку; 6) протестировать с аугментацией и/или синтетикой; 7) развернуть A/B тест или shadow run для сравнения; 8) настроить мониторинг по сегментам и алерты на drift.

Каждый пункт требует инструментов и времени: автоматические отчёты по распределениям, пайплайны для быстрой переобучаемости, и команда, понимающая продукт.

Чем быстрее вы сможете локализовать проблему, тем меньше потерь и тем увереннее можно управлять жизненным циклом модели.

В заключение хочу подчеркнуть: переобучение - не приговор, а сигнал о несоответствии между моделью, данными и бизнес-реальностью. Систематический подход, грамотный инжиниринг данных, регуляризация и мониторинг позволяют держать точность в рабочем состоянии.

При этом важно думать не только о метриках в лаборатории, но и о поведении модели в живом окружении - только тогда ваши Hi‑Tech решения будут действительно надёжными и полезными.

В: Как понять, что проблема именно в переобучении, а не в плохих данных?

О: Сравните метрики train и validation, проведите кросс‑валидацию. Если train намного лучше переобучение. Если обе метрики плохи - проблема в данных (или в слабой архитектуре). Проверьте качество меток и наличие сдвигов в распределении.

В: Нужен ли всегда ретренинг модели при обнаружении деградации?

О: Не всегда. Иногда достаточно откатиться на предыдущую версию, очистить данные или применить дополнительную регуляризацию. Ретренинг обязателен, если причина - эволюция данных или появление новых паттернов, которых нет в старом наборе.

В: Какие метрики лучше всего отслеживать в продакшне?

О: Набор зависит от задачи: для классификации - precision/recall по сегментам, AUC, calibration; для регрессии - MAE/RMSE и распределение ошибок; всегда полезно отслеживать business‑метрики (конверсия, LTV), latency и доступность. Следите за распределениями признаков и метриками drift.

В: Можно ли полностью избежать переобучения?

О: В теории - нет, если данные ограничены. На практике - да, можно минимизировать риски до приемлемого ур

Переобучение модели одна из тех проблем машинного обучения, о которой много говорят, но чуть меньше понимают до конца. В хай-тек-среде переобучение часто воспринимают как нечто мистическое: модель отлично работает на тренировочных данных, но при первом же контакте с реальными пользователями начинает выдавать странные, бессмысленные или просто неверные ответы.

Мы разберёмся, почему деградирует точность при переобучении, как это диагностировать и какие практические приёмы и стратегии применяются в индустрии, чтобы вернуть модели устойчивость и переносимость.

Статья рассчитана на инженеров, продакт-менеджеров и технических специалистов, которые сталкиваются с проблемой в реальных проектах и хотят понять не только теорию, но и рабочие рецепты.

Почему переобучение приводит к деградации точности на новых данных

Переобучение (overfitting) ситуация, когда модель слишком "запоминает" шум и частные закономерности тренировочной выборки вместо того, чтобы выявлять общие паттерны. В результате точность на тренировочных данных растёт, а на валидационных и тестовых - падает. Казалось бы, всё логично.

Но почему именно это сопровождается реальной деградацией качества в продакшене? Ответ состоит из нескольких пересекающихся причин.

Тренировочная выборка редко является полным отражением реального мира. В данных могут быть систематические смещения: ограниченный географический охват, определённых устройств, временем дня, поведением конкретной группы пользователей. Модель подстраивается под эти особенности и теряет способность обобщать.

Сложные модели с большим числом параметров способны аппроксимировать почти любую функцию; без регуляризации они начинают подстраиваться под шум.

В-третьих, неправильно выбранные метрики и процедуры валидации дают ложное чувство защищённости: если валидация тоже "подмята" под те же смещения, переобучение остаётся незамеченным до реального запуска.

Статистическая природа проблемы: разброс, смещение и ошибка аппроксимации

Традиционное объяснение через bias-variance tradeoff остаётся актуальным: низкое смещение и высокая дисперсия ведут к переобучению.

Когда вы минимизируете ошибку на тренировочной выборке, вы уменьшаете смещение, но рискуете увеличить дисперсию - модель становится "хрупкой" к изменению входных данных.

Еще важный аспект ошибка аппроксимации. В попытке уловить все нюансы тренировочной выборки модель начинает аппроксимировать не только сигнал, но и шум. В результате предсказательная функция становится слишком сложной, а её поведение на новых точках - непредсказуемым.

Для практических задач это означает: рост средней ошибки и появление выбросов в прогнозах, которые сложно объяснить.

Архитектурные и оптимизационные причины переобучения

Современные модели, особенно глубокие нейросети, имеют миллионы и миллиарды параметров. Чем сложнее архитектура, тем выше риск переобучения при недостатке данных или слабой регуляризации.

Например, трансформеры с большой емкостью легко "запоминают" шаблоны из тренировочных текстов, что ведёт к проблемам при генерации на другом домене.

Оптимизационные аспекты тоже влияют. Чрезмерно малый learning rate, слишком долгий тренинг до сходимости или отсутствие ранней остановки (early stopping) приводят к тому, что модель продолжает подгонять параметры под шум.

Адаптивные оптимизаторы (Adam, RMSProp) могут ускорять переобучение в некоторых случаях, если не скорректированы гиперпараметры.

Данные и смещения- почему качество датасета ключевое

Проблемы с данными - основная и часто недооценённая причина деградации. Некачественная разметка, выбросы, неполные фичи, утечка данных между тренировкой и валидацией - всё это ускоряет переобучение.

В хай-тек проектах, где данные собираются с разных сенсоров, сервисов и API, риск таких проблем особенно велик.

Примеры: в системе рекомендаций если тренировка проводится на истории пользователей одного региона, модель плохо работает на других из-за различий в предпочтениях. В задачах компьютерного зрения недостаточно разнообразные углы съёмки или освещение приводят к тому, что модель "не видит" объекты в новых условиях.

В NLP - наличие в тренировочных данных большого количества шаблонных фраз приведёт к генерации банальностей или к плагиату тренировочных фрагментов.

Признаки и диагностика переобучения на практике

Как понять, что модель переобучается? Существует набор очевидных и неочевидных индикаторов. Самый прямой - большой разрыв между метриками на тренировочной и валидационной/тестовой выборке. Но это только начало.

Другие признаки: ухудшение качества в продакшене при стабильной валидации (причины - смещение данных в проде), сильная чувствительность к малым шумам в входе, высокие значения пер-предсказательной энтропии, низкая бизнес-ценность предсказаний (например, CTR упал, несмотря на хорошую log-loss).

Для глубокого анализа используют техники, такие как learning curves (кривые обучения), проверки на подвыборках, оценка стабильности через bootstrap и cross-validation, а также анализ влияния отдельных фичей (feature importance, SHAP/ LIME).

Регуляризация и методы предотвращения переобучения

Регуляризация обобщающее понятие, включающее множество техник, направленных на снижение дисперсии модели.

Самый простой пример - L1/L2-регуляризация (weight decay), которая штрафует большие веса. Dropout, Batch Normalization, data augmentation - все эти методы используются в нейросетях для повышения устойчивости. В классических моделях эффективны методы вроде pruning, early stopping, и ограничение глубины деревьев.

Практические советы: используйте сочетание методов. Например, для CNN и трансформеров комбинируйте data augmentation с weight decay и Dropout.

Для gradient-boosted деревьев (XGBoost, LightGBM) контролируйте количество деревьев, глубину и learning rate, применяйте раннюю остановку по валидационной метрике. Важно: регулировка гиперпараметров должна быть основана на корректной кросс-валидации, а не на "интуиции".

Стратегии работы с данными. Расширение, очистка и балансировка

Часто лучший способ борьбы с переобучением - улучшить данные. Data augmentation (искусственное увеличение набора данных) для изображений, аудио и текста помогает моделям учиться на более разнообразных примерах: рандомные повороты и обрезки для картинок, синтетические шумы для аудио, парафразирование и замена слов для текста.

Но важно делать аугментацию, приближающую данные к реальным вариациям, иначе модель "научится" не тем трансформациям.

Очистка данных - ещё важнее: удаление артефактов, коррекция разметки, фильтрация явных выбросов и устранение утечек между тренировочной и валидационной выборками.

Балансировка классов (oversampling, undersampling, генеративные методы) нужна для задач с редкими событиями. В индустрии практикуется многократная ревизия датасетов и автоматизированные пайплайны валидации качества данных, чтобы минимизировать источники смещения.

Валидация и тестирование. Как правильно оценивать обобщающую способность

Ошибки в валидации - частая причина недооценки переобучения.

Классические ошибки: неправильное разделение данных (например, по времени), утечка информации через фичи, слишком маленькие валидационные наборы.

Для задач с временной зависимостью требуется временная (time-series) валидация; для гео-распределённых данных - стратифицированный по регионам подход.

Cross-validation и bootstrap дают более надёжную оценку, но их нужно применять с осторожностью: для временных рядов или связанных наблюдений стандартный k-fold может создавать утечки.

В продакшне рекомендуют A/B-тестирование и shadow-тесты для проверки приёмов переносимости даёт самый честный сигнал о деградации точности при смене условий.

Реструктуризация модели и контроль сложности

Иногда решение - не в данных, а в архитектуре. Проверка гипотезы о переобучении может привести к снижению сложности: уменьшение числа слоёв, параметров, скрытых нейронов, или применение жёсткого prunning.

Для многих продвинутых задач используют ensemble-методы, которые уменьшают дисперсию за счёт усреднения предсказаний нескольких разных моделей.

Важно учитывать tradeoff: уменьшение сложности может повысить bias.

Поэтому в индустрии применяют итеративный подход: сначала уменьшают переобучение простыми методами (регуляризация, данные), затем при необходимости перестраивают архитектуру.

Для мониторинга применяют набор контрольных метрик, включая метрики стабильности и worst-case performance на "трудных" подсетах данных.

Автоматизация, MLOps и мониторинг- предотвращение деградации в продакшне

Переобучение часто проявляется не одномоментно, а как постепенная деградация в продакшне. Поэтому важно иметь мощную систему мониторинга и MLOps-практики. Включите мониторинг drift'а входных фичей, распределения предсказаний, отказов и бизнес-метрик (например, CTR, churn).

Автоматизированные алерты, триггерующие переобучение/переобучение модели в ответ на дрифт, помогают быстро реагировать.

Рекомендации: применяйте shadow-deployment, онлайн-валидацию и регулярные перетренировки по расписанию или по метрике дрифта. Храните версии данных и моделей с возможностью отката (rollback).

Автоматизируйте тесты данных и модельной производительности в CI/CD пайплайнах, чтобы не выпускать в продакшн "сломанные" релизы. Эти практики уже стандартны в серьёзных хай-тек-компаниях.

Кто виноват- люди, процессы или технологии?

Переобучение - мультифакторная проблема. Часто корень не в алгоритме, а в процессе разработки: дедлайны, урезанный этап подготовки данных, слабая ревизия разметки и отсутствие контролируемой валидации.

Технически компетентная команда способна минимизировать риск, но без зрелых процессов даже хорошие инженеры создают слабые решения.

Роль менеджмента - обеспечить ресурсы на качественную подготовку данных, проведение A/B и shadow-тестов, а также на мониторинг. Это инвестирование в инфраструктуру MLOps и культуру качественного код- и датапайплайна.

Внедрение чек-листов, ревью экспериментов и прозрачная трассировка экспериментов существенно снижает вероятность выпуска переобученной модели в продакшн.

Практические примеры и кейсы из индустрии

Пример 1: Рекомендательная система e-commerce. Команда обучила модель на данных первых двух месяцев запуска сервиса. Модель демонстрировала высокий CTR в валидации, но после включения в продакшн CTR упал на 12%.

Анализ показал сезонную закономерность и смещение новых пользователей. Решение: расширить датасет, ввести стратифицированную по времени валидацию и добавить регулярную перетренировку раз в неделю. CTR вернулся и стал стабильнее.

Пример 2: Система обнаружения дефектов в производстве. Модель CNN показывала 98% точности на собранных изображениях, но в цеху стала пропускать мелкие трещины. Причина - строго контролируемые условия съёмки при сборе тренировочных данных.

Решение: добавить аугментации (разные углы, уровень освещения), собрать дополнительный набор "боевых" снимков и ввести мониторинг распределения яркости и контраста в продакшне.

Пример 3: NLP-модель чат-бота. Команда обучала на FAQ и скриптах поддержки. Модель идеально повторяла шаблоны, но в реальном диалоге генерировала нерелевантные ответы на свободные формулировки.

Решение: смешанное обучение с человеческой обратной связью (RLHF), регулярная ревизия и добавление разнообразных примеров пользовательских формулировок.

Рекомендуемые чек-листы и рабочие процедуры

Ниже - практический чек-лист, который можно внедрить в рабочий процесс команд, чтобы снизить риск переобучения и деградации точности в продакшне:

  • Проверить распределения данных: train/val/test - нет утечек и смещений?
  • Использовать адекватную валидацию: time-series split для временных данных, stratified для дисбаланса.
  • Применить регуляризацию: weight decay, dropout, batch norm, pruning.
  • Аугментировать данные релевантными трансформациями.
  • Внедрить раннюю остановку и мониторинг переобучения на протяжении тренировки.
  • Проводить A/B и shadow-тесты перед полным релизом.
  • Внедрить мониторинг drift’а входных фич и предсказаний.
  • Автоматизировать CI/CD для моделей с тестами качества и ревью экспериментов.

Эти пункты - не волшебство, но они позволяют системно уменьшить риск выпуска ведер с переобученными моделями в продакшн.

Инструменты и библиотеки, которые помогут

В арсенале инженера есть множество инструментов: sklearn и statsmodels для базовых проверок, TensorFlow/PyTorch для обучения, Albumentations и ImgAug для аугментаций в CV, Hugging Face datasets и трансформеры для NLP. Для мониторинга и MLOps подойдут MLflow, ClearML, Weights & Biases, TFX, Seldon и Kubeflow.

Для детектирования drift'а применяют Evidently, NannyML, или собственные решения на основе статистических тестов (KS-test, PSI). Для объяснимости - SHAP, LIME. При выборе инструментов ориентируйтесь на совместимость с вашими пайплайнами данных и требования к latency в проде.

Переобучение - не приговор. Это естественное следствие дисбаланса между мощностью модели и качеством/разнообразием данных. Ключ к решению - системный подход: улучшение данных, грамотная валидация, регуляризация, мониторинг и зрелые процессы, позволяющие быстро реагировать на деградацию качества.

В хай-тек-индустрии, где условия меняются быстро, именно скорость обнаружения и исправления зачастую важнее идеальной модели.

Часто задаваемые вопросы (FAQ):

  • Как понять, что модель переобучилась, если метрики на валидации хорошие?

    Проверьте распределения данных в продакшне vs валидации, проведите A/B или shadow-тест, оцените стабильность на новых подвыборках и используйте cross-validation. Хорошая валидация та, которая отражает реальные условия использования.

  • Стоит ли всегда уменьшать сложность модели при переобучении?

    Не всегда. Сначала попробуйте регуляризацию, аугментацию и улучшение данных. Уменьшение сложности - вариант, когда другие меры не помогают или есть ограничения на ресурсы.

  • Как часто нужно перетренировывать модель в продакшне?

    Зависит от домена: в быстро меняющихся системах (рекомендации, реклама) - ежедневно или еженедельно; в стабильно работающих системах - реже. Автоматизированный триггер - дрифт входных фич или падение бизнес-метрик.

  • Какие метрики лучше мониторить для раннего выявления деградации?

    Помимо стандартных (accuracy, loss), отслеживайте распределения фич, distribution shift metrics (PSI), calibration metrics, частоту отказов и бизнес-метрики (CTR, conversion). Иногда proxy-метрики дают ранний сигнал о проблеме.