Хвосты распределений: где живут редкие большие события

Девятнадцать поездок в аэропорт заняли по тридцать минут. Двадцатая — три часа. Среднее время равно 37,5 минуты и выглядит вполне удобным для планирования. Но именно двадцатая поездка решит, успеете ли вы на рейс, если выйти за сорок минут до окончания регистрации.

Среднее сводит весь набор наблюдений к одному числу, но не показывает его форму. Пассажиру нужен другой ответ: как часто дорога занимает намного больше обычного и какова цена такого опоздания?

Редкие значения далеко от центра называют хвостами распределения. Для одних процессов это незначительные исключения. В других несколько редких событий определяют годовую прибыль, размер ущерба или возможность продолжать работу. Поэтому план, рассчитанный только на обычный день, может выглядеть эффективным ровно до первого серьёзного отклонения.

Когда среднее отвечает не на тот вопрос

Распределение связывает возможные значения с их вероятностями. Среднее, медиана, разброс и квантили сжимают эту картину по-разному. Медиана делит наблюдения пополам, а квантиль показывает границу, ниже которой лежит заданная доля результатов. Например, 95-й процентиль времени в пути — значение, в которое укладываются 95 поездок из ста.

Полезно различать две части распределения:

• основную массу наблюдений — обычный диапазон, по которому удобно оценивать повседневную эффективность;
• хвост — редкие исходы, от которых зависят обязательства, безопасность и время восстановления.

В поездке без жёсткого срока достаточно знать типичное время. Перед вылетом цена правого хвоста — очень долгой дороги — намного выше цены раннего приезда. Решение тогда учитывает не только вероятность, но и последствия:

Такой расчёт не даёт универсального «правильного» запаса времени. Он лишь заставляет назвать то, что часто остаётся скрытым: день недели, погоду, альтернативный маршрут, правила билета и цену пропущенного рейса.

Тонкие и тяжёлые хвосты

У распределений с тонкими хвостами вероятность далёких отклонений быстро уменьшается. Если данные при этом не смешивают несколько разных режимов и распределение не слишком асимметрично, среднее и стандартное отклонение нередко дают содержательное описание.

Тяжёлый хвост убывает медленнее. Один важный класс моделей задаётся степенной формой:

Здесь $P(X > x)$ — вероятность превысить большое значение $x$, $C$ задаёт масштаб, а $\alpha$ описывает скорость убывания хвоста. Для такой модели конечное среднее существует при $\alpha > 1$, а конечная дисперсия — при $\alpha > 2$.

Степенной закон — лишь одна из моделей тяжёлого хвоста. Логнормальное распределение, распределения Парето и смеси разных условий ведут себя по-разному. Поэтому утверждение «у данных тяжёлый хвост» только начинает исследование: нужно указать переменную, диапазон наблюдений, выбранную модель и неопределённость оценки.

Бенуа Мандельброт в работе 1963 года показал, что изменения спекулятивных цен плохо укладываются в гауссову картину, и предложил модель со стабильными распределениями.¹ Позднейшие исследования расширили набор моделей. В обзоре Рамы Конта среди устойчивых свойств многих финансовых рядов отмечены хвосты тяжелее нормальных, периоды сгущения волатильности и длительная зависимость абсолютных изменений.²

Откуда берутся далёкие исходы

Одинаковая форма на графике может возникнуть по разным причинам. Различить их важнее, чем подобрать эффектное название.

Смешиваются разные условия

В спокойные дни продажи могут колебаться мало, а во время рекламной кампании — сильно. По отдельности оба распределения выглядят компактно, но их смесь получает широкий хвост. Так же короткий спокойный период на рынке описывает только спокойный период, а не весь возможный диапазон.

Малые различия накапливаются

Если следующее изменение пропорционально уже достигнутому размеру, со временем пути расходятся. В модели городского роста Ксавье Габэ показал, при каких условиях случайный пропорциональный рост верхней части распределения приводит к закону Ципфа для размеров городов.³ Это результат конкретной модели, а не общий закон роста. Он наглядно показывает механизм: одинаковые процентные изменения дают всё более разные абсолютные прибавки.

В продажах и творческой работе концентрацию усиливает отбор: множество попыток приносит небольшой результат, а несколько находят крупный рынок или аудиторию. Такой правый хвост полезен только тому, кто может оплатить серию обычных попыток и сохранить долю в редком успехе.

Зависимости срабатывают вместе

Редкий большой ущерб часто создаёт не один отказ, а их сочетание. Задержка общего поставщика останавливает несколько производств; продажа на малоликвидном рынке двигает цену, движение активирует ограничения, а они вызывают новые продажи. Вероятности отдельных событий здесь недостаточно: нужно понимать, какие из них имеют общую причину и как возмущение передаётся дальше.

Порядок тоже важен. Три задержки платежа, равномерно распределённые по году, и те же задержки в одном месяце требуют разного денежного резерва. Ранняя просадка особенно опасна, если после неё следуют обязательные изъятия: база для восстановления уже стала меньше.

Поэтому распределение итогового результата полезно дополнять временной линией: максимальной просадкой, длительностью дефицита и временем возвращения к обычной работе. Если есть порог — условие кредитного договора, минимальный остаток денег или предел очереди, — важно знать не только величину отклонения, но и момент, когда оно произошло.

Два коротких разбора

Рынок: флэш-крэш 6 мая 2010 года

6 мая 2010 года американский рынок пережил быстрое падение и восстановление. Совместный отчёт CFTC и SEC описывает уже напряжённое состояние рынка, крупную автоматизированную продажу фьючерсов E‑Mini, снижение ликвидности и передачу движения между связанными площадками.⁴

Исследование Андрея Кириленко и соавторов на данных отдельных сделок показывает роль высокочастотных посредников и внутридневной ликвидности в этом эпизоде.⁵ Редкий исход возник не из одной причины, а из состояния рынка, правил исполнения, действий участников и быстрых обратных связей.

Технический пример: почему важен 99-й процентиль

Представим, что один пользовательский запрос распараллеливается на сто обращений к зависимым сервисам — это называют fan-out. Каждый сервис успевает ответить до предельного времени ожидания с вероятностью $0{,}999$. Если считать обращения независимыми, вероятность успеха всех ста равна:

Высокая надёжность каждого элемента оставляет почти десятипроцентную вероятность, что вся операция не завершится вовремя. В реальной системе обращения часто зависимы: общая сеть, нехватка оперативной памяти (memory pressure), один пул соединений или развёртывание новой версии влияют сразу на многие из них.

Поэтому инженеры смотрят не только на среднее время ответа, но и на p50, p95 и p99 — значения, в которые укладываются соответственно 50, 95 и 99 процентов запросов. Дополнительно измеряют долю превышений допустимого времени ожидания, длину очереди, долю повторных запросов и продолжительность ухудшения. Средние значения нужны для планирования пропускной способности, а хвостовые — чтобы видеть, сколько ждут самые медленные запросы, и готовиться к инцидентам.

Пять вопросов перед решением

1. Что считается одним наблюдением? День, заказ, домохозяйство, запрос или поездка? При смене единицы меняется и распределение.
2. Где проходит значимая граница? Для рейса это окончание регистрации, для бизнеса — момент нарушения обязательного платежа, для сервиса — предельное время ответа. Риск становится конкретным, когда названы порог и цена его пересечения.
3. Какие условия смешаны? Сезон, погода, версия продукта, состояние рынка. Разделение условий помогает понять происхождение разброса.
4. Какие зависимости проявятся одновременно? В спокойное время клиенты, поставщики или сервисы могут казаться независимыми. Во время сбоя общая инфраструктура или общий источник денег определяют, по какому пути пойдёт каскад.
5. Что будет после экстремума? Сколько займёт восстановление, какой резерв доступен и какие обязательства можно перенести?

Где модель перестаёт помогать

Редких наблюдений по определению мало, поэтому параметры хвоста оцениваются с большой неопределённостью. Надёжный анализ явно определяет событие и период, сравнивает несколько распределений, учитывает смену условий и зависимости между элементами, а также проверяет сценарии за пределами короткой выборки.

Степенная модель содержательна лишь в диапазоне, где её поддерживают данные и правдоподобный механизм. В повседневном решении часто достаточно квантилей, нескольких сценариев и оценки последствий. Для капитала, безопасности, медицины и городской инфраструктуры нужны предметные модели и специалисты, которые отвечают за их применение.

Что полезно запомнить

Обычные дни показывают, насколько эффективно работает система. Редкие большие события показывают, выдержит ли она нарушение привычного хода и сколько времени займёт восстановление. Для поездки в аэропорт это означает простой выбор: типичное время помогает сравнить маршруты, а запас перед рейсом следует выбирать по вероятности долгой задержки и цене опоздания.

Среднее остаётся полезным, но не заменяет вопроса о границе ущерба, совместных отказах и последовательности событий. После редкого успеха или сбоя участники меняют поведение — и вместе с ним будущее распределение исходов. Как стратегии отвечают друг на друга, разбирает статья «Игры и адаптация: как стратегии меняют среду друг друга».

Источники и примечания