Тренировочный тест по дискретным и непрерывным распределениям II с пошаговым интерактивным уроком

Пуассона, геометрическое и гипергеометрическое (и ключевое приближение)

Ключевая идея

Для дискретных случайных величин вероятности задаются функцией вероятности \(P(X=k)\). Три часто встречающиеся модели:

• Пуассона \(\mathrm{Poisson}(\lambda)\): счет событий на интервале (с постоянной средней интенсивностью).
  • Носитель: \(k=0,1,2,\dots\)
  • Функция вероятности: \(P(X=k)=e^{-\lambda}\dfrac{\lambda^k}{k!}\)
  • Среднее/дисперсия: \(E[X]=\mathrm{Var}(X)=\lambda\)
  • Правило параметра: \(\lambda\ge 0\) (обычно на практике \(\lambda>0\))
• Геометрическое \(\mathrm{Geom}(p)\) (испытания до первого успеха):
  • Носитель: \(k=1,2,3,\dots\)
  • Функция вероятности: \(P(X=k)=(1-p)^{k-1}p\) для \(0<p\le 1\)
  • Среднее/дисперсия: \(E[X]=\dfrac{1}{p}\), \(\mathrm{Var}(X)=\dfrac{1-p}{p^2}\)
  • Примечание: \(E[X]\) конечно для любого допустимого \(p>0\), но может быть очень большим, если \(p\) мало.
• Гипергеометрическое \(\mathrm{Hypergeometric}(N,K,n)\): выборка без возвращения из \(N\) объектов, среди которых \(K\) “успехов”, при извлечении \(n\) объектов.
  • Среднее: \(E[X]=n\cdot\frac{K}{N}\)

Обязательное приближение

Если \(X\sim \mathrm{Bin}(n,p)\), где большое \(n\) и малое \(p\), а \(\lambda=np\) умеренно, то \[\mathrm{Bin}(n,p)\ \approx\ \mathrm{Poisson}(\lambda=np).\] Это один из самых распространенных фактов для “быстрого приближения” в тестах и экзаменах.

Разобранный пример

Попробуйте

Итог

• Счет Пуассона: \(k=0,1,2,\dots\), \(E[X]=\mathrm{Var}(X)=\lambda\).
• Геометрическое (испытания до первого успеха): \(k=1,2,3,\dots\), \(P(X=k)=(1-p)^{k-1}p\).
• Среднее гипергеометрического: \(E[X]=n\cdot\frac{K}{N}\).
• Приближение: \(\mathrm{Bin}(n,p)\approx \mathrm{Poisson}(\lambda=np)\) для большого \(n\) и малого \(p\).

Экспоненциальное распределение: интенсивность, масштаб, функция распределения и времена ожидания

Ключевая идея

Экспоненциальное распределение моделирует время ожидания до следующего события, когда события происходят с постоянной средней интенсивностью. Если \(X\sim\mathrm{Exponential}(\lambda)\), то:

• Носитель: \(x\ge 0\)
• Плотность: \(f(x)=\lambda e^{-\lambda x}\) для \(x\ge 0\)
• Функция распределения: \(F(x)=P(X\le x)=1-e^{-\lambda x}\) для \(x\ge 0\)
• Выживание: \(P(X>x)=e^{-\lambda x}\)
• Среднее/дисперсия: \(E[X]=\dfrac{1}{\lambda}\), \(\mathrm{Var}(X)=\dfrac{1}{\lambda^2}\)
• Параметр масштаба: \(\theta=\dfrac{1}{\lambda}\)
• Правило параметра: \(\lambda>0\)

Экспоненциальное распределение также обладает свойством отсутствия памяти: \[P(X>s+t\mid X>s)=P(X>t).\]

Разобранный пример

Попробуйте

Итог

• Функция распределения экспоненциального распределения: \(F(x)=1-e^{-\lambda x}\) для \(x\ge 0\); в частности \(F(0)=0\).
• Интенсивность/масштаб: \(\lambda>0\), масштаб \(=1/\lambda\), среднее \(=1/\lambda\), дисперсия \(=1/\lambda^2\).
• Модель времени ожидания: \(P(X>t)=e^{-\lambda t}\).

Гамма и хи-квадрат: степени свободы, форма и ключевые факты

Ключевая идея

Распределение хи-квадрат с \(k\) степенями свободы записывается \(\chi^2_k\). Оно естественно возникает как сумма квадратов: \[Z_1^2+\cdots+Z_k^2 \sim \chi^2_k \quad \text{когда } Z_i\sim N(0,1)\text{ независимо.}\]

• Носитель: \(x\ge 0\) (поэтому оно никогда не бывает отрицательным)
• Форма: скошено вправо при малых \(k\); становится более симметричным по мере роста \(k\)
• Среднее/дисперсия: \(E[\chi^2_k]=k\), \(\mathrm{Var}(\chi^2_k)=2k\)
• Параметр, управляющий формой: \(k\) (степени свободы)

Связь с гамма-распределением

Хи-квадрат - это частный случай гамма-распределения: \[\chi^2_k \sim \mathrm{Gamma}\!\left(\alpha=\frac{k}{2},\ \theta=2\right),\] где \(\alpha\) - форма, а \(\theta\) - масштаб.

Разобранный пример

Попробуйте

Итог

• \(\chi^2_k\) всегда \(\ge 0\) и обычно скошено вправо при малых \(k\).
• \(E[\chi^2_k]=k\), \(\mathrm{Var}(\chi^2_k)=2k\).
• Степени свободы \(k\) управляют формой.

F-распределение: отношения дисперсий и существование среднего

Ключевая идея

F-распределение возникает из отношения двух независимых величин хи-квадрат, деленных на их степени свободы: \[F=\frac{(\chi^2_{d_1}/d_1)}{(\chi^2_{d_2}/d_2)} \sim F(d_1,d_2).\] Оно широко используется в ANOVA и при проверке/оценке отношений дисперсий.

• Носитель: \(x>0\) (никогда не отрицательно)
• Параметры: \(d_1>0\), \(d_2>0\) (степени свободы)
• Среднее: \(E[F]=\dfrac{d_2}{d_2-2}\), если \(d_2>2\) (иначе среднее не существует)

Разобранный пример

Попробуйте

Итог

• \(F(d_1,d_2)\) положительно: носитель \(x>0\).
• \(E[F]=\dfrac{d_2}{d_2-2}\) существует только когда \(d_2>2\).
• F-распределения встречаются в отношениях дисперсий и ANOVA.

Дисперсия логистического распределения и ловушка “неопределенное среднее” у Коши

Логистическое распределение

Логистическая случайная величина \(X\sim \mathrm{Logistic}(\mu,s)\) имеет гладкую S-образную (сигмоидную) функцию распределения: \[F(x)=\frac{1}{1+e^{-(x-\mu)/s}},\] где \(\mu\) - параметр положения, а \(s>0\) - параметр масштаба.

• Среднее: \(E[X]=\mu\)
• Дисперсия: \(\mathrm{Var}(X)=\dfrac{\pi^2 s^2}{3}\)
• Зачем это нужно: логистические функции распределения встречаются в логистической регрессии и моделировании “вероятности как плавного порога”.

Распределение Коши

Распределение Коши - классическое распределение с тяжелыми хвостами. Для \(X\sim \mathrm{Cauchy}(x_0,\gamma)\) хвосты настолько тяжелые, что среднее и дисперсия не определены. Распространенный частный случай - стандартное распределение Коши \(\mathrm{Cauchy}(0,1)\) с Плотность: \[f(x)=\frac{1}{\pi(1+x^2)}.\]

Разобранный пример

Попробуйте

Итог

• Логистическое: \(E[X]=\mu\), \(\mathrm{Var}(X)=\dfrac{\pi^2 s^2}{3}\).
• Коши: среднее и дисперсия не определены (не существуют).

Как быстро выбрать правильное распределение

Сюжет → подсказки по распределению

• Счет событий в интервале времени/площади (приходы, дефекты, звонки, письма): Пуассона\((\lambda)\).
• Время ожидания до следующего события: экспоненциальная\((\lambda)\).
• Испытания до первого успеха (первый успех на испытании \(k\)): геометрическое распределение \((p)\).
• Выборка без возвращения из конечной совокупности: гипергеометрическое распределение \((N,K,n)\).
• Сумма квадратов стандартных нормальных: \(\chi^2_k\).
• Отношение дисперсий (отношение масштабированных хи-квадрат): \(F(d_1,d_2)\).

Проверки параметров (быстрая здравость)

• Пуассона: \(\lambda\ge 0\), а исходы \(0,1,2,\dots\).
• Экспоненциальное: \(\lambda>0\), а исходы удовлетворяют \(x\ge 0\).
• Геометрическое: \(0<p\le 1\), а исходы \(1,2,3,\dots\) (версия с испытаниями до успеха).
• \(\chi^2\), F: степени свободы положительны; значения неотрицательны (а F строго положительно).

Разобранный пример (связь Пуассона ↔ экспоненциального)

Попробуйте

Итог

• Экспоненциальное моделирует время ожидания; Пуассона моделирует счет.
• Всегда проверяйте носитель: Пуассона \(0,1,2,\dots\); экспоненциальное \(x\ge 0\); \(\chi^2\) \(x\ge 0\); F \(x>0\).
• Смысл параметра важен: экспоненциальное \(\lambda\) - интенсивность; \(\lambda\) Пуассона - среднее число событий за интервал.

Зачем нужны эти распределения (и финальная проверка)

Где встречаются распределения II

• Очереди и надежность: счет Пуассона и экспоненциальные времена ожидания (звонки, прибытия, отказы).
• Контроль качества: дефекты на единицу (Пуассона), испытания успех/неудача (геометрическое).
• Выборки и генетика: гипергеометрическая выборка без возвращения.
• Проверка гипотез: критерии хи-квадрат (согласие, независимость) и F-критерии (отношения дисперсий, ANOVA).
• Моделирование данных: логистическое для S-образных вероятностных кривых; Коши как напоминание, что не каждое распределение имеет среднее.

Разобранный пример: геометрическое “успех в первом испытании”

Попробуйте

Итоговое повторение

• Пуассона: \(P(X=k)=e^{-\lambda}\dfrac{\lambda^k}{k!}\), носитель \(k=0,1,2,\dots\), \(E[X]=\mathrm{Var}(X)=\lambda\).
• Геометрическое (испытания до первого успеха): носитель \(k=1,2,3,\dots\), \(P(X=k)=(1-p)^{k-1}p\), \(E[X]=1/p\).
• Гипергеометрическое: выборка без возвращения, \(E[X]=n\cdot\frac{K}{N}\).
• Экспоненциальное: \(f(x)=\lambda e^{-\lambda x}\), \(F(x)=1-e^{-\lambda x}\) для \(x\ge 0\), среднее \(1/\lambda\), дисперсия \(1/\lambda^2\).
• \(\chi^2_k\): неотрицательно, \(E[\chi^2_k]=k\), \(\mathrm{Var}(\chi^2_k)=2k\), форма управляется \(k\).
• F(d\(_1\),d\(_2\)): положительно, \(E[F]=\dfrac{d_2}{d_2-2}\) для \(d_2>2\).
• Логистическое: \(\mathrm{Var}(X)=\dfrac{\pi^2 s^2}{3}\). Коши: среднее и дисперсия не определены.