# Лекція 3. Статистичний аналіз, візуалізація даних та довірчі інтервали

## Огляд

У [Лекції 2](DA-L02.md) ми будували **ймовірнісну модель**: наперед задавали
розподіл випадкової величини (нормальний, біноміальний тощо) з відомими
параметрами $\mu$, $\sigma^2$, $p$ і виводили з нього ймовірності. Реальний
аналітик діє **навпаки**: параметри йому невідомі, зате є **дані** — результати
експерименту чи спостереження. Завдання — за цими даними зробити обґрунтований
**висновок** про величину, що їх породила. Саме цим займається **математична
статистика**.

Ця лекція — місток від ймовірності до статистики. Ми означимо генеральну
сукупність і вибірку, оглянемо, як **побачити** одновимірні дані (види діаграм),
навчимося стисло **описувати** вибірку кількома числами — характеристиками центру
(середнє, мода, медіана) та розкиду (квантилі, міжквартильний розмах, вибіркова
дисперсія), — а тоді перейдемо до головного інструменту статистичного висновку:
**довірчого інтервалу**, що вказує не одне число-оцінку, а цілий проміжок
правдоподібних значень невідомого параметра із заданою **надійністю**. Довірчі
інтервали спираються на розподіли $t$, $\chi^2$ з [Лекції 2](DA-L02.md) і прямо
готують ґрунт до **перевірки гіпотез** у [Лекції 4](DA-L04.md).

> **Практичний бік.** Описові характеристики й довірчі інтервали ви обчислюватимете
> «руками» в аудиторії та **програмою** в
> [Лабораторній роботі 3](../Laboratory/Laboratory3/main.md).

---

## 3.1 Математична статистика

> **Означення (математична статистика).** **Математична статистика** — це наука, що
> займається **методами обробки результатів експериментів або спостережень над
> випадковими явищами**: збиранням даних, їх описом, оцінюванням невідомих
> параметрів і перевіркою припущень про механізм, що дані породив.

Зв'язок із теорією ймовірностей — двобічний, але напрям висновку протилежний:

- **Теорія ймовірностей** (Лекції 1–2): розподіл **відомий** ⟶ обчислюємо
  ймовірності подій та числові характеристики. Рух від **моделі до даних**.
- **Математична статистика** (ця й наступні лекції): є лише **дані** ⟶
  відновлюємо (оцінюємо) розподіл та його параметри й вимірюємо надійність
  висновку. Рух від **даних до моделі**.

Отже, ймовірність дає *мову й закони*, а статистика — *методи висновку* цією мовою.
Без ймовірнісної моделі не можна сказати, наскільки висновок надійний; без даних
модель лишається абстракцією.

**Приклад 3.1.** Завод стверджує, що середня маса деталі — $\mu = 50$ г. Це
твердження **моделі**. Ми беремо $n = 20$ деталей, зважуємо (це **дані**) і за
ними оцінюємо середнє та будуємо проміжок, у якому $\mu$ лежить із надійністю
$95\%$. Це вже робота **статистики**.

---

## 3.2 Типи вибірок

Уся статистика працює з протиставленням «усе — частина».

> **Означення (генеральна сукупність, вибірка).** **Генеральна сукупність**
> (англ. *population*) — це вся множина об'єктів, про яку ми хочемо зробити
> висновок. **Вибірка** (англ. *sample*) — скінченна підмножина цієї сукупності,
> яку ми фактично спостерігаємо. Число елементів вибірки $n$ називають **обсягом
> вибірки**.

Досліджувати всю сукупність (суцільне обстеження) зазвичай неможливо або надто
дорого, тож висновок про сукупність роблять за вибіркою. Щоб такий висновок був
чесним, вибірка має бути **репрезентативною**.

> **Означення (репрезентативність).** Вибірка **репрезентативна**, якщо вона
> правильно відтворює структуру генеральної сукупності — тобто пропорції ознак у
> вибірці близькі до пропорцій у сукупності. Головний спосіб цього досягти —
> **випадковий відбір**, за якого кожен об'єкт сукупності має рівні (та відомі)
> шанси потрапити у вибірку.

За способом відбору розрізняють:

- **Повторна вибірка** (з поверненням): відібраний об'єкт повертають у сукупність,
  тож він може потрапити у вибірку **повторно**. Елементи **незалежні**, а склад
  сукупності під час відбору не змінюється.
- **Безповторна вибірка** (без повернення): відібраний об'єкт у сукупність **не
  повертають**. Елементи стають **залежними**, а сукупність «вичерпується».

> **Зауваження (коли різниця несуттєва).** Якщо обсяг вибірки малий порівняно з
> сукупністю (практичне правило — $n$ менше за $5\%$ розміру сукупності), то
> повторна й безповторна схеми дають майже однакові результати, і безповторну
> вибірку можна аналізувати за формулами для незалежних спостережень. Саме цей
> випадок ми надалі й припускаємо.

**Приклад 3.2.** Опитати всіх виборців країни — недосяжно (генеральна сукупність
величезна), тож опитують кілька тисяч осіб (вибірку). Якщо телефонувати лише в
робочий час, вибірка **нерепрезентативна** — систематично випадають ті, хто в цей
час працює.

---

## 3.3 Візуалізація одновимірних статистичних даних

Перший крок аналізу — **побачити** дані: форму розподілу, типове значення,
розкид, аномалії. Для одновимірної (однієї ознаки) вибірки застосовують кілька
базових діаграм; кожна відповідає на своє питання.

- **Лінійний графік** (line chart). Значення з'єднують відрізками у порядку їх
  надходження. Призначення — показати **динаміку**, тобто зміну величини вздовж
  упорядкованого індексу (найчастіше часу): тренд, зростання/спад, коливання.
- **Діаграма з маркерами** (line/marker chart). Той самий лінійний графік, але
  кожне спостереження позначено **маркером** (точкою). Призначення — підкреслити
  **окремі виміри** поряд із загальною тенденцією; зручно, коли точок небагато й
  важливе саме положення кожної.
- **Стовпчикова діаграма** (bar chart). Кожному значенню (або категорії)
  відповідає **стовпчик**, висота якого пропорційна величині чи частоті.
  Призначення — **порівнювати** дискретні значення або частоти категорій між
  собою.
- **Просторова (точкова) діаграма** (scatter/dot chart). Кожне спостереження
  зображують **окремою точкою** в координатному просторі (напр., значення проти
  порядкового номера). Призначення — показати **розсіяння** сирих даних: згущення,
  розриви, ізольовані точки (кандидати у викиди), без згладжування лінією.
- **Гістограма** (histogram). Діапазон значень розбивають на суміжні **інтервали**
  (стовпці, англ. *bins*) однакової ширини; над кожним інтервалом будують
  прямокутник, **висота** якого дорівнює кількості (частоті) значень, що в нього
  потрапили. Призначення — показати **форму емпіричного розподілу**: де
  зосереджені дані, чи він симетричний, одно- чи багатовершинний, чи є важкі
  хвости. Гістограма — це емпіричний аналог щільності з [Лекції 2](DA-L02.md).

> **Про кількість інтервалів гістограми.** Замало інтервалів — форма «згладжується»
> і зникають деталі; забагато — гістограма «розсипається» на поодинокі
> спостереження. Орієнтовні правила: $k \approx \sqrt{n}$ або правило Стерджеса
> $k \approx 1 + \log_2 n$. Ширину інтервалу беруть як $(x_{\max} - x_{\min}) / k$.

**Приклад 3.3.** Для $n = 100$ вимірювань розумний старт — приблизно
$k \approx \sqrt{100} = 10$ інтервалів або $k \approx 1 + \log_2 100 \approx 7,6$,
тобто $7$–$8$ інтервалів за Стерджесом.

![Гістограма вибірки зі 100 значень, поділена на 8 інтервалів за правилом Стерджеса; висота стовпця дорівнює частоті, форма розподілу скошена вправо](img/l03_histogram.png)

---

## 3.4 Варіаційний ряд

Перш ніж рахувати характеристики, вибірку впорядковують.

> **Означення (варіаційний ряд).** **Варіаційний ряд** — це вибірка, значення якої
> розташовані в порядку неспадання: $x_{(1)} \le x_{(2)} \le \dots \le x_{(n)}$.
> Елементи $x_{(k)}$ називають **порядковими статистиками**; $x_{(1)} = x_{\min}$,
> $x_{(n)} = x_{\max}$, а $R = x_{(n)} - x_{(1)}$ — **розмах** вибірки.

Коли значення повторюються, ряд згортають у **частотний**: кожному унікальному
значенню $x_j$ зіставляють **частоту** $f_j$ (скільки разів воно трапилось),
$\sum_j f_j = n$, і **відносну частоту** $p_j = f_j / n$ (емпіричний аналог
ймовірності). Впорядкування — це основа для медіани, квантилів і гістограми.

**Приклад 3.4.** Вибірку $4,\ 8,\ 6,\ 10,\ 7$ впорядковуємо у варіаційний ряд
$4,\ 6,\ 7,\ 8,\ 10$; тоді $x_{(1)} = 4$, $x_{(5)} = 10$, розмах $R = 10 - 4 = 6$.

![Східчаста емпірична функція розподілу за варіаційним рядом; у точці 10 стрибок 3/9, бо значення 10 трапляється тричі](img/l03_ecdf.png)

---

## 3.5 Базові характеристики центру

Характеристика центру («середнє положення») одним числом відповідає на питання «де
зосереджені значення?». Є три основні міри — і в кожної свій характер.

### Середнє (arithmetic mean)

> **Означення (вибіркове середнє).**
> $$ \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i. $$

Це «центр ваги» вибірки — точка, відносно якої сума відхилень дорівнює нулю.

| Переваги | Недоліки |
|---|---|
| Простота реалізації | Чутливість до викидів |
| Використання **всіх** даних | Не завжди репрезентативне (для скошених розподілів) |
| Природна характеристика центру | — |

### Мода (mode)

> **Означення (мода).** **Мода** — значення, що трапляється у вибірці **найчастіше**
> (значення з найбільшою частотою $f_j$).

| Переваги | Недоліки |
|---|---|
| Простота реалізації | Може бути **відсутня** або **неєдина** |
| Нечутливість до екстремальних значень | Не завжди репрезентативна |
| Придатна для **якісних** (категоріальних) даних | Нечутливість до всіх значень (враховує лише найчастіше) |

### Медіана (median)

> **Означення (медіана).** **Медіана** $\mathrm{Me}$ — значення, що ділить
> упорядковану вибірку навпіл: не менш як половина значень $\le \mathrm{Me}$ і не
> менш як половина $\ge \mathrm{Me}$. За варіаційним рядом
> $$ \mathrm{Me} = \begin{cases} x_{\left(\frac{n+1}{2}\right)}, & n \text{ непарне}, \\[4pt] \dfrac{1}{2}\left( x_{\left(\frac{n}{2}\right)} + x_{\left(\frac{n}{2}+1\right)} \right), & n \text{ парне}. \end{cases} $$

| Переваги | Недоліки |
|---|---|
| **Стійкість** до викидів | Нечутливість до всіх значень (важливий лише порядок) |
| Легкість інтерпретації | Менш ефективна для симетричних розподілів (там середнє точніше) |

> **Коли яку брати.** Для приблизно симетричних даних без викидів усі три міри
> близькі, і зазвичай беруть **середнє**. Для **скошених** розподілів чи за
> наявності викидів надійніша **медіана** (класичний приклад — «медіанна зарплата»,
> яку кілька надвисоких зарплат не завищують). **Мода** — єдина міра центру для
> суто якісних даних (найпопулярніший колір, найчастіший діагноз).

![Крива щільності скошеного вправо розподілу з позначеними модою, медіаною та середнім: мода найлівіше, далі медіана, середнє найправіше](img/l03_mean_median_mode.png)

**Приклад 3.5.** Для вибірки $3,\ 4,\ 7,\ 8,\ 9,\ 10,\ 10,\ 10,\ 11$ ($n = 9$):

$$ \bar{x} = \frac{3+4+7+8+9+10+10+10+11}{9} = \frac{72}{9} = 8, \qquad \mathrm{Me} = x_{(5)} = 9, \qquad \mathrm{Mo} = 10. $$

Три міри різні: $\bar{x} = 8 < \mathrm{Me} = 9 < \mathrm{Mo} = 10$. Оскільки
середнє менше за медіану, розподіл **скошений вліво** — кілька малих значень ($3, 4$)
відтягують середнє донизу, тоді як медіана й мода лишаються серед типових високих
значень.

---

## 3.6 Квантилі, квартилі та міжквартильний розмах

Медіана ділить дані навпіл; узагальнення — ділити їх у будь-якій пропорції.

> **Означення (квантиль).** **Квантилем рівня** $p$ (де $0 < p < 1$) називають
> значення $Q_p$, ліворуч від якого лежить частка $p$ усіх даних (а праворуч —
> частка $1 - p$). Медіана — це квантиль рівня $p = 0.5$.

Найуживаніші квантилі — **квартилі**, що ділять упорядковані дані на чотири рівні
частини:

- **$Q_1$** (нижній квартиль, $p = 0.25$) — під ним $25\%$ даних;
- **$Q_2$** (медіана, $p = 0.5$) — під нею $50\%$;
- **$Q_3$** (верхній квартиль, $p = 0.75$) — під ним $75\%$.

**Обчислення (метод лінійної інтерполяції).** Для рівня $p$ беруть **позицію**
$h = (n - 1)\,p$ у нумерації з нуля. Якщо $h$ ціле, то $Q_p = x_{(h)}$ (значення на
цій позиції варіаційного ряду); якщо ні — інтерполюють між сусідніми порядковими
статистиками. Це метод за замовчуванням у `numpy.percentile` / `numpy.quantile`;
саме його ми беремо за канонічний у курсі.

> **Типова помилка (різні означення квартилів).** Існує кілька узгоджених методів
> обчислення квартилів (лінійна інтерполяція, «медіани половин» за Тьюкі та інші);
> на **малих** вибірках вони дають дещо різні $Q_1$, $Q_3$. Це не помилка, а різні
> домовленості. Головне — **зафіксувати один метод** і зазначати його; результати
> вашої програми звіряйте з тією ж бібліотечною функцією, що реалізує той самий
> метод.

> **Означення (міжквартильний розмах, IQR).** **Міжквартильним розмахом**
> (англ. *interquartile range*) називають
> $$ \mathrm{IQR} = Q_3 - Q_1. $$
> Це ширина «середніх $50\%$» даних — **робастна** (стійка до викидів) міра
> розкиду: на неї не впливають $25\%$ найменших і $25\%$ найбільших значень.

IQR дає стандартний **критерій викидів** (правило «півтора IQR»): значення вважають
викидом, якщо воно лежить поза «вусами»

$$ \big[\, Q_1 - 1.5\,\mathrm{IQR}, \quad Q_3 + 1.5\,\mathrm{IQR} \,\big]. $$

**Приклад 3.6 (квартилі та робастність).** Розгляньмо впорядковану вибірку
($n = 9$):

$$ A:\quad 5,\ 7,\ 8,\ 10,\ 12,\ 13,\ 15,\ 18,\ 22. $$

Позиції: $h_{25} = (9-1)\cdot 0.25 = 2 \Rightarrow Q_1 = x_{(2)} = 8$;
$h_{50} = 4 \Rightarrow Q_2 = x_{(4)} = 12$;
$h_{75} = 6 \Rightarrow Q_3 = x_{(6)} = 15$ (нумерація з нуля). Тоді
$\mathrm{IQR} = 15 - 8 = 7$, а середнє $\bar{x} = 110/9 \approx 12.22$.

Замінимо найбільше значення $22$ на **грубий викид** $40$:

$$ B:\quad 5,\ 7,\ 8,\ 10,\ 12,\ 13,\ 15,\ 18,\ 40. $$

Середнє підскочило до $\bar{x} = 128/9 \approx 14.22$, а от **медіана
($12$), квартилі ($8$ і $15$) та IQR ($7$) не змінилися зовсім** — це і є
робастність. Перевіримо, чи $40$ — викид: межі
$[\,8 - 1.5\cdot 7,\ 15 + 1.5\cdot 7\,] = [-2.5,\ 25.5]$; оскільки
$40 > 25.5$, значення $40$ — **викид**.

![Ящик з вусами: межі ящика — квартилі Q1=8 і Q3=15, лінія медіани Q2=12, ширина IQR=7; значення 40 лежить поза межею 1.5·IQR і є викидом](img/l03_boxplot.png)

---

## 3.7 Статистична оцінка та її властивості

Число, обчислене за вибіркою (як-от $\bar{x}$), — це лише **наближення** невідомого
параметра сукупності (як-от $\mu$). Формалізує це поняття статистичної оцінки.

> **Означення (статистична оцінка).** **Оцінкою параметра** (статистичною оцінкою)
> називають **випадкову величину, розраховану за вибіркою**, яка дає підстави для
> обґрунтованих рішень щодо невідомого параметра генеральної сукупності. Оцінку
> позначають «капелюшком»: $\hat{\theta}$ — оцінка параметра $\theta$.

Оцінка **випадкова**, бо залежить від конкретної вибірки: інша вибірка дасть інше
значення $\hat{\theta}$. Тому оцінки порівнюють за їхньою «якістю» — трьома
властивостями.

> **Властивість 1 (незміщеність, unbiasedness).** Оцінка $\hat{\theta}$
> **незміщена**, якщо її математичне сподівання дорівнює справжньому параметру:
> $$ M(\hat{\theta}) = \theta. $$
> Тобто оцінка «в середньому» не завищує й не занижує параметр; величину
> $M(\hat{\theta}) - \theta$ називають **зміщенням**.

> **Властивість 2 (спроможність, consistency).** Оцінка **спроможна**, якщо зі
> зростанням обсягу вибірки вона збігається (за ймовірністю) до параметра:
> $\hat{\theta} \to \theta$ при $n \to \infty$. Тобто більше даних — точніша
> оцінка.

> **Властивість 3 (ефективність, efficiency).** Серед незміщених оцінок
> **ефективнішою** є та, що має **найменшу дисперсію** $D(\hat{\theta})$ — вона
> найменше «розкидана» навколо параметра, тобто найточніша за однакового $n$.

**Приклад 3.7.** Вибіркове середнє $\bar{x}$ — незміщена ($M(\bar{x}) = \mu$),
спроможна (за законом великих чисел $\bar{x} \to \mu$) і ефективна оцінка
математичного сподівання $\mu$ нормальної сукупності. Тому саме його беруть за
оцінку центру.

---

## 3.8 Вибіркова дисперсія та ступені свободи

Оцінити треба не лише центр $\mu$, а й розкид $\sigma^2$. Природний кандидат —
середній квадрат відхилень від $\bar{x}$, але тут криється тонкість.

> **Означення (вибіркова дисперсія).** **Незміщена вибіркова дисперсія**
> $$ s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2, \qquad s = \sqrt{s^2}, $$
> де ділять на $n - 1$, а не на $n$. Варіант із діленням на $n$ (позначаємо
> $s_n^2$) дає **зміщену** оцінку.

Чому саме $n - 1$? Бо в сумі квадратів відхилення беруть від **вибіркового**
середнього $\bar{x}$, а не від невідомого $\mu$. Відхилення від $\bar{x}$ систематично
**менші**, ніж від $\mu$ (адже $\bar{x}$ — це точка, що *мінімізує* суму квадратів
відхилень саме для цієї вибірки), тож ділення на $n$ занижувало б дисперсію. Ділення
на $n - 1$ (**поправка Бесселя**) виправляє це зміщення точно:

$$ M(s^2) = \sigma^2 \quad (\text{незміщеність}), \qquad M(s_n^2) = \frac{n-1}{n}\,\sigma^2 < \sigma^2 \quad (\text{зміщення вниз}). $$

> **Означення (ступені свободи).** **Число ступенів свободи** (англ. *degrees of
> freedom*) — це кількість незалежних величин, що вільно змінюються. Маючи $n$
> відхилень $x_i - \bar{x}$, ми **не** маємо $n$ незалежних чисел: вони пов'язані
> тотожністю
> $$ \sum_{i=1}^{n} (x_i - \bar{x}) = 0. $$
> Одне відхилення однозначно визначається рештою $n - 1$, тож **вільних** відхилень
> лише $n - 1$. Саме на це число ступенів свободи й ділять.

Ступені свободи — не формальність: параметр «число ступенів свободи» задає розподіли
$t$ та $\chi^2$ з [Лекції 2](DA-L02.md), які ми зараз застосуємо до довірчих
інтервалів. Для вибіркової дисперсії з нормальної сукупності це саме $n - 1$.

**Приклад 3.8.** Для вибірки $4,\ 8,\ 6,\ 10,\ 7$ ($n = 5$): $\bar{x} = 35/5 = 7$;
відхилення $-3, 1, -1, 3, 0$; сума їх квадратів $9 + 1 + 1 + 9 + 0 = 20$. Тоді

$$ s^2 = \frac{20}{n-1} = \frac{20}{4} = 5 \ \ (s = \sqrt5 \approx 2.236), \qquad s_n^2 = \frac{20}{n} = \frac{20}{5} = 4. $$

Незміщена оцінка ($5$) більша за зміщену ($4$) — поправка Бесселя «повертає» ту
дисперсію, яку ділення на $n$ систематично занижувало.

---

## 3.9 Довірчі інтервали

Оцінка $\bar{x} = 8.3$ сама по собі не каже, **наскільки їй довіряти**. Замість
одного числа (**точкової** оцінки) статистика будує **проміжок** правдоподібних
значень параметра — **інтервальну** оцінку.

> **Означення (довірчий інтервал).** **Довірчим інтервалом** (англ. *confidence
> interval*) для параметра $\theta$ називають випадковий проміжок
> $(\,\hat{\theta}_{\text{н}},\ \hat{\theta}_{\text{в}}\,)$, побудований за вибіркою
> так, що він накриває справжнє значення $\theta$ із наперед заданою ймовірністю
> $$ P\big(\hat{\theta}_{\text{н}} < \theta < \hat{\theta}_{\text{в}}\big) = 1 - \alpha. $$

> **Означення (довірча ймовірність і рівень значущості).** Число $\gamma = 1 - \alpha$
> називають **довірчою ймовірністю** (надійністю), а $\alpha$ — **рівнем значущості**
> (ймовірністю «промаху»). Типові значення: $\alpha = 0.05$ ($95\%$),
> $\alpha = 0.01$ ($99\%$), $\alpha = 0.1$ ($90\%$).

> **Як правильно читати ДІ.** Випадковий тут — **інтервал**, а не параметр $\theta$
> (він фіксований, хоч і невідомий). Формулювання «$95\%$» означає: якщо багато разів
> повторювати відбір і щоразу будувати інтервал, то приблизно $95\%$ таких
> інтервалів накриють $\theta$. Хибно казати «$\theta$ лежить тут з імовірністю
> $0.95$» для *конкретного* обчисленого проміжку.

![Двадцять вибіркових довірчих інтервалів навколо істинного середнього мю=50; дев'ятнадцять із них накривають мю, один не накриває — ілюстрація надійності 95 відсотків](img/l03_ci_concept.png)

Ширші інтервали надійніші, але менш інформативні; вужчі точніші, але ризикованіші.
Ширина інтервалу зменшується зі зростанням $n$ (як $1/\sqrt{n}$) і зростає з
надійністю (більший $1 - \alpha$ ⟶ ширший інтервал).

### Критичні значення й позначення хвостів

Симетричний двобічний інтервал відрізає по $\alpha/2$ ймовірності з **кожного**
хвоста. Критичне значення позначаємо індексом, що дорівнює **площі праворуч** від
нього:

- $z_{\alpha/2}$: точка стандартного нормального розподілу з площею $\alpha/2$
  **праворуч**, тобто $P(Z > z_{\alpha/2}) = \alpha/2$;
- $t_{\alpha/2,\,n-1}$: те саме для розподілу Стьюдента з $n - 1$ ступенями свободи;
- $\chi^2_{\alpha/2,\,n-1}$ і $\chi^2_{1-\alpha/2,\,n-1}$: точки розподілу $\chi^2$ з
  площею праворуч $\alpha/2$ (це **більше** значення) та $1 - \alpha/2$ (**менше**
  значення) відповідно.

> **Зв'язок зі `scipy` (щоб не переплутати хвіст).** Функція `ppf` повертає точку за
> площею **ліворуч**. Тому в позначеннях «площа праворуч» маємо:
> $z_{\alpha/2} = $ `norm.ppf(1 - α/2)`; $\ t_{\alpha/2,n-1} = $ `t.ppf(1 - α/2, n-1)`;
> $\ \chi^2_{\alpha/2,n-1} = $ `chi2.ppf(1 - α/2, n-1)`; $\ \chi^2_{1-\alpha/2,n-1} = $
> `chi2.ppf(α/2, n-1)`. Для $\alpha = 0.05$: $z_{0.025} \approx 1.96$,
> $z_{0.005} \approx 2.576$ (для $\alpha = 0.01$).

### ДІ для математичного сподівання при **відомій** $\sigma$

Якщо генеральна дисперсія $\sigma^2$ відома (рідкісний, але базовий випадок), то
$\bar{x} \sim N(\mu, \sigma^2/n)$, і

$$ \boxed{\ \bar{x} \pm z_{\alpha/2}\,\frac{\sigma}{\sqrt{n}}\ } \qquad \Longleftrightarrow \qquad \bar{x} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}} < \mu < \bar{x} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}. $$

Величину $z_{\alpha/2}\,\sigma/\sqrt{n}$ називають **похибкою (граничною) оцінки**.

**Приклад 3.9.** $n = 25$ вимірювань дали $\bar{x} = 50$; відомо $\sigma = 10$.
Для $95\%$ ($\alpha = 0.05$, $z_{0.025} = 1.96$):

$$ 50 \pm 1.96\cdot \frac{10}{\sqrt{25}} = 50 \pm 1.96\cdot 2 = 50 \pm 3.92 \ \Rightarrow\ (46.08;\ 53.92). $$

Для суворішої надійності $99\%$ ($z_{0.005} = 2.576$) інтервал **ширший**:
$50 \pm 2.576\cdot 2 = 50 \pm 5.15 \Rightarrow (44.85;\ 55.15)$.

### ДІ для математичного сподівання при **невідомій** $\sigma$

На практиці $\sigma$ майже завжди невідома, і її замінюють вибірковим $s$. Плата за
це — важчі хвости: замість $z$ беруть критичне значення **розподілу Стьюдента** з
$n - 1$ ступенями свободи:

$$ \boxed{\ \bar{x} \pm t_{\alpha/2,\,n-1}\,\frac{s}{\sqrt{n}}\ } $$

Оскільки $t_{\alpha/2,n-1} > z_{\alpha/2}$, цей інтервал **ширший** за випадок
відомої $\sigma$ — це чесна плата за додаткову невизначеність. При великому $n$
розподіл Стьюдента прямує до нормального, і $t_{\alpha/2,n-1} \to z_{\alpha/2}$.

![Порівняння щільностей: розподіл Стьюдента має нижчу вершину й важчі хвости, ніж стандартний нормальний, і тим помітніше, чим менше ступенів свободи](img/l03_t_vs_normal.png)

**Приклад 3.10.** $n = 16$, $\bar{x} = 20$, $s = 4$, надійність $95\%$. Ступенів
свободи $n - 1 = 15$; за таблицею (або `scipy`) $t_{0.025,\,15} = 2.1314$. Тоді
$s/\sqrt{n} = 4/4 = 1$ і

$$ 20 \pm 2.1314\cdot 1 = 20 \pm 2.1314 \ \Rightarrow\ (17.87;\ 22.13). $$

![Довірчий інтервал для середнього на числовій осі: точка вибіркового середнього 20 та межі 17.87 і 22.13 з похибкою оцінки E=2.13](img/l03_ci_mean.png)

### ДІ для дисперсії

Оцінку розкиду теж супроводжують інтервалом. Величина $(n-1)s^2/\sigma^2$ має
розподіл $\chi^2$ з $n - 1$ ступенями свободи; розв'язавши подвійну нерівність
відносно $\sigma^2$, дістаємо **несиметричний** інтервал:

$$ \boxed{\ \left( \frac{(n-1)\,s^2}{\chi^2_{\alpha/2,\,n-1}}, \quad \frac{(n-1)\,s^2}{\chi^2_{1-\alpha/2,\,n-1}} \right)\ } $$

Зверніть увагу на «перехрещення»: у знаменнику **нижньої** межі стоїть **більше**
критичне значення $\chi^2_{\alpha/2,n-1}$, а **верхньої** — менше
$\chi^2_{1-\alpha/2,n-1}$. Інтервал для $\sigma$ дістають добуванням кореня з меж.

**Приклад 3.11.** $n = 16$, $s^2 = 16$, надійність $95\%$, $n - 1 = 15$. Критичні
значення: $\chi^2_{0.025,\,15} = 27.488$ і $\chi^2_{0.975,\,15} = 6.262$;
чисельник $(n-1)s^2 = 15\cdot 16 = 240$. Тоді

$$ \left( \frac{240}{27.488},\ \frac{240}{6.262} \right) = (8.73;\ 38.33) \quad \text{для } \sigma^2, \qquad (\sqrt{8.73};\ \sqrt{38.33}) = (2.95;\ 6.19) \quad \text{для } \sigma. $$

Інтервал явно **несиметричний** відносно $s^2 = 16$ — така природа розподілу
$\chi^2$ на малих вибірках.

```
Алгоритм: довірчі інтервали за вибіркою x[1..n], рівень alpha
  1. xbar <- mean(x);  s2 <- sum((x - xbar)^2) / (n - 1);  s <- sqrt(s2)
  2. df <- n - 1
  3. // ДІ для середнього (sigma невідома):
     t  <- t.ppf(1 - alpha/2, df)
     E  <- t * s / sqrt(n)
     CI_mean <- (xbar - E, xbar + E)
  4. // ДІ для дисперсії:
     chi_up <- chi2.ppf(1 - alpha/2, df)   // більше значення -> нижня межа
     chi_lo <- chi2.ppf(alpha/2,     df)   // менше значення  -> верхня межа
     CI_var <- ( (n-1)*s2 / chi_up,  (n-1)*s2 / chi_lo )
  5. return CI_mean, CI_var
```

---

## Застосування в аналітиці даних

- **Розвідувальний аналіз (EDA).** Гістограма + квартилі + IQR — стандартний перший
  погляд на будь-який набір даних: форма, центр, розкид, викиди ще до будь-яких
  моделей.
- **Очищення даних.** Правило $1.5\,\mathrm{IQR}$ — робастний автоматичний детектор
  викидів, який (на відміну від правила $3\sigma$) не спирається на нормальність і
  не «отруюється» самими викидами.
- **Звітність із похибкою.** Результат вимірювання чи A/B-тесту подають **разом із
  довірчим інтервалом** ($\bar{x} \pm E$), а не одним числом — це чесно показує
  точність оцінки.
- **Планування обсягу вибірки.** Оскільки похибка $\propto 1/\sqrt{n}$, з формули ДІ
  наперед обчислюють, скільки даних треба зібрати для потрібної точності.
- **Місток до перевірки гіпотез.** Ті самі критичні значення $t$, $\chi^2$ і та сама
  логіка хвостів лежать в основі статистичних критеріїв [Лекції 4](DA-L04.md):
  параметр поза довірчим інтервалом ⟺ відповідна гіпотеза відхиляється.

## Підсумок

- **Математична статистика** робить висновок від **даних до моделі** (обернено до
  теорії ймовірностей); працює з **вибіркою** з **генеральної сукупності**, яка має
  бути **репрезентативною** (випадковий відбір; повторний / безповторний).
- **Візуалізація** одновимірних даних: лінійний графік і діаграма з маркерами —
  динаміка; стовпчикова — порівняння; просторова (точкова) — розсіяння;
  **гістограма** — форма розподілу (розбиття на інтервали).
- **Центр** вибірки описують **середнім** (усі дані, але чутливе до викидів),
  **модою** (найчастіше значення, для якісних даних) та **медіаною** (робастна).
- **Квантилі** узагальнюють медіану; **квартилі** $Q_1, Q_2, Q_3$ і
  $\mathrm{IQR} = Q_3 - Q_1$ дають робастний розкид і критерій викидів
  $1.5\,\mathrm{IQR}$.
- **Статистична оцінка** — випадкова величина за вибіркою; бажані властивості:
  **незміщеність**, **спроможність**, **ефективність**.
- **Вибіркова дисперсія** ділить на $n - 1$ (**ступені свободи**, поправка Бесселя)
  задля незміщеності, бо одне відхилення зв'язане тотожністю $\sum (x_i - \bar{x}) = 0$.
- **Довірчий інтервал** накриває параметр із надійністю $1 - \alpha$:
  $\bar{x} \pm z_{\alpha/2}\sigma/\sqrt{n}$ (відома $\sigma$),
  $\bar{x} \pm t_{\alpha/2,n-1}\,s/\sqrt{n}$ (невідома $\sigma$),
  а для дисперсії — несиметричний $\chi^2$-інтервал.

## Вправи

### Для розігріву

1. Поясніть різницю між генеральною сукупністю та вибіркою. Чому вибірку роблять
   випадковою? Наведіть приклад **нерепрезентативної** вибірки.
2. Для вибірки $6,\ 2,\ 9,\ 4,\ 9,\ 7,\ 9$ побудуйте варіаційний ряд і знайдіть
   $\bar{x}$, $\mathrm{Me}$ та $\mathrm{Mo}$.
3. Що таке рівень значущості $\alpha$ та довірча ймовірність $1 - \alpha$? Як зміна
   $\alpha$ з $0.05$ на $0.01$ впливає на **ширину** довірчого інтервалу?

### Стандартні

4. Для вибірки $10,\ 12,\ 12,\ 15,\ 18,\ 20,\ 25,\ 40$ ($n = 8$) обчисліть $Q_1$,
   $Q_3$, $\mathrm{IQR}$ і за правилом $1.5\,\mathrm{IQR}$ перевірте, чи є $40$
   викидом. Порівняйте, як замiна $40$ на $22$ впливає на середнє й на медіану.
5. За вибіркою $18,\ 20,\ 22,\ 19,\ 21$ ($n = 5$) знайдіть $\bar{x}$, $s^2$ (з
   діленням на $n - 1$) і $s$. Поясніть, чому ділять на $n - 1$, а не на $n$.
6. $n = 36$ вимірювань дали $\bar{x} = 12$ при **відомому** $\sigma = 3$. Побудуйте
   $95\%$ довірчий інтервал для $\mu$. Як зміниться його ширина при $n = 144$?
7. Для $n = 10$, $\bar{x} = 100$, $s = 6$ побудуйте $95\%$ ДІ для $\mu$ при
   **невідомій** $\sigma$ (візьміть $t_{0.025,\,9} = 2.2622$). Чому тут доречний
   розподіл Стьюдента, а не нормальний?

### Підвищеної складності

8. Доведіть тотожність $\sum_{i=1}^{n}(x_i - \bar{x}) = 0$ і поясніть, як саме вона
   «забирає» один ступінь свободи у вибіркової дисперсії.
9. Для вибірки з Вправи 5 побудуйте $95\%$ довірчий інтервал для **дисперсії**
   $\sigma^2$ (розподіл $\chi^2$, $n - 1 = 4$; візьміть
   $\chi^2_{0.025,\,4} = 11.143$, $\chi^2_{0.975,\,4} = 0.484$). Чому цей
   інтервал несиметричний відносно $s^2$?
10. Поясніть, чому довірчий інтервал при невідомій $\sigma$ ширший за інтервал при
    відомій $\sigma$ за інших рівних умов, і що відбувається з цією різницею при
    $n \to \infty$.