# Лекція 4. Перевірка статистичних гіпотез ## Огляд У [Лекції 3](DA-L03.md) ми навчилися **оцінювати** невідомі параметри генеральної сукупності за вибіркою — будувати точкові оцінки й **довірчі інтервали**. Але часто питання ставлять інакше: не «чому дорівнює параметр?», а «чи узгоджуються дані з певним **припущенням** про нього?». Чи справді нова версія сайта підвищила середній час на сторінці? Чи однакова точність (розкид) двох виробничих ліній? Чи відрізняється частка відмов від заявлених 5 %? Такі питання — про **рішення**, яке треба ухвалити за даними, і відповідає на них **перевірка статистичних гіпотез** (англ. *statistical hypothesis testing*). Ідея методу проста й глибока водночас. Ми формулюємо гіпотезу, тимчасово вважаємо її **істинною** й запитуємо: наскільки ймовірно було б отримати **таку саму або ще екстремальнішу** вибірку, якби гіпотеза справді була правильна? Якщо ця ймовірність мала — дані «незручні» для гіпотези, і ми її **відхиляємо**; якщо ні — підстав відхиляти немає. У цьому розділі ми вводимо основну й альтернативну гіпотези, два типи помилок, рівень значущості та критичну область, формулюємо загальний **алгоритм із шести кроків**, а потім застосовуємо його до найважливіших параметричних критеріїв — про **середнє**, **дисперсію**, **рівність двох середніх і двох дисперсій** та про **частку**. Ці критерії — робочий інструмент, який далі знадобиться в [Лекції 5](DA-L05.md) (регресійний і кореляційний аналіз) та скрізь, де модель треба **перевірити** на даних. > **Практичний бік.** Обчислення статистик критеріїв і критичних значень «руками» ви > виконаєте в аудиторній частині, а перевірку гіпотез про рівність дисперсій та > середніх двох вибірок реалізуєте **програмою** в > [Лабораторній роботі 4](../Laboratory/Laboratory4/main.md). --- ## 4.1 Статистична гіпотеза > **Означення (статистична гіпотеза).** **Статистичною гіпотезою** (англ. > *statistical hypothesis*) називають будь-яке припущення щодо **генеральної > сукупності**, яке можна перевірити за вибірковими даними, — про значення > параметра (середнього, дисперсії, частки) або про сам вид розподілу. Гіпотези бувають **параметричні** (про числове значення параметра, напр., «середній чек дорівнює 250 грн») і **непараметричні** (про вид розподілу, напр., «дані розподілені нормально» — критерії згоди розглянуто далі в курсі). У цій лекції йдеться про **параметричні** гіпотези. Ключова обережність: гіпотезу перевіряють, **не знаючи** генеральної сукупності, — є лише вибірка. Тому висновок ніколи не буває цілком достовірним; він завжди супроводжується **ризиком помилки**, який ми свідомо контролюємо (§4.3–4.4). --- ## 4.2 Основна та альтернативна гіпотези Перевірку завжди будують навколо **пари** взаємовиключних гіпотез. > **Означення (нульова та альтернативна гіпотези).** > **Нульова** (основна) гіпотеза **$H_0$** — це припущення, яке беруть за замовчуванням > («ефекту немає», «відмінності немає», «параметр дорівнює заданому значенню»). > **Альтернативна** гіпотеза **$H_1$** (або $H_a$) — суперечне до $H_0$ твердження, > яке приймають, **якщо $H_0$ відхилено**. Наприклад, для параметра $\theta$ (скажімо, середнього $\mu$) з гіпотетичним значенням $\theta_0$ типова пара має вигляд $$ H_0:\ \theta = \theta_0 \qquad \text{проти} \qquad H_1:\ \theta \ne \theta_0. $$ Форма $H_1$ визначає **напрям** перевірки: - **двобічна** (англ. *two-sided*): $H_1:\ \theta \ne \theta_0$ — відхилення в будь-який бік; - **правобічна** (*right-sided*): $H_1:\ \theta > \theta_0$; - **лівобічна** (*left-sided*): $H_1:\ \theta < \theta_0$. > **Асиметрія ролей.** $H_0$ і $H_1$ **не рівноправні**. Перевірка спроможна лише > **відхилити** $H_0$ (коли дані їй суперечать) або **не відхилити** її (коли не > суперечать). «Не відхилити» — це *не* «довести істинність $H_0$»: можливо, вибірки > просто забракло, щоб виявити наявну відмінність. Тому $H_0$ формулюють як > твердження, яке хочуть **спростувати** (аналог «презумпції невинуватості»: $H_0$ > — «невинний», доки дані не доведуть протилежне «поза розумним сумнівом»). **Приклад 4.1 (формулювання).** Виробник стверджує, що середній ресурс лампи — $1000$ год. Аналітик підозрює, що насправді ресурс **інший**. Тоді $H_0:\ \mu = 1000$, $H_1:\ \mu \ne 1000$ (двобічна). Якби перевіряли лише підозру «ресурс **менший** за заявлений», альтернатива була б лівобічною: $H_1:\ \mu < 1000$. --- ## 4.3 Помилки I та II роду Оскільки рішення ухвалюють за випадковою вибіркою, можливі два різновиди хибних висновків. Зведемо всі чотири випадки в таблицю. | | **$H_0$ істинна** | **$H_0$ хибна** | |---|:--:|:--:| | **Не відхилити $H_0$** | правильно ($1-\alpha$) | **помилка II роду** ($\beta$) | | **Відхилити $H_0$** | **помилка I роду** ($\alpha$) | правильно (потужність $1-\beta$) | > **Означення (помилки I та II роду).** > **Помилка I роду** (англ. *type I error*) — відхилити **правильну** $H_0$; її > ймовірність позначають $\alpha = P(\text{відхилити } H_0 \mid H_0 \text{ істинна})$. > **Помилка II роду** (*type II error*) — не відхилити **хибну** $H_0$; її > ймовірність — $\beta = P(\text{не відхилити } H_0 \mid H_0 \text{ хибна})$. > Величину $1-\beta$ називають **потужністю** критерію (*power*) — це ймовірність > правильно виявити наявний ефект. ![Помилки I та II роду: криві розподілів за H0 і H1, заштриховані області альфа (помилка I роду) і бета (помилка II роду) та потужність критерію 1 мінус бета](img/l04_errors.png) Помилки конфліктують: за фіксованого обсягу вибірки зменшення $\alpha$ (обережніше відхиляти $H_0$) збільшує $\beta$ (частіше пропускати справжній ефект). Одночасно зменшити обидві можна лише **збільшивши обсяг вибірки** $n$. На практиці спершу фіксують допустиме $\alpha$ (бо помилка I роду зазвичай «дорожча»), а тоді дбають про потужність, обираючи достатнє $n$. > **Типова помилка (симетрія помилок).** Студенти часто вважають $\alpha$ і $\beta$ > взаємодоповняльними ($\alpha + \beta = 1$) — це **неправильно**. Це ймовірності > **за різних умов** ($H_0$ істинна проти $H_0$ хибна) і незалежно керовані. Пов'язані > лише $\beta$ і потужність: $1-\beta$. --- ## 4.4 Рівень значущості та статистика критерію > **Означення (рівень значущості).** **Рівнем значущості** (англ. *significance > level*) $\alpha$ називають наперед задану **максимально допустиму ймовірність > помилки I роду**. Типові значення — $\alpha = 0.05$, $0.01$, $0.1$. Рівень значущості обирають **до** перегляду даних. $\alpha = 0.05$ означає: ми згодні помилково відхиляти правильну $H_0$ не частіше, ніж у 5 % випадків. Щоб ухвалити рішення, вибірку згортають в одне число — **статистику критерію**. > **Означення (статистика критерію).** **Статистика критерію** (англ. *test > statistic*) — це функція від вибірки, розподіл якої **за істинної $H_0$** > відомий. Спостережене значення статистики порівнюють із тим, чого слід було б > очікувати, якби $H_0$ була правильна. Наприклад, для середнього при відомій $\sigma$ статистикою буде стандартизоване відхилення вибіркового середнього від гіпотетичного значення (§4.7), і за істинної $H_0$ воно має **стандартний нормальний** розподіл $N(0,1)$. Знаючи розподіл статистики, ми можемо вказати, які її значення «неправдоподібні» за $H_0$. --- ## 4.5 Критична область > **Означення (критична область).** **Критична область** (область відхилення, англ. > *critical / rejection region*) — це множина таких значень статистики критерію, за > яких $H_0$ **відхиляють**. Її доповнення називають **областю прийняття**. Межі між > ними — **критичні точки** (квантилі розподілу статистики). Критичну область будують так, щоб **за істинної $H_0$** ймовірність влучити в неї дорівнювала саме $\alpha$. Форма області повторює форму альтернативи (§4.2): - **правобічна** $H_1:\ \theta > \theta_0$: область $\{K > k_{\text{кр}}\}$, де $k_{\text{кр}}$ — квантиль рівня $1-\alpha$; - **лівобічна** $H_1:\ \theta < \theta_0$: область $\{K < -k_{\text{кр}}\}$ (квантиль рівня $\alpha$); - **двобічна** $H_1:\ \theta \ne \theta_0$: область $\{|K| > k_{\text{кр}}\}$, де $k_{\text{кр}}$ — квантиль рівня $1-\alpha/2$ (усе $\alpha$ ділять **навпіл** між двома хвостами). ![Однобічні критичні області на N(0,1): ліворуч правобічна з хвостом альфа = 0.05 за критичним значенням 1.645, праворуч лівобічна з хвостом за значенням мінус 1.645](img/l04_one_tailed.png) Саме тому для двобічної перевірки на рівні $0.05$ беруть квантиль $0.975$ (напр., $z_{0.975} = 1.96$), а не $0.95$: по $2.5\%$ ймовірності лишають у кожному хвості. ![Двобічна критична область на нормальному розподілі N(0,1): заштриховані хвости по альфа/2 = 0.025 за критичними значеннями мінус-плюс 1.96, у центрі — область прийняття H0](img/l04_two_tailed.png) > **Типова помилка (хвіст критерію).** Для двобічної перевірки помилково беруть > квантиль рівня $1-\alpha$ замість $1-\alpha/2$. Завжди зіставляйте **кількість > хвостів** критичної області з формою $H_1$: одна нерівність ($>$ або $<$) — один > хвіст із усім $\alpha$; знак $\ne$ — два хвости по $\alpha/2$. --- ## 4.6 Алгоритм перевірки гіпотез Усі критерії цієї лекції вкладаються в один загальний алгоритм із **шести кроків**. ```text ПеревіркаГіпотези(вибірка, твердження про параметр, alpha): 1. Сформулювати H0 і H1 (обрати одно- чи двобічну альтернативу) 2. Задати рівень значущості alpha 3. Обрати статистику критерію K та її розподіл за істинної H0 4. Визначити критичну область (критичні точки за alpha і формою H1) 5. Обчислити спостережене значення статистики K_сп за вибіркою 6. Висновок: якщо K_сп потрапляє в критичну область -> ВІДХИЛИТИ H0 (на користь H1) інакше -> H0 НЕ ВІДХИЛЯЄМО ``` ![Блок-схема алгоритму перевірки гіпотез із шести кроків: сформулювати гіпотези, задати рівень значущості, обрати статистику, визначити критичну область, обчислити спостережене значення, зробити висновок із розгалуженням відхилити або не відхиляти H0](img/l04_algorithm.png) ### Альтернатива: p-значення Замість порівняння статистики з критичною точкою рішення часто ухвалюють за **p-значенням**. > **Означення (p-значення).** **p-значення** (англ. *p-value*) — це ймовірність за > істинної $H_0$ отримати значення статистики **таке саме або ще екстремальніше**, > ніж спостережене. Правило рішення: **якщо $p \le \alpha$ — відхилити $H_0$**, інакше > не відхиляти. Обидва підходи **еквівалентні** (дають те саме рішення), бо $p \le \alpha$ рівносильно влученню статистики в критичну область. Перевага p-значення в тому, що воно показує **наскільки сильно** дані суперечать $H_0$ (напр., $p = 0.001$ переконливіше за $p = 0.049$), і не потребує окремої критичної точки для кожного $\alpha$. ![p-значення як площа за спостереженою статистикою: на N(0,1) заштриховано два хвости по p/2 за межами спостереженого Z = 2.0; сумарне p = 0.0455 менше за альфа](img/l04_pvalue.png) У наступних параграфах пройдемо цим алгоритмом для семи класичних критеріїв. Для всіх критичних значень і p-значень нижче використано функції розподілів з `scipy.stats` (`norm.ppf`, `t.ppf`, `chi2.ppf`, `f.ppf`) — той самий інструмент, що й у статистичних таблицях. --- ## 4.7 Гіпотеза про математичне сподівання при відомій дисперсії (Z-критерій) Нехай вибірку взято з нормальної сукупності з **відомим** середньоквадратичним відхиленням $\sigma$. Перевіряємо $H_0:\ \mu = \mu_0$. За істинної $H_0$ вибіркове середнє $\bar{x}$ має розподіл $N(\mu_0,\ \sigma^2/n)$, тож стандартизована статистика $$ Z = \frac{\bar{x} - \mu_0}{\sigma/\sqrt{n}} $$ має **стандартний нормальний** розподіл $N(0,1)$. Критичні точки — квантилі $N(0,1)$: для двобічної перевірки $z_{1-\alpha/2}$ ($z_{0.975} = 1.96$ при $\alpha = 0.05$). **Приклад 4.2.** Технологічна норма ваги пакета — $\mu_0 = 100$ г при відомому $\sigma = 5$ г. Вибірка $n = 25$ пакетів дала $\bar{x} = 102$ г. Чи змістилося середнє ($\alpha = 0.05$, двобічна)? *Розв'язання.* $H_0:\ \mu = 100$, $H_1:\ \mu \ne 100$. Статистика: $$ Z = \frac{102 - 100}{5/\sqrt{25}} = \frac{2}{1} = 2.0. $$ Критична точка $z_{0.975} = 1.96$. Оскільки $|Z| = 2.0 > 1.96$, $Z$ потрапляє в критичну область — **$H_0$ відхиляємо**: середня вага значуще відрізняється від норми ($p \approx 0.0455 < 0.05$). --- ## 4.8 Гіпотеза про математичне сподівання при невідомій дисперсії (t-критерій) На практиці $\sigma$ майже завжди **невідома**. Тоді її замінюють вибірковим (незміщеним) СКВ $s$, а нормальний розподіл статистики поступається **розподілу Стьюдента**: $$ T = \frac{\bar{x} - \mu_0}{s/\sqrt{n}}, \qquad \text{df} = n - 1. $$ За істинної $H_0$ ця статистика має розподіл Стьюдента з $n-1$ ступенями свободи (англ. *degrees of freedom*, df). Критичні точки — квантилі $t$-розподілу $t_{1-\alpha/2,\ n-1}$. Розподіл Стьюдента має «важчі хвости», ніж $N(0,1)$, тож його критичні значення **більші** — це плата за незнання $\sigma$; при великих $n$ ($n \gtrsim 30$) різниця зникає, і $t$-критерій наближається до $Z$-критерію. **Приклад 4.3.** Гіпотетичне середнє $\mu_0 = 50$. Вибірка $n = 16$ дала $\bar{x} = 52.5$, $s = 4$. Перевіримо $H_0:\ \mu = 50$ проти $H_1:\ \mu \ne 50$ при $\alpha = 0.05$. $$ T = \frac{52.5 - 50}{4/\sqrt{16}} = \frac{2.5}{1} = 2.5, \qquad \text{df} = 15. $$ Критична точка $t_{0.975,\ 15} = 2.131$. Оскільки $|T| = 2.5 > 2.131$ — **$H_0$ відхиляємо** ($p \approx 0.0245$). Якби ми помилково скористалися $z_{0.975} = 1.96$, висновок збігся б, але для малих вибірок таке спрощення небезпечне: при $T$ між $1.96$ і $2.131$ воно дало б **хибне** відхилення. ![Критична область на розподілі Стьюдента з df = 15 у порівнянні з N(0,1): критичні точки мінус-плюс 2.131 і спостережене T = 2.5 у правій критичній області](img/l04_t_dist_crit.png) --- ## 4.9 Гіпотеза про числове значення дисперсії ($\chi^2$-критерій) Іноді цікавить не середнє, а **розкид** — напр., стабільність (точність) процесу. Для нормальної сукупності перевіряють $H_0:\ \sigma^2 = \sigma_0^2$ статистикою $$ \chi^2 = \frac{(n-1)\,s^2}{\sigma_0^2}, \qquad \text{df} = n - 1, $$ яка за істинної $H_0$ має **розподіл хі-квадрат** із $n-1$ ступенями свободи. Розподіл $\chi^2$ **несиметричний** (додатний), тож критичні точки для двох хвостів різні: - правобічна $H_1:\ \sigma^2 > \sigma_0^2$: область $\{\chi^2 > \chi^2_{1-\alpha,\ n-1}\}$; - лівобічна $H_1:\ \sigma^2 < \sigma_0^2$: область $\{\chi^2 < \chi^2_{\alpha,\ n-1}\}$; - двобічна: $\{\chi^2 < \chi^2_{\alpha/2}\}\cup\{\chi^2 > \chi^2_{1-\alpha/2}\}$. **Приклад 4.4.** Норма дисперсії розміру деталі — $\sigma_0^2 = 4$. Вибірка $n = 20$ дала $s^2 = 6.5$. Чи **зросла** мінливість ($\alpha = 0.05$, правобічна)? *Розв'язання.* $H_0:\ \sigma^2 = 4$, $H_1:\ \sigma^2 > 4$. $$ \chi^2 = \frac{(20-1)\cdot 6.5}{4} = \frac{123.5}{4} = 30.875, \qquad \text{df} = 19. $$ Критична точка $\chi^2_{0.95,\ 19} = 30.14$. Оскільки $30.875 > 30.14$ — **$H_0$ відхиляємо**: мінливість значуще зросла, хоча й **на межі** ($p \approx 0.042$). Такий граничний результат — привід зібрати більше даних, перш ніж утручатися в процес. --- ## 4.10 Гіпотеза про рівність двох дисперсій (F-критерій Фішера) Порівняймо **розкид** двох незалежних вибірок із нормальних сукупностей: $H_0:\ \sigma_1^2 = \sigma_2^2$. Статистика — відношення вибіркових дисперсій: $$ F = \frac{s_{\max}^2}{s_{\min}^2} \quad (\text{більша дисперсія над меншою}), \qquad \text{df} = (n_{\max}-1,\ n_{\min}-1), $$ яка за істинної $H_0$ має **розподіл Фішера** $F(k_1, k_2)$. Ставлячи **більшу** дисперсію в чисельник, ми гарантуємо $F \ge 1$ і порівнюємо лише з **верхньою** критичною точкою $F_{1-\alpha/2}(k_1, k_2)$ (двобічна перевірка $\ne$). **Приклад 4.5.** Дві лінії дали $s_1^2 = 10.8$ ($n_1 = 12$) та $s_2^2 = 4.2$ ($n_2 = 10$). Чи різна їхня точність ($\alpha = 0.05$, двобічна)? *Розв'язання.* $H_0:\ \sigma_1^2 = \sigma_2^2$, $H_1:\ \sigma_1^2 \ne \sigma_2^2$. Більша дисперсія — $s_1^2$: $$ F = \frac{10.8}{4.2} = 2.571, \qquad \text{df} = (11,\ 9). $$ Критична точка $F_{0.975}(11, 9) = 3.912$. Оскільки $2.571 < 3.912$ — **$H_0$ не відхиляємо** ($p \approx 0.17$): відмінність дисперсій статистично незначуща. Це типовий **перший крок** перед порівнянням середніх: якщо дисперсії можна вважати рівними, для середніх беруть об'єднану оцінку (§4.11); якщо ні — критерій Уелча (§4.12). ![Критична область на розподілі Фішера F(11, 9): верхній хвіст альфа/2 = 0.025 за критичною точкою 3.912 і спостережене F = 2.571 в області прийняття](img/l04_f_dist_crit.png) > **Типова помилка (менша дисперсія в чисельнику).** Якщо поставити меншу дисперсію > згори, вийде $F < 1$, і порівняння з верхньою критичною точкою завжди дасть «не > відхиляємо» — критерій втратить чутливість. Домовленість «більша над меншою» > усуває цю пастку. --- ## 4.11 Гіпотеза про рівність двох середніх при рівних дисперсіях Найчастіше питання — чи **однакові середні** двох груп (контроль проти нової версії, до проти після). Якщо дисперсії сукупностей можна вважати **рівними** (перевірено $F$-критерієм, §4.10), їх поєднують в одну **об'єднану** (англ. *pooled*) оцінку: $$ s_p^2 = \frac{(n_1-1)\,s_1^2 + (n_2-1)\,s_2^2}{n_1 + n_2 - 2}, \qquad T = \frac{\bar{x}_1 - \bar{x}_2}{s_p\sqrt{\dfrac{1}{n_1} + \dfrac{1}{n_2}}}, \qquad \text{df} = n_1 + n_2 - 2. $$ Об'єднана дисперсія $s_p^2$ — це середньозважене (за ступенями свободи) двох вибіркових дисперсій; вона точніше оцінює спільну дисперсію, ніж кожна окремо. За істинної $H_0:\ \mu_1 = \mu_2$ статистика $T$ має розподіл Стьюдента з $n_1+n_2-2$ ступенями свободи. **Приклад 4.6.** Дві групи: $n_1 = 12$, $\bar{x}_1 = 45.2$, $s_1^2 = 8.5$; $n_2 = 15$, $\bar{x}_2 = 48.1$, $s_2^2 = 7.2$ (дисперсії вважаємо рівними). Чи різні середні ($\alpha = 0.05$, двобічна)? *Розв'язання.* Об'єднана дисперсія: $$ s_p^2 = \frac{11\cdot 8.5 + 14\cdot 7.2}{12 + 15 - 2} = \frac{93.5 + 100.8}{25} = 7.772, \qquad s_p = 2.788. $$ Статистика: $$ T = \frac{45.2 - 48.1}{2.788\sqrt{\tfrac{1}{12} + \tfrac{1}{15}}} = \frac{-2.9}{2.788\cdot 0.3873} = \frac{-2.9}{1.080} = -2.686, \qquad \text{df} = 25. $$ Критична точка $t_{0.975,\ 25} = 2.060$. Оскільки $|{-2.686}| = 2.686 > 2.060$ — **$H_0$ відхиляємо** ($p \approx 0.013$): середні значуще різняться. --- ## 4.12 Гіпотеза про рівність двох середніх при різних дисперсіях (критерій Уелча) Якщо $F$-критерій показав, що дисперсії **різні** (або немає підстав вважати їх рівними), об'єднувати їх не можна. Тоді застосовують **критерій Уелча** (англ. *Welch's t-test*): статистику будують на окремих дисперсіях, а ступені свободи обчислюють за наближенням **Уелча–Саттертвейта**: $$ T = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\dfrac{s_1^2}{n_1} + \dfrac{s_2^2}{n_2}}}, \qquad \text{df} = \frac{\left(\dfrac{s_1^2}{n_1} + \dfrac{s_2^2}{n_2}\right)^{2}} {\dfrac{(s_1^2/n_1)^2}{n_1-1} + \dfrac{(s_2^2/n_2)^2}{n_2-1}}. $$ Ступені свободи Уелча зазвичай **дробові**; на практиці їх округлюють **униз** (це консервативніше — критична точка трохи більша). Критерій Уелча надійніший за об'єднаний $t$-критерій, коли дисперсії й обсяги груп неоднакові, і майже не поступається йому, коли дисперсії справді рівні, — тому багато статистичних пакетів беруть його **за замовчуванням**. **Приклад 4.7.** Група 1: $n_1 = 10$, $\bar{x}_1 = 100$, $s_1^2 = 4$; група 2: $n_2 = 8$, $\bar{x}_2 = 103$, $s_2^2 = 25$ (дисперсії явно різні). Перевіримо рівність середніх ($\alpha = 0.05$, двобічна). *Розв'язання.* $$ \frac{s_1^2}{n_1} = \frac{4}{10} = 0.4, \qquad \frac{s_2^2}{n_2} = \frac{25}{8} = 3.125, $$ $$ T = \frac{100 - 103}{\sqrt{0.4 + 3.125}} = \frac{-3}{\sqrt{3.525}} = \frac{-3}{1.878} = -1.598. $$ Ступені свободи Уелча: $$ \text{df} = \frac{(0.4 + 3.125)^2}{\dfrac{0.4^2}{9} + \dfrac{3.125^2}{7}} = \frac{12.426}{0.0178 + 1.395} = 8.80 \ \Rightarrow\ \text{округлюємо до } 8. $$ Критична точка $t_{0.975,\ 8} = 2.306$. Оскільки $|{-1.598}| = 1.598 < 2.306$ — **$H_0$ не відхиляємо** ($p \approx 0.15$): попри різницю середніх у 3 одиниці, великий розкид другої групи не дає визнати відмінність значущою. --- ## 4.13 Гіпотеза про числове значення ймовірності події (частку) Для **частки** (ймовірності «успіху») перевіряють $H_0:\ p = p_0$ за вибіркою з $n$ незалежних випробувань, у яких трапилося $m$ успіхів. Вибіркова частка $\hat{p} = m/n$; за центральною граничною теоремою при досить великому $n$ вона приблизно нормальна, тож $$ Z = \frac{\hat{p} - p_0}{\sqrt{\dfrac{p_0(1-p_0)}{n}}} \ \sim\ N(0,1). $$ У знаменнику стоїть $p_0$ (а не $\hat{p}$), бо стандартне відхилення обчислюють **за істинної $H_0$**. Наближення надійне, коли $n p_0 \ge 5$ і $n(1-p_0) \ge 5$. **Приклад 4.8.** Монету підкинули $n = 200$ разів, «орел» випав $m = 115$ разів. Чи симетрична монета ($p_0 = 0.5$, $\alpha = 0.05$, двобічна)? *Розв'язання.* $\hat{p} = 115/200 = 0.575$. $$ Z = \frac{0.575 - 0.5}{\sqrt{\dfrac{0.5\cdot 0.5}{200}}} = \frac{0.075}{0.03536} = 2.121. $$ Критична точка $z_{0.975} = 1.96$. Оскільки $2.121 > 1.96$ — **$H_0$ відхиляємо** ($p \approx 0.034$): відхилення від симетрії статистично значуще. --- ## Застосування в аналітиці даних - **A/B-тестування.** Порівняння конверсії (частка) або середнього доходу двох варіантів продукту — це рівно критерії §4.11–4.13. Рівень значущості й потужність визначають потрібний обсяг трафіку. - **Контроль якості.** $\chi^2$-критерій про дисперсію (§4.9) і $F$-критерій (§4.10) стежать за **стабільністю** процесу — зростання розкиду сигналізує про розладнання. - **Валідація ознак і моделей.** Перш ніж включати ознаку в модель, перевіряють, чи значуще її середнє різниться між класами ($t$-критерій) — це найпростіший **відбір ознак**; значущість коефіцієнтів регресії ([Лекція 5](DA-L05.md)) перевіряють тим самим $t$-критерієм. - **Обережність із p-значеннями.** Статистична значущість — **не** те саме, що практична: за великих $n$ мізерний ефект стає «значущим». Завжди дивіться на **розмір ефекту** (різницю середніх, довірчий інтервал), а не лише на $p \le \alpha$. Багаторазові перевірки на тих самих даних роздувають сумарну помилку I роду (проблема **множинних порівнянь**). ## Підсумок - **Статистична гіпотеза** — перевірне припущення про генеральну сукупність. Перевірку будують на парі $H_0$ (основна, «ефекту немає») і $H_1$ (альтернативна), причому критерій здатний лише **відхилити** або **не відхилити** $H_0$. - **Помилка I роду** ($\alpha$) — відхилити правильну $H_0$; **помилка II роду** ($\beta$) — не відхилити хибну; **потужність** $= 1-\beta$. За фіксованого $n$ вони конфліктують. - **Рівень значущості** $\alpha$ задають наперед; **критична область** повторює форму $H_1$ (ліво-, право- чи двобічна), причому для двобічної $\alpha$ ділять навпіл ($1-\alpha/2$). - **Алгоритм із 6 кроків:** гіпотези → $\alpha$ → статистика → критична область → спостережене значення → висновок. Еквівалентне правило — за **p-значенням** ($p \le \alpha \Rightarrow$ відхилити). - **Критерії** (нормальна сукупність): - середнє, $\sigma$ відома — $Z = \dfrac{\bar{x}-\mu_0}{\sigma/\sqrt{n}}$; - середнє, $\sigma$ невідома — $T = \dfrac{\bar{x}-\mu_0}{s/\sqrt{n}}$, df $= n-1$; - дисперсія — $\chi^2 = \dfrac{(n-1)s^2}{\sigma_0^2}$, df $= n-1$; - дві дисперсії — $F = \dfrac{s_{\max}^2}{s_{\min}^2}$, df $= (n_{\max}-1, n_{\min}-1)$; - два середніх, дисперсії рівні — об'єднана $s_p^2$, df $= n_1+n_2-2$; - два середніх, дисперсії різні — **Уелч**, df за Уелчем–Саттертвейтом; - частка — $Z = \dfrac{\hat{p}-p_0}{\sqrt{p_0(1-p_0)/n}}$. ## Вправи ### Для розігріву 1. Поясніть різницю між $H_0$ і $H_1$. Чому «не відхилити $H_0$» не означає «довести $H_0$»? Наведіть аналогію із судовим процесом. 2. Що таке помилки I та II роду? Чому не можна одночасно зменшити $\alpha$ і $\beta$, не збільшуючи обсяг вибірки? Чи правда, що $\alpha + \beta = 1$? 3. Для $\alpha = 0.05$ випишіть критичні точки $z$ для лівобічної, правобічної та двобічної перевірок за $N(0,1)$. Поясніть, чому для двобічної беруть квантиль $0.975$, а не $0.95$. ### Стандартні 4. Відома $\sigma = 20$. Вибірка $n = 16$ дала $\bar{x} = 509$ при нормі $\mu_0 = 500$. Перевірте $H_0:\ \mu = 500$ проти $H_1:\ \mu \ne 500$ ($Z$-критерій, $\alpha = 0.05$). Який висновок? 5. Мала вибірка $8,\ 11,\ 9,\ 12,\ 10,\ 13,\ 9,\ 12$ ($n = 8$). Перевірте гіпотезу $H_0:\ \mu = 9$ проти $H_1:\ \mu \ne 9$ ($t$-критерій, $\alpha = 0.05$): обчисліть $\bar{x}$, $s$, $T$, знайдіть $t_{0.975,\,7}$ і зробіть висновок. 6. Дві вибірки: $s_1^2 = 15.2$ ($n_1 = 9$) і $s_2^2 = 5.1$ ($n_2 = 13$). Перевірте рівність дисперсій ($F$-критерій, $\alpha = 0.05$, двобічна). Яку дисперсію ставите в чисельник і чому? 7. Частка. Із $n = 150$ відвідувачів купівлю зробили $m = 24$. Перевірте гіпотезу $H_0:\ p = 0.2$ проти $H_1:\ p \ne 0.2$ ($z$-критерій, $\alpha = 0.05$). ### Підвищеної складності 8. Дві групи: $n_1 = 10$, $\bar{x}_1 = 5.1$, $s_1^2 = 1.2$; $n_2 = 10$, $\bar{x}_2 = 6.0$, $s_2^2 = 1.6$. **(а)** $F$-критерієм перевірте рівність дисперсій; **(б)** залежно від результату застосуйте об'єднаний $t$-критерій або критерій Уелча до рівності середніх ($\alpha = 0.05$). 9. Поясніть зв'язок двобічної перевірки $H_0:\ \mu = \mu_0$ на рівні $\alpha$ з **довірчим інтервалом** для $\mu$ надійності $1-\alpha$ (Лекція 3): чому «$\mu_0$ поза інтервалом» рівносильне «відхилити $H_0$»? 10. Продемонструйте на числах, чому за дуже великого $n$ навіть крихітна різниця $\bar{x} - \mu_0$ дає значущий результат. Який висновок про співвідношення **статистичної** та **практичної** значущості це підказує? 11. Виведіть, чому статистика $\chi^2 = (n-1)s^2/\sigma_0^2$ має саме $n-1$ (а не $n$) ступенів свободи. *(Підказка: одна умова — оцінювання $\bar{x}$ — «забирає» один ступінь свободи.)*