Raw

Лекція 4. Перевірка статистичних гіпотез

Огляд

У Лекції 3 ми навчилися оцінювати невідомі параметри генеральної сукупності за вибіркою — будувати точкові оцінки й довірчі інтервали. Але часто питання ставлять інакше: не «чому дорівнює параметр?», а «чи узгоджуються дані з певним припущенням про нього?». Чи справді нова версія сайта підвищила середній час на сторінці? Чи однакова точність (розкид) двох виробничих ліній? Чи відрізняється частка відмов від заявлених 5 %? Такі питання — про рішення, яке треба ухвалити за даними, і відповідає на них перевірка статистичних гіпотез (англ. statistical hypothesis testing).

Ідея методу проста й глибока водночас. Ми формулюємо гіпотезу, тимчасово вважаємо її істинною й запитуємо: наскільки ймовірно було б отримати таку саму або ще екстремальнішу вибірку, якби гіпотеза справді була правильна? Якщо ця ймовірність мала — дані «незручні» для гіпотези, і ми її відхиляємо; якщо ні — підстав відхиляти немає. У цьому розділі ми вводимо основну й альтернативну гіпотези, два типи помилок, рівень значущості та критичну область, формулюємо загальний алгоритм із шести кроків, а потім застосовуємо його до найважливіших параметричних критеріїв — про середнє, дисперсію, рівність двох середніх і двох дисперсій та про частку. Ці критерії — робочий інструмент, який далі знадобиться в Лекції 5 (регресійний і кореляційний аналіз) та скрізь, де модель треба перевірити на даних.

Практичний бік. Обчислення статистик критеріїв і критичних значень «руками» ви виконаєте в аудиторній частині, а перевірку гіпотез про рівність дисперсій та середніх двох вибірок реалізуєте програмою в Лабораторній роботі 4.


4.1 Статистична гіпотеза

Означення (статистична гіпотеза). Статистичною гіпотезою (англ. statistical hypothesis) називають будь-яке припущення щодо генеральної сукупності, яке можна перевірити за вибірковими даними, — про значення параметра (середнього, дисперсії, частки) або про сам вид розподілу.

Гіпотези бувають параметричні (про числове значення параметра, напр., «середній чек дорівнює 250 грн») і непараметричні (про вид розподілу, напр., «дані розподілені нормально» — критерії згоди розглянуто далі в курсі). У цій лекції йдеться про параметричні гіпотези.

Ключова обережність: гіпотезу перевіряють, не знаючи генеральної сукупності, — є лише вибірка. Тому висновок ніколи не буває цілком достовірним; він завжди супроводжується ризиком помилки, який ми свідомо контролюємо (§4.3–4.4).


4.2 Основна та альтернативна гіпотези

Перевірку завжди будують навколо пари взаємовиключних гіпотез.

Означення (нульова та альтернативна гіпотези). Нульова (основна) гіпотеза H0H_0 — це припущення, яке беруть за замовчуванням («ефекту немає», «відмінності немає», «параметр дорівнює заданому значенню»). Альтернативна гіпотеза H1H_1 (або HaH_a) — суперечне до H0H_0 твердження, яке приймають, якщо H0H_0 відхилено.

Наприклад, для параметра θ\theta (скажімо, середнього μ\mu) з гіпотетичним значенням θ0\theta_0 типова пара має вигляд

H0: θ=θ0протиH1: θθ0.H_0:\ \theta = \theta_0 \qquad \text{проти} \qquad H_1:\ \theta \ne \theta_0.

Форма H1H_1 визначає напрям перевірки:

  • двобічна (англ. two-sided): H1: θθ0H_1:\ \theta \ne \theta_0 — відхилення в будь-який бік;
  • правобічна (right-sided): H1: θ>θ0H_1:\ \theta > \theta_0;
  • лівобічна (left-sided): H1: θ<θ0H_1:\ \theta < \theta_0.

Асиметрія ролей. H0H_0 і H1H_1 не рівноправні. Перевірка спроможна лише відхилити H0H_0 (коли дані їй суперечать) або не відхилити її (коли не суперечать). «Не відхилити» — це не «довести істинність H0H_0»: можливо, вибірки просто забракло, щоб виявити наявну відмінність. Тому H0H_0 формулюють як твердження, яке хочуть спростувати (аналог «презумпції невинуватості»: H0H_0 — «невинний», доки дані не доведуть протилежне «поза розумним сумнівом»).

Приклад 4.1 (формулювання). Виробник стверджує, що середній ресурс лампи — 10001000 год. Аналітик підозрює, що насправді ресурс інший. Тоді H0: μ=1000H_0:\ \mu = 1000, H1: μ1000H_1:\ \mu \ne 1000 (двобічна). Якби перевіряли лише підозру «ресурс менший за заявлений», альтернатива була б лівобічною: H1: μ<1000H_1:\ \mu < 1000.


4.3 Помилки I та II роду

Оскільки рішення ухвалюють за випадковою вибіркою, можливі два різновиди хибних висновків. Зведемо всі чотири випадки в таблицю.

H0H_0 істинна H0H_0 хибна
Не відхилити H0H_0 правильно (1α1-\alpha) помилка II роду (β\beta)
Відхилити H0H_0 помилка I роду (α\alpha) правильно (потужність 1β1-\beta)

Означення (помилки I та II роду). Помилка I роду (англ. type I error) — відхилити правильну H0H_0; її ймовірність позначають α=P(відхилити H0H0 істинна)\alpha = P(\text{відхилити } H_0 \mid H_0 \text{ істинна}). Помилка II роду (type II error) — не відхилити хибну H0H_0; її ймовірність — β=P(не відхилити H0H0 хибна)\beta = P(\text{не відхилити } H_0 \mid H_0 \text{ хибна}). Величину 1β1-\beta називають потужністю критерію (power) — це ймовірність правильно виявити наявний ефект.

Помилки I та II роду: криві розподілів за H0 і H1, заштриховані області альфа (помилка I роду) і бета (помилка II роду) та потужність критерію 1 мінус бета

Помилки конфліктують: за фіксованого обсягу вибірки зменшення α\alpha (обережніше відхиляти H0H_0) збільшує β\beta (частіше пропускати справжній ефект). Одночасно зменшити обидві можна лише збільшивши обсяг вибірки nn. На практиці спершу фіксують допустиме α\alpha (бо помилка I роду зазвичай «дорожча»), а тоді дбають про потужність, обираючи достатнє nn.

Типова помилка (симетрія помилок). Студенти часто вважають α\alpha і β\beta взаємодоповняльними (α+β=1\alpha + \beta = 1) — це неправильно. Це ймовірності за різних умов (H0H_0 істинна проти H0H_0 хибна) і незалежно керовані. Пов’язані лише β\beta і потужність: 1β1-\beta.


4.4 Рівень значущості та статистика критерію

Означення (рівень значущості). Рівнем значущості (англ. significance level) α\alpha називають наперед задану максимально допустиму ймовірність помилки I роду. Типові значення — α=0.05\alpha = 0.05, 0.010.01, 0.10.1.

Рівень значущості обирають до перегляду даних. α=0.05\alpha = 0.05 означає: ми згодні помилково відхиляти правильну H0H_0 не частіше, ніж у 5 % випадків.

Щоб ухвалити рішення, вибірку згортають в одне число — статистику критерію.

Означення (статистика критерію). Статистика критерію (англ. test statistic) — це функція від вибірки, розподіл якої за істинної H0H_0 відомий. Спостережене значення статистики порівнюють із тим, чого слід було б очікувати, якби H0H_0 була правильна.

Наприклад, для середнього при відомій σ\sigma статистикою буде стандартизоване відхилення вибіркового середнього від гіпотетичного значення (§4.7), і за істинної H0H_0 воно має стандартний нормальний розподіл N(0,1)N(0,1). Знаючи розподіл статистики, ми можемо вказати, які її значення «неправдоподібні» за H0H_0.


4.5 Критична область

Означення (критична область). Критична область (область відхилення, англ. critical / rejection region) — це множина таких значень статистики критерію, за яких H0H_0 відхиляють. Її доповнення називають областю прийняття. Межі між ними — критичні точки (квантилі розподілу статистики).

Критичну область будують так, щоб за істинної H0H_0 ймовірність влучити в неї дорівнювала саме α\alpha. Форма області повторює форму альтернативи (§4.2):

  • правобічна H1: θ>θ0H_1:\ \theta > \theta_0: область {K>kкр}\{K > k_{\text{кр}}\}, де kкрk_{\text{кр}} — квантиль рівня 1α1-\alpha;
  • лівобічна H1: θ<θ0H_1:\ \theta < \theta_0: область {K<kкр}\{K < -k_{\text{кр}}\} (квантиль рівня α\alpha);
  • двобічна H1: θθ0H_1:\ \theta \ne \theta_0: область {K>kкр}\{|K| > k_{\text{кр}}\}, де kкрk_{\text{кр}} — квантиль рівня 1α/21-\alpha/2 (усе α\alpha ділять навпіл між двома хвостами).

Однобічні критичні області на N(0,1): ліворуч правобічна з хвостом альфа = 0.05 за критичним значенням 1.645, праворуч лівобічна з хвостом за значенням мінус 1.645

Саме тому для двобічної перевірки на рівні 0.050.05 беруть квантиль 0.9750.975 (напр., z0.975=1.96z_{0.975} = 1.96), а не 0.950.95: по 2.5%2.5\% ймовірності лишають у кожному хвості.

Двобічна критична область на нормальному розподілі N(0,1): заштриховані хвости по альфа/2 = 0.025 за критичними значеннями мінус-плюс 1.96, у центрі — область прийняття H0

Типова помилка (хвіст критерію). Для двобічної перевірки помилково беруть квантиль рівня 1α1-\alpha замість 1α/21-\alpha/2. Завжди зіставляйте кількість хвостів критичної області з формою H1H_1: одна нерівність (>> або <<) — один хвіст із усім α\alpha; знак \ne — два хвости по α/2\alpha/2.


4.6 Алгоритм перевірки гіпотез

Усі критерії цієї лекції вкладаються в один загальний алгоритм із шести кроків.

ПеревіркаГіпотези(вибірка, твердження про параметр, alpha):
  1. Сформулювати H0 і H1  (обрати одно- чи двобічну альтернативу)
  2. Задати рівень значущості alpha
  3. Обрати статистику критерію K та її розподіл за істинної H0
  4. Визначити критичну область (критичні точки за alpha і формою H1)
  5. Обчислити спостережене значення статистики K_сп за вибіркою
  6. Висновок:
       якщо K_сп потрапляє в критичну область  ->  ВІДХИЛИТИ H0 (на користь H1)
       інакше                                  ->  H0 НЕ ВІДХИЛЯЄМО

Блок-схема алгоритму перевірки гіпотез із шести кроків: сформулювати гіпотези, задати рівень значущості, обрати статистику, визначити критичну область, обчислити спостережене значення, зробити висновок із розгалуженням відхилити або не відхиляти H0

Альтернатива: p-значення

Замість порівняння статистики з критичною точкою рішення часто ухвалюють за p-значенням.

Означення (p-значення). p-значення (англ. p-value) — це ймовірність за істинної H0H_0 отримати значення статистики таке саме або ще екстремальніше, ніж спостережене. Правило рішення: якщо pαp \le \alpha — відхилити H0H_0, інакше не відхиляти.

Обидва підходи еквівалентні (дають те саме рішення), бо pαp \le \alpha рівносильно влученню статистики в критичну область. Перевага p-значення в тому, що воно показує наскільки сильно дані суперечать H0H_0 (напр., p=0.001p = 0.001 переконливіше за p=0.049p = 0.049), і не потребує окремої критичної точки для кожного α\alpha.

p-значення як площа за спостереженою статистикою: на N(0,1) заштриховано два хвости по p/2 за межами спостереженого Z = 2.0; сумарне p = 0.0455 менше за альфа

У наступних параграфах пройдемо цим алгоритмом для семи класичних критеріїв. Для всіх критичних значень і p-значень нижче використано функції розподілів з scipy.stats (norm.ppf, t.ppf, chi2.ppf, f.ppf) — той самий інструмент, що й у статистичних таблицях.


4.7 Гіпотеза про математичне сподівання при відомій дисперсії (Z-критерій)

Нехай вибірку взято з нормальної сукупності з відомим середньоквадратичним відхиленням σ\sigma. Перевіряємо H0: μ=μ0H_0:\ \mu = \mu_0. За істинної H0H_0 вибіркове середнє xˉ\bar{x} має розподіл N(μ0, σ2/n)N(\mu_0,\ \sigma^2/n), тож стандартизована статистика

Z=xˉμ0σ/nZ = \frac{\bar{x} - \mu_0}{\sigma/\sqrt{n}}

має стандартний нормальний розподіл N(0,1)N(0,1). Критичні точки — квантилі N(0,1)N(0,1): для двобічної перевірки z1α/2z_{1-\alpha/2} (z0.975=1.96z_{0.975} = 1.96 при α=0.05\alpha = 0.05).

Приклад 4.2. Технологічна норма ваги пакета — μ0=100\mu_0 = 100 г при відомому σ=5\sigma = 5 г. Вибірка n=25n = 25 пакетів дала xˉ=102\bar{x} = 102 г. Чи змістилося середнє (α=0.05\alpha = 0.05, двобічна)?

Розв’язання. H0: μ=100H_0:\ \mu = 100, H1: μ100H_1:\ \mu \ne 100. Статистика:

Z=1021005/25=21=2.0.Z = \frac{102 - 100}{5/\sqrt{25}} = \frac{2}{1} = 2.0.

Критична точка z0.975=1.96z_{0.975} = 1.96. Оскільки Z=2.0>1.96|Z| = 2.0 > 1.96, ZZ потрапляє в критичну область — H0H_0 відхиляємо: середня вага значуще відрізняється від норми (p0.0455<0.05p \approx 0.0455 < 0.05).


4.8 Гіпотеза про математичне сподівання при невідомій дисперсії (t-критерій)

На практиці σ\sigma майже завжди невідома. Тоді її замінюють вибірковим (незміщеним) СКВ ss, а нормальний розподіл статистики поступається розподілу Стьюдента:

T=xˉμ0s/n,df=n1.T = \frac{\bar{x} - \mu_0}{s/\sqrt{n}}, \qquad \text{df} = n - 1.

За істинної H0H_0 ця статистика має розподіл Стьюдента з n1n-1 ступенями свободи (англ. degrees of freedom, df). Критичні точки — квантилі tt-розподілу t1α/2, n1t_{1-\alpha/2,\ n-1}. Розподіл Стьюдента має «важчі хвости», ніж N(0,1)N(0,1), тож його критичні значення більші — це плата за незнання σ\sigma; при великих nn (n30n \gtrsim 30) різниця зникає, і tt-критерій наближається до ZZ-критерію.

Приклад 4.3. Гіпотетичне середнє μ0=50\mu_0 = 50. Вибірка n=16n = 16 дала xˉ=52.5\bar{x} = 52.5, s=4s = 4. Перевіримо H0: μ=50H_0:\ \mu = 50 проти H1: μ50H_1:\ \mu \ne 50 при α=0.05\alpha = 0.05.

T=52.5504/16=2.51=2.5,df=15.T = \frac{52.5 - 50}{4/\sqrt{16}} = \frac{2.5}{1} = 2.5, \qquad \text{df} = 15.

Критична точка t0.975, 15=2.131t_{0.975,\ 15} = 2.131. Оскільки T=2.5>2.131|T| = 2.5 > 2.131H0H_0 відхиляємо (p0.0245p \approx 0.0245). Якби ми помилково скористалися z0.975=1.96z_{0.975} = 1.96, висновок збігся б, але для малих вибірок таке спрощення небезпечне: при TT між 1.961.96 і 2.1312.131 воно дало б хибне відхилення.

Критична область на розподілі Стьюдента з df = 15 у порівнянні з N(0,1): критичні точки мінус-плюс 2.131 і спостережене T = 2.5 у правій критичній області


4.9 Гіпотеза про числове значення дисперсії (χ2\chi^2-критерій)

Іноді цікавить не середнє, а розкид — напр., стабільність (точність) процесу. Для нормальної сукупності перевіряють H0: σ2=σ02H_0:\ \sigma^2 = \sigma_0^2 статистикою

χ2=(n1)s2σ02,df=n1,\chi^2 = \frac{(n-1)\,s^2}{\sigma_0^2}, \qquad \text{df} = n - 1,

яка за істинної H0H_0 має розподіл хі-квадрат із n1n-1 ступенями свободи. Розподіл χ2\chi^2 несиметричний (додатний), тож критичні точки для двох хвостів різні:

  • правобічна H1: σ2>σ02H_1:\ \sigma^2 > \sigma_0^2: область {χ2>χ1α, n12}\{\chi^2 > \chi^2_{1-\alpha,\ n-1}\};
  • лівобічна H1: σ2<σ02H_1:\ \sigma^2 < \sigma_0^2: область {χ2<χα, n12}\{\chi^2 < \chi^2_{\alpha,\ n-1}\};
  • двобічна: {χ2<χα/22}{χ2>χ1α/22}\{\chi^2 < \chi^2_{\alpha/2}\}\cup\{\chi^2 > \chi^2_{1-\alpha/2}\}.

Приклад 4.4. Норма дисперсії розміру деталі — σ02=4\sigma_0^2 = 4. Вибірка n=20n = 20 дала s2=6.5s^2 = 6.5. Чи зросла мінливість (α=0.05\alpha = 0.05, правобічна)?

Розв’язання. H0: σ2=4H_0:\ \sigma^2 = 4, H1: σ2>4H_1:\ \sigma^2 > 4.

χ2=(201)6.54=123.54=30.875,df=19.\chi^2 = \frac{(20-1)\cdot 6.5}{4} = \frac{123.5}{4} = 30.875, \qquad \text{df} = 19.

Критична точка χ0.95, 192=30.14\chi^2_{0.95,\ 19} = 30.14. Оскільки 30.875>30.1430.875 > 30.14H0H_0 відхиляємо: мінливість значуще зросла, хоча й на межі (p0.042p \approx 0.042). Такий граничний результат — привід зібрати більше даних, перш ніж утручатися в процес.


4.10 Гіпотеза про рівність двох дисперсій (F-критерій Фішера)

Порівняймо розкид двох незалежних вибірок із нормальних сукупностей: H0: σ12=σ22H_0:\ \sigma_1^2 = \sigma_2^2. Статистика — відношення вибіркових дисперсій:

F=smax2smin2(більша дисперсія над меншою),df=(nmax1, nmin1), F = \frac{s_{\max}^2}{s_{\min}^2} \quad (\text{більша дисперсія над меншою}), \qquad \text{df} = (n_{\max}-1,\ n_{\min}-1),

яка за істинної H0H_0 має розподіл Фішера F(k1,k2)F(k_1, k_2). Ставлячи більшу дисперсію в чисельник, ми гарантуємо F1F \ge 1 і порівнюємо лише з верхньою критичною точкою F1α/2(k1,k2)F_{1-\alpha/2}(k_1, k_2) (двобічна перевірка \ne).

Приклад 4.5. Дві лінії дали s12=10.8s_1^2 = 10.8 (n1=12n_1 = 12) та s22=4.2s_2^2 = 4.2 (n2=10n_2 = 10). Чи різна їхня точність (α=0.05\alpha = 0.05, двобічна)?

Розв’язання. H0: σ12=σ22H_0:\ \sigma_1^2 = \sigma_2^2, H1: σ12σ22H_1:\ \sigma_1^2 \ne \sigma_2^2. Більша дисперсія — s12s_1^2:

F=10.84.2=2.571,df=(11, 9).F = \frac{10.8}{4.2} = 2.571, \qquad \text{df} = (11,\ 9).

Критична точка F0.975(11,9)=3.912F_{0.975}(11, 9) = 3.912. Оскільки 2.571<3.9122.571 < 3.912H0H_0 не відхиляємо (p0.17p \approx 0.17): відмінність дисперсій статистично незначуща. Це типовий перший крок перед порівнянням середніх: якщо дисперсії можна вважати рівними, для середніх беруть об’єднану оцінку (§4.11); якщо ні — критерій Уелча (§4.12).

Критична область на розподілі Фішера F(11, 9): верхній хвіст альфа/2 = 0.025 за критичною точкою 3.912 і спостережене F = 2.571 в області прийняття

Типова помилка (менша дисперсія в чисельнику). Якщо поставити меншу дисперсію згори, вийде F<1F < 1, і порівняння з верхньою критичною точкою завжди дасть «не відхиляємо» — критерій втратить чутливість. Домовленість «більша над меншою» усуває цю пастку.


4.11 Гіпотеза про рівність двох середніх при рівних дисперсіях

Найчастіше питання — чи однакові середні двох груп (контроль проти нової версії, до проти після). Якщо дисперсії сукупностей можна вважати рівними (перевірено FF-критерієм, §4.10), їх поєднують в одну об’єднану (англ. pooled) оцінку:

sp2=(n11)s12+(n21)s22n1+n22,T=xˉ1xˉ2sp1n1+1n2,df=n1+n22. s_p^2 = \frac{(n_1-1)\,s_1^2 + (n_2-1)\,s_2^2}{n_1 + n_2 - 2}, \qquad T = \frac{\bar{x}_1 - \bar{x}_2}{s_p\sqrt{\dfrac{1}{n_1} + \dfrac{1}{n_2}}}, \qquad \text{df} = n_1 + n_2 - 2.

Об’єднана дисперсія sp2s_p^2 — це середньозважене (за ступенями свободи) двох вибіркових дисперсій; вона точніше оцінює спільну дисперсію, ніж кожна окремо. За істинної H0: μ1=μ2H_0:\ \mu_1 = \mu_2 статистика TT має розподіл Стьюдента з n1+n22n_1+n_2-2 ступенями свободи.

Приклад 4.6. Дві групи: n1=12n_1 = 12, xˉ1=45.2\bar{x}_1 = 45.2, s12=8.5s_1^2 = 8.5; n2=15n_2 = 15, xˉ2=48.1\bar{x}_2 = 48.1, s22=7.2s_2^2 = 7.2 (дисперсії вважаємо рівними). Чи різні середні (α=0.05\alpha = 0.05, двобічна)?

Розв’язання. Об’єднана дисперсія:

sp2=118.5+147.212+152=93.5+100.825=7.772,sp=2.788. s_p^2 = \frac{11\cdot 8.5 + 14\cdot 7.2}{12 + 15 - 2} = \frac{93.5 + 100.8}{25} = 7.772, \qquad s_p = 2.788.

Статистика:

T=45.248.12.788112+115=2.92.7880.3873=2.91.080=2.686,df=25. T = \frac{45.2 - 48.1}{2.788\sqrt{\tfrac{1}{12} + \tfrac{1}{15}}} = \frac{-2.9}{2.788\cdot 0.3873} = \frac{-2.9}{1.080} = -2.686, \qquad \text{df} = 25.

Критична точка t0.975, 25=2.060t_{0.975,\ 25} = 2.060. Оскільки 2.686=2.686>2.060|{-2.686}| = 2.686 > 2.060H0H_0 відхиляємо (p0.013p \approx 0.013): середні значуще різняться.


4.12 Гіпотеза про рівність двох середніх при різних дисперсіях (критерій Уелча)

Якщо FF-критерій показав, що дисперсії різні (або немає підстав вважати їх рівними), об’єднувати їх не можна. Тоді застосовують критерій Уелча (англ. Welch’s t-test): статистику будують на окремих дисперсіях, а ступені свободи обчислюють за наближенням Уелча–Саттертвейта:

T=xˉ1xˉ2s12n1+s22n2,df=(s12n1+s22n2)2(s12/n1)2n11+(s22/n2)2n21. T = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\dfrac{s_1^2}{n_1} + \dfrac{s_2^2}{n_2}}}, \qquad \text{df} = \frac{\left(\dfrac{s_1^2}{n_1} + \dfrac{s_2^2}{n_2}\right)^{2}} {\dfrac{(s_1^2/n_1)^2}{n_1-1} + \dfrac{(s_2^2/n_2)^2}{n_2-1}}.

Ступені свободи Уелча зазвичай дробові; на практиці їх округлюють униз (це консервативніше — критична точка трохи більша). Критерій Уелча надійніший за об’єднаний tt-критерій, коли дисперсії й обсяги груп неоднакові, і майже не поступається йому, коли дисперсії справді рівні, — тому багато статистичних пакетів беруть його за замовчуванням.

Приклад 4.7. Група 1: n1=10n_1 = 10, xˉ1=100\bar{x}_1 = 100, s12=4s_1^2 = 4; група 2: n2=8n_2 = 8, xˉ2=103\bar{x}_2 = 103, s22=25s_2^2 = 25 (дисперсії явно різні). Перевіримо рівність середніх (α=0.05\alpha = 0.05, двобічна).

Розв’язання.

s12n1=410=0.4,s22n2=258=3.125,\frac{s_1^2}{n_1} = \frac{4}{10} = 0.4, \qquad \frac{s_2^2}{n_2} = \frac{25}{8} = 3.125,

T=1001030.4+3.125=33.525=31.878=1.598.T = \frac{100 - 103}{\sqrt{0.4 + 3.125}} = \frac{-3}{\sqrt{3.525}} = \frac{-3}{1.878} = -1.598.

Ступені свободи Уелча:

df=(0.4+3.125)20.429+3.12527=12.4260.0178+1.395=8.80  округлюємо до 8. \text{df} = \frac{(0.4 + 3.125)^2}{\dfrac{0.4^2}{9} + \dfrac{3.125^2}{7}} = \frac{12.426}{0.0178 + 1.395} = 8.80 \ \Rightarrow\ \text{округлюємо до } 8.

Критична точка t0.975, 8=2.306t_{0.975,\ 8} = 2.306. Оскільки 1.598=1.598<2.306|{-1.598}| = 1.598 < 2.306H0H_0 не відхиляємо (p0.15p \approx 0.15): попри різницю середніх у 3 одиниці, великий розкид другої групи не дає визнати відмінність значущою.


4.13 Гіпотеза про числове значення ймовірності події (частку)

Для частки (ймовірності «успіху») перевіряють H0: p=p0H_0:\ p = p_0 за вибіркою з nn незалежних випробувань, у яких трапилося mm успіхів. Вибіркова частка p^=m/n\hat{p} = m/n; за центральною граничною теоремою при досить великому nn вона приблизно нормальна, тож

Z=p^p0p0(1p0)n  N(0,1).Z = \frac{\hat{p} - p_0}{\sqrt{\dfrac{p_0(1-p_0)}{n}}} \ \sim\ N(0,1).

У знаменнику стоїть p0p_0 (а не p^\hat{p}), бо стандартне відхилення обчислюють за істинної H0H_0. Наближення надійне, коли np05n p_0 \ge 5 і n(1p0)5n(1-p_0) \ge 5.

Приклад 4.8. Монету підкинули n=200n = 200 разів, «орел» випав m=115m = 115 разів. Чи симетрична монета (p0=0.5p_0 = 0.5, α=0.05\alpha = 0.05, двобічна)?

Розв’язання. p^=115/200=0.575\hat{p} = 115/200 = 0.575.

Z=0.5750.50.50.5200=0.0750.03536=2.121.Z = \frac{0.575 - 0.5}{\sqrt{\dfrac{0.5\cdot 0.5}{200}}} = \frac{0.075}{0.03536} = 2.121.

Критична точка z0.975=1.96z_{0.975} = 1.96. Оскільки 2.121>1.962.121 > 1.96H0H_0 відхиляємо (p0.034p \approx 0.034): відхилення від симетрії статистично значуще.


Застосування в аналітиці даних

  • A/B-тестування. Порівняння конверсії (частка) або середнього доходу двох варіантів продукту — це рівно критерії §4.11–4.13. Рівень значущості й потужність визначають потрібний обсяг трафіку.
  • Контроль якості. χ2\chi^2-критерій про дисперсію (§4.9) і FF-критерій (§4.10) стежать за стабільністю процесу — зростання розкиду сигналізує про розладнання.
  • Валідація ознак і моделей. Перш ніж включати ознаку в модель, перевіряють, чи значуще її середнє різниться між класами (tt-критерій) — це найпростіший відбір ознак; значущість коефіцієнтів регресії (Лекція 5) перевіряють тим самим tt-критерієм.
  • Обережність із p-значеннями. Статистична значущість — не те саме, що практична: за великих nn мізерний ефект стає «значущим». Завжди дивіться на розмір ефекту (різницю середніх, довірчий інтервал), а не лише на pαp \le \alpha. Багаторазові перевірки на тих самих даних роздувають сумарну помилку I роду (проблема множинних порівнянь).

Підсумок

  • Статистична гіпотеза — перевірне припущення про генеральну сукупність. Перевірку будують на парі H0H_0 (основна, «ефекту немає») і H1H_1 (альтернативна), причому критерій здатний лише відхилити або не відхилити H0H_0.
  • Помилка I роду (α\alpha) — відхилити правильну H0H_0; помилка II роду (β\beta) — не відхилити хибну; потужність =1β= 1-\beta. За фіксованого nn вони конфліктують.
  • Рівень значущості α\alpha задають наперед; критична область повторює форму H1H_1 (ліво-, право- чи двобічна), причому для двобічної α\alpha ділять навпіл (1α/21-\alpha/2).
  • Алгоритм із 6 кроків: гіпотези → α\alpha → статистика → критична область → спостережене значення → висновок. Еквівалентне правило — за p-значенням (pαp \le \alpha \Rightarrow відхилити).
  • Критерії (нормальна сукупність):
    • середнє, σ\sigma відома — Z=xˉμ0σ/nZ = \dfrac{\bar{x}-\mu_0}{\sigma/\sqrt{n}};
    • середнє, σ\sigma невідома — T=xˉμ0s/nT = \dfrac{\bar{x}-\mu_0}{s/\sqrt{n}}, df =n1= n-1;
    • дисперсія — χ2=(n1)s2σ02\chi^2 = \dfrac{(n-1)s^2}{\sigma_0^2}, df =n1= n-1;
    • дві дисперсії — F=smax2smin2F = \dfrac{s_{\max}^2}{s_{\min}^2}, df =(nmax1,nmin1)= (n_{\max}-1, n_{\min}-1);
    • два середніх, дисперсії рівні — об’єднана sp2s_p^2, df =n1+n22= n_1+n_2-2;
    • два середніх, дисперсії різні — Уелч, df за Уелчем–Саттертвейтом;
    • частка — Z=p^p0p0(1p0)/nZ = \dfrac{\hat{p}-p_0}{\sqrt{p_0(1-p_0)/n}}.

Вправи

Для розігріву

  1. Поясніть різницю між H0H_0 і H1H_1. Чому «не відхилити H0H_0» не означає «довести H0H_0»? Наведіть аналогію із судовим процесом.
  2. Що таке помилки I та II роду? Чому не можна одночасно зменшити α\alpha і β\beta, не збільшуючи обсяг вибірки? Чи правда, що α+β=1\alpha + \beta = 1?
  3. Для α=0.05\alpha = 0.05 випишіть критичні точки zz для лівобічної, правобічної та двобічної перевірок за N(0,1)N(0,1). Поясніть, чому для двобічної беруть квантиль 0.9750.975, а не 0.950.95.

Стандартні

  1. Відома σ=20\sigma = 20. Вибірка n=16n = 16 дала xˉ=509\bar{x} = 509 при нормі μ0=500\mu_0 = 500. Перевірте H0: μ=500H_0:\ \mu = 500 проти H1: μ500H_1:\ \mu \ne 500 (ZZ-критерій, α=0.05\alpha = 0.05). Який висновок?
  2. Мала вибірка 8, 11, 9, 12, 10, 13, 9, 128,\ 11,\ 9,\ 12,\ 10,\ 13,\ 9,\ 12 (n=8n = 8). Перевірте гіпотезу H0: μ=9H_0:\ \mu = 9 проти H1: μ9H_1:\ \mu \ne 9 (tt-критерій, α=0.05\alpha = 0.05): обчисліть xˉ\bar{x}, ss, TT, знайдіть t0.975,7t_{0.975,\,7} і зробіть висновок.
  3. Дві вибірки: s12=15.2s_1^2 = 15.2 (n1=9n_1 = 9) і s22=5.1s_2^2 = 5.1 (n2=13n_2 = 13). Перевірте рівність дисперсій (FF-критерій, α=0.05\alpha = 0.05, двобічна). Яку дисперсію ставите в чисельник і чому?
  4. Частка. Із n=150n = 150 відвідувачів купівлю зробили m=24m = 24. Перевірте гіпотезу H0: p=0.2H_0:\ p = 0.2 проти H1: p0.2H_1:\ p \ne 0.2 (zz-критерій, α=0.05\alpha = 0.05).

Підвищеної складності

  1. Дві групи: n1=10n_1 = 10, xˉ1=5.1\bar{x}_1 = 5.1, s12=1.2s_1^2 = 1.2; n2=10n_2 = 10, xˉ2=6.0\bar{x}_2 = 6.0, s22=1.6s_2^2 = 1.6. (а) FF-критерієм перевірте рівність дисперсій; (б) залежно від результату застосуйте об’єднаний tt-критерій або критерій Уелча до рівності середніх (α=0.05\alpha = 0.05).
  2. Поясніть зв’язок двобічної перевірки H0: μ=μ0H_0:\ \mu = \mu_0 на рівні α\alpha з довірчим інтервалом для μ\mu надійності 1α1-\alpha (Лекція 3): чому «μ0\mu_0 поза інтервалом» рівносильне «відхилити H0H_0»?
  3. Продемонструйте на числах, чому за дуже великого nn навіть крихітна різниця xˉμ0\bar{x} - \mu_0 дає значущий результат. Який висновок про співвідношення статистичної та практичної значущості це підказує?
  4. Виведіть, чому статистика χ2=(n1)s2/σ02\chi^2 = (n-1)s^2/\sigma_0^2 має саме n1n-1 (а не nn) ступенів свободи. (Підказка: одна умова — оцінювання xˉ\bar{x} — «забирає» один ступінь свободи.)

Lectures/DA-L04.md · 38.8 KB · updated 2026-08-05 09:39