Лекція 5. Регресійний та кореляційний аналіз #

Огляд #

У Лекціях 1–4 ми описували одну випадкову величину: її розподіл, числові характеристики, довірчі інтервали, перевірку гіпотез про середнє чи дисперсію. Але найцікавіші питання аналітики — про зв’язок: чи залежить час відгуку сервера від навантаження, обсяг продажів — від витрат на рекламу, вибір кандидата — від регіону? Тут у гру входять дві змінні одразу.

Ця лекція — про двовимірні дані та про те, як виявити, виміряти й змоделювати залежність між двома змінними. Маршрут визначає природа змінних. Для якісних (категоріальних) змінних ми будуємо таблицю спряженості (contingency table), перевіряємо незалежність критерієм згоди Пірсона ($\chi^2$) — це прямий нащадок перевірки гіпотез із Лекції 4. Для кількісних змінних ми малюємо діаграму розсіювання, вимірюємо силу лінійного зв’язку коефіцієнтом кореляції $r$, будуємо лінійну регресію методом найменших квадратів і оцінюємо її якість коефіцієнтом детермінації $R^2$. Наприкінці — місток до якісних предикторів через фіктивні змінні (dummy variables), який веде до методів класифікації Лекції 6.

Практичний бік. Коефіцієнт кореляції, рівняння регресії та $R^2$ ви обчислите «руками» й програмою в Лабораторній роботі 5.

5.1 Двовимірна статистика #

Досі спостереження було одним числом $x_i$. Тепер кожне спостереження — це пара $(x_i, y_i)$: для кожного об’єкта ми фіксуємо дві ознаки одночасно.

Означення (двовимірна вибірка). Двовимірною вибіркою називають набір $n$ пар $(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)$, де кожна пара — це два значення, виміряні на одному й тому самому об’єкті.

Змінні в парі відіграють нерівноправні ролі:

• Незалежна змінна $X$ (independent / explanatory variable, регресор, предиктор) — та, що вважається «входом», причиною, керованим фактором.
• Залежна змінна $Y$ (dependent / response variable, відгук) — та, що ми прагнемо пояснити або спрогнозувати через $X$.

Поділ на $X$ і $Y$ задає дослідник, виходячи зі змісту задачі (витрати на рекламу $\to$ продажі, а не навпаки). Мета двовимірного аналізу — відповісти на три питання: чи є зв’язок між $X$ і $Y$; наскільки він сильний; і яка його форма (щоб прогнозувати $Y$ за $X$).

За типом змінних розрізняють три ситуації, і кожна має свій інструмент:

5.2 Види залежності #

Сказати «$Y$ залежить від $X$» можна по-різному, і ці способи утворюють ієрархію від найсильнішого до найслабшого.

• Повна (статистична) незалежність. Умовний розподіл $Y$ не залежить від значення $X$: $P(Y \mid X = x) = P(Y)$ для всіх $x$. Знання $X$ не дає жодної інформації про $Y$. Рівносильно — спільна ймовірність факторизується: $P(X, Y) = P(X)\,P(Y)$.
• Незалежність за математичним сподіванням. Слабша умова: від $X$ не залежить лише середнє $Y$, $\;M(Y \mid X = x) = M(Y)$, хоча розкид чи форма розподілу $Y$ ще можуть змінюватися з $X$.
• Відсутність кореляції (некорельованість). Найслабша умова: дорівнює нулю коваріація $\operatorname{Cov}(X, Y) = M\big[(X - M X)(Y - M Y)\big] = 0$, тобто немає лінійного зв’язку.

Властивість (ієрархія). Повна незалежність $\Rightarrow$ незалежність за сподіванням $\Rightarrow$ некорельованість. Зворотні імплікації хибні.

Приклад 5.1 (некорельовані, але залежні). Нехай $X$ набуває значень $-2, -1, 0, 1, 2$ (симетрично), а $Y = X^2$. Тоді $Y$ повністю визначається $X$ (залежність жорстка), проте вибірковий коефіцієнт кореляції дорівнює рівно нулю: додатні відхилення $X$ компенсуються від’ємними. Цей приклад — головне застереження курсу: кореляція вловлює лише лінійний зв’язок; $r = 0$ означає «немає лінійного зв’язку», а не «немає зв’язку взагалі».

5.3 Залежність категоріальних змінних. Таблиця спряженості #

Коли обидві змінні якісні, дані зводять у таблицю спряженості — таблицю частот усіх комбінацій категорій.

Означення (таблиця спряженості). Таблицею спряженості розміру $r \times c$ називають таблицю, у клітинці $(i, j)$ якої стоїть частота $O_{ij}$ — кількість об’єктів, що потрапили одночасно в категорію $i$ змінної-рядка та категорію $j$ змінної-стовпця. Суми по рядках і стовпцях називають граничними (маргінальними) підсумками.

Приклад 5.2 (голосування). Досліджують зв’язок між вибором кандидата (рядки) та областю проживання виборця (стовпці). Наведемо фрагмент таблиці — дві області з багатьох; повна вибірка охоплює $N = 18\,064$ виборців:

Граничні підсумки узгоджені: у Львівській $548 + 676 = 1224$, у Харківській $1126 + 146 = 1272$; за кандидатами — $13\,542 + 4\,522 = 18\,064 = N$.

Імовірнісна інтерпретація #

Поділивши кожну частоту на загальну кількість $N$, дістаємо спільні ймовірності $P(\text{рядок}_i, \text{стовпець}_j)$, а з граничних підсумків — граничні ймовірності:

Наприклад, $P(\text{К1}, \text{Львів}) = 548/18\,064 \approx 0.030$, а гранична $P(\text{К1}) = 13\,542/18\,064 \approx 0.750$: кандидат 1 набирає загалом близько 75 %.

Умовні ймовірності #

Найінформативніший погляд — умовні ймовірності (порівн. Лекцію 1). У розрізі стовпців ділимо клітинку на підсумок стовпця, дістаючи $P(\text{кандидат} \mid \text{область})$ — розподіл голосів усередині кожної області:

Тут $P(\text{К1} \mid \text{Львів}) = 548/1224 \approx 0.448$, а $P(\text{К1} \mid \text{Харків}) = 1126/1272 \approx 0.885$. У розрізі рядків ділимо на підсумок рядка, дістаючи $P(\text{область} \mid \text{кандидат})$: $P(\text{Львів} \mid \text{К1}) = 548/13\,542 \approx 0.040$, $P(\text{Львів} \mid \text{К2}) = 676/4\,522 \approx 0.149$.

Критерій незалежності через ймовірності. Змінні незалежні тоді й лише тоді, коли умовний розподіл збігається з граничним: $P(\text{кандидат} \mid \text{область}) = P(\text{кандидат})$ для кожної області. У прикладі $P(\text{К1} \mid \text{Львів}) = 0.448 \ne 0.750 = P(\text{К1})$ — отже, вибір кандидата залежить від області.

5.4 Очікувані частоти за припущення незалежності #

Щоб виміряти залежність числом, порівняємо спостережувані частоти $O_{ij}$ з тими, які були б очікуваними, якби змінні були незалежні. За незалежності $P(\text{рядок}_i, \text{стовпець}_j) = P(\text{рядок}_i)\,P(\text{стовпець}_j)$, тож очікувана кількість у клітинці дорівнює $N$, помноженому на добуток граничних імовірностей:

$$E_{ij} = N \cdot \frac{\text{сума рядка}_i}{N} \cdot \frac{\text{сума стовпця}_j}{N} = \frac{(\text{сума рядка}_i)\,(\text{сума стовпця}_j)}{N}.$$

Приклад 5.3 (очікувані голоси). Кандидат 1 має загальну частку $P(\text{К1}) = 13\,542/18\,064 \approx 0.75$. Тоді за незалежності від нього очікувалося б у Львівській області $E_{\text{К1, Львів}} = 13\,542 \cdot 1224 / 18\,064 \approx 918$ голосів, а фактично $O = 548$. Аналогічно для двох показаних областей:

Розбіжність велика ($548$ проти $918$, $1126$ проти $954$) — сильний сигнал залежності. Щоб перетворити «велику розбіжність» на число з порогом прийняття рішення, застосовують критерій Пірсона.

5.5 Критерій згоди Пірсона ($\chi^2$) #

Критерій $\chi^2$ формально перевіряє гіпотезу незалежності, порівнюючи всі $O_{ij}$ з $E_{ij}$ (порівн. алгоритм перевірки гіпотез, Лекція 4).

Означення (статистика Пірсона). Для таблиці спряженості

$$\chi^2 = \sum_{i, j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}},$$

де сума береться по всіх клітинках. Число ступенів свободи

$$\mathrm{df} = (r - 1)(c - 1).$$

Логіка. За незалежності $O_{ij} \approx E_{ij}$, тож $\chi^2$ малий; що сильніша залежність, то більший $\chi^2$. Гіпотези:

• $H_0$: змінні незалежні;
• $H_1$: змінні залежні.

Правило рішення. Обравши рівень значущості $\alpha$ (зазвичай $0.05$), знаходять критичне значення $\chi^2_{\text{кр}} = \chi^2_{\alpha, \mathrm{df}}$ (квантиль розподілу $\chi^2$ з $\mathrm{df}$ ступенями свободи). Якщо $\chi^2 > \chi^2_{\text{кр}}$ — гіпотезу незалежності відхиляють.

Приклад 5.4 (повний розрахунок $\chi^2$). У групі з $200$ студентів досліджують зв’язок між формою навчання (очна / дистанційна) та результатом іспиту (склав / не склав). Спостережувана таблиця:

Крок 1. Очікувані частоти $E_{ij} = (\text{рядок}_i)(\text{стовпець}_j)/N$:

$$E_{11} = \frac{100 \cdot 140}{200} = 70, \quad E_{12} = \frac{100 \cdot 60}{200} = 30, \quad E_{21} = 70, \quad E_{22} = 30.$$

Крок 2. Внески клітинок $(O - E)^2 / E$:

$$\frac{(80 - 70)^2}{70} = \frac{100}{70} = 1.4286, \qquad \frac{(20 - 30)^2}{30} = \frac{100}{30} = 3.3333,$$

$$\frac{(60 - 70)^2}{70} = 1.4286, \qquad \frac{(40 - 30)^2}{30} = 3.3333.$$

Крок 3. Статистика й рішення.

$$\chi^2 = 1.4286 + 3.3333 + 1.4286 + 3.3333 = 9.524, \qquad \mathrm{df} = (2 - 1)(2 - 1) = 1.$$

Критичне значення $\chi^2_{0.05,\,1} = 3.841$. Оскільки $9.524 > 3.841$, гіпотезу незалежності відхиляємо: форма навчання та результат іспиту пов’язані (на очній частка тих, хто склав, вища).

Умови застосовності. Критерій наближений і надійний, коли очікувані частоти достатньо великі — практичне правило: $E_{ij} \ge 5$ у всіх клітинках. Для таблиць $2 \times 2$ програмні пакети часто застосовують поправку Єйтса (неперервності), яка трохи зменшує $\chi^2$; щоб відтворити «формульне» значення $\sum (O - E)^2 / E$, у scipy.stats.chi2_contingency вимикають поправку (correction=False).

Типова помилка (частоти, а не частки). $\chi^2$ рахують лише за абсолютними частотами (кількостями). Підставляти у формулу відсотки чи ймовірності не можна — результат втратить зв’язок з обсягом вибірки $N$ і буде беззмістовним.

5.6 Залежності в кількісних даних. Діаграма розсіювання #

Коли обидві змінні кількісні, перший крок аналізу — діаграма розсіювання (scatter plot): кожну пару $(x_i, y_i)$ зображують точкою на площині ($X$ — по горизонталі, $Y$ — по вертикалі). Оком з діаграми зчитують:

• напрям — зростає $Y$ з $X$ (додатній зв’язок) чи спадає (від’ємний);
• силу — наскільки щільно точки лягають уздовж уявної лінії;
• форму — лінійна залежність чи криволінійна;
• викиди — окремі точки, що різко вибиваються із загальної картини.

Діаграма розсіювання — обов’язкова передумова кореляційно-регресійного аналізу: вона показує, чи взагалі доречна лінійна модель (згадайте Приклад 5.1, де зв’язок є, але він не лінійний).

5.7 Вибірковий коефіцієнт кореляції #

Діаграма дає якісне враження; коефіцієнт кореляції перетворює його на число.

Означення (вибірковий коефіцієнт кореляції Пірсона).

$$r = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})} {\sqrt{\sum_{i=1}^{n} (x_i - \bar{x})^2 \; \sum_{i=1}^{n} (y_i - \bar{y})^2}}.$$

Чисельник — це (з точністю до множника $1/n$) коваріація, а знаменник нормує її на розкиди обох змінних, тож $r$ безрозмірний.

Властивості. $-1 \le r \le 1$; знак показує напрям зв’язку; $|r| = 1$ — точний лінійний зв’язок (усі точки на одній прямій); $r = 0$ — лінійного зв’язку немає. Орієнтовна шкала сили:

| $|r|$ | Сила лінійного зв’язку | |:–:|—| | $0.0$–$0.3$ | дуже слабкий / відсутній | | $0.3$–$0.5$ | слабкий | | $0.5$–$0.7$ | помірний | | $0.7$–$0.9$ | сильний | | $0.9$–$1.0$ | дуже сильний |

Для ручних обчислень зручніша алгебраїчно рівносильна форма через суми (без попереднього віднімання середніх):

$$r = \frac{n \sum x_i y_i - \sum x_i \sum y_i} {\sqrt{\big[n \sum x_i^2 - (\sum x_i)^2\big]\big[n \sum y_i^2 - (\sum y_i)^2\big]}}.$$

Значущість кореляції. Навіть за відсутності зв’язку в генеральній сукупності вибірковий $r$ рідко дорівнює точно нулю. Значущість перевіряють статистикою

$$t = r\,\sqrt{\frac{n - 2}{1 - r^2}}, \qquad \mathrm{df} = n - 2,$$

порівнюючи $|t|$ з критичним $t_{\alpha/2,\,n-2}$ (розподіл Стьюдента, Лекція 2). Це та сама логіка перевірки гіпотез, що й у Лекції 4, з $H_0\!: r = 0$.

5.8 Основа регресійного аналізу. Метод найменших квадратів #

Кореляція вимірює силу зв’язку; регресія задає його форму — рівняння, за яким прогнозують $Y$.

Означення (проста лінійна регресія). Лінійною регресійною моделлю називають $\hat{y} = b_0 + b_1 x$, де $b_1$ — коефіцієнт нахилу (на скільки в середньому змінюється $Y$ зі зростанням $X$ на одиницю), $b_0$ — вільний член (значення $\hat{y}$ при $x = 0$). Різницю $e_i = y_i - \hat{y}_i$ між фактом і прогнозом називають залишком (residual).

Метод найменших квадратів (ordinary least squares, OLS) обирає пряму, що мінімізує суму квадратів залишків $\sum e_i^2 = \sum (y_i - b_0 - b_1 x_i)^2$. Прирівнявши частинні похідні за $b_0, b_1$ до нуля, дістають єдиний розв’язок:

$$b_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2}, \qquad b_0 = \bar{y} - b_1 \bar{x}.$$

Формула для $b_0$ означає, що пряма регресії завжди проходить через центр даних $(\bar{x}, \bar{y})$. Нахил $b_1$ і кореляція $r$ пов’язані: $b_1 = r \cdot s_y / s_x$ — тому знаки $b_1$ і $r$ завжди збігаються.

Усі величини обчислюють за один прохід по даних, накопичуючи п’ять сум:

Вхід: пари (x_1, y_1), …, (x_n, y_n)
n ← 0; Sx ← 0; Sy ← 0; Sxy ← 0; Sxx ← 0; Syy ← 0
для кожної пари (x, y):
    n ← n + 1
    Sx ← Sx + x;   Sy ← Sy + y
    Sxy ← Sxy + x*y
    Sxx ← Sxx + x*x;  Syy ← Syy + y*y
Dxy ← n*Sxy − Sx*Sy
Dxx ← n*Sxx − Sx*Sx
Dyy ← n*Syy − Sy*Sy
r  ← Dxy / sqrt(Dxx * Dyy)
b1 ← Dxy / Dxx
b0 ← (Sy − b1*Sx) / n
R2 ← r*r                      // для простої лінійної регресії
Вихід: r, b0, b1, R2

Приклад 5.5 (побудова регресії). Досліджують зв’язок між кількістю годин підготовки $X$ та балом за тест $Y$ для $n = 6$ студентів. Складемо розрахункову таблицю:

Тут $n = 6$, $\bar{x} = 34/6 \approx 5.667$, $\bar{y} = 336/6 = 56$. Проміжні величини:

$$n\sum x y - \sum x \sum y = 6 \cdot 2116 - 34 \cdot 336 = 12\,696 - 11\,424 = 1272,$$

$$n\sum x^2 - (\sum x)^2 = 6 \cdot 226 - 34^2 = 1356 - 1156 = 200,$$

$$n\sum y^2 - (\sum y)^2 = 6 \cdot 20\,186 - 336^2 = 121\,116 - 112\,896 = 8220.$$

Тоді

$$b_1 = \frac{1272}{200} = 6.36, \qquad b_0 = 56 - 6.36 \cdot 5.667 = 19.96,$$

$$r = \frac{1272}{\sqrt{200 \cdot 8220}} = \frac{1272}{1282.2} = 0.9921.$$

Рівняння регресії: $\hat{y} = 19.96 + 6.36\,x$. Кожна додаткова година підготовки додає в середньому $\approx 6.4$ бала. Прогноз для $x = 7$ годин: $\hat{y} = 19.96 + 6.36 \cdot 7 = 64.5$ бала.

Значущість. $t = 0.9921\sqrt{4 / (1 - 0.9921^2)} = 15.77$; критичне $t_{0.025,\,4} = 2.776$. Оскільки $15.77 > 2.776$, кореляція значуща.

Типова помилка (екстраполяція). Рівняння $\hat{y} = b_0 + b_1 x$ надійне лише в межах діапазону спостережуваних $x$. Підставляти значення далеко за межами вибірки (напр., $x = 0$, коли всі дані мають $x \ge 2$) — ризиковано: модель там не перевірена, а $b_0$ може навіть не мати змістовної інтерпретації.

5.9 Коефіцієнт детермінації та дисперсійний аналіз #

Наскільки добре пряма описує дані? Відповідь дає розклад суми квадратів. Загальний розкид $Y$ навколо середнього розпадається на дві частини — пояснену регресією та залишкову:

$$\underbrace{\sum (y_i - \bar{y})^2}_{\text{SST — повна}} = \underbrace{\sum (\hat{y}_i - \bar{y})^2}_{\text{SSR — пояснена}} + \underbrace{\sum (y_i - \hat{y}_i)^2}_{\text{SSE — залишкова}}.$$

• SST (total sum of squares) — уся варіація $Y$;
• SSR (regression) — варіація, яку пояснює модель;
• SSE (error) — варіація залишків, яку модель не пояснює.

Означення (коефіцієнт детермінації). Частка поясненої варіації

$$R^2 = \frac{\text{SSR}}{\text{SST}} = 1 - \frac{\text{SSE}}{\text{SST}}, \qquad 0 \le R^2 \le 1.$$

Для простої лінійної регресії $R^2 = r^2$.

Приклад 5.6 (продовження 5.5). Для тієї самої моделі $\text{SST} = (n\sum y^2 - (\sum y)^2)/n = 8220/6 = 1370$. Обчисливши прогнози $\hat{y}_i$ та залишки, дістаємо $\text{SSR} = 1348.32$ і $\text{SSE} = 21.68$ (перевірка: $1348.32 + 21.68 = 1370 = \text{SST}$). Тоді

$$R^2 = \frac{1348.32}{1370} = 0.9842 = r^2 = 0.9921^2.$$

Модель пояснює 98.4 % розкиду балів — години підготовки майже повністю визначають результат. Так $R^2$ стає мірою якості підгонки: що ближчий до 1, то щільніше точки лягають на пряму.

5.10 Залежність кількісного від якісного. Фіктивні змінні #

Що робити, коли предиктор якісний (стать, регіон, тип пристрою)? Категорію не можна прямо помножити на $b_1$. Розв’язок — фіктивна (індикаторна) змінна.

Означення (фіктивна змінна). Фіктивна змінна (dummy variable) $D$ кодує наявність категорії числами $0$ та $1$: $D = 1$, якщо об’єкт належить категорії, і $D = 0$ інакше.

У моделі $\hat{y} = b_0 + b_1 D$ коефіцієнт $b_0$ дорівнює середньому $Y$ у базовій групі ($D = 0$), а $b_1$ — різниці середніх між групами.

Приклад 5.7. Порівнюють зарплату у двох відділах. Кодуємо відділ як $D$ ($0$ — відділ A, $1$ — відділ B). Нехай середні зарплати $40$ і $50$ тис. Регресія $Y$ на $D$ дає $b_0 = 40$ (середнє в A) та $b_1 = 10$ (наскільки B у середньому вище), тобто $\hat{y} = 40 + 10 D$.

Для якісної змінної з $k$ категоріями беруть $k - 1$ фіктивних змінних (одна категорія лишається базовою). Брати всі $k$ не можна:

Типова помилка (пастка фіктивних змінних). Якщо ввести фіктивні змінні для всіх $k$ категорій разом із вільним членом, їхня сума тотожно дорівнює $1$ — виникає повна колінеарність (dummy variable trap), і коефіцієнти визначити неможливо. Завжди лишайте одну категорію базовою.

Фіктивні змінні поєднують кількісні та якісні предиктори в одній моделі й ведуть до множинної регресії та методів класифікації Лекції 6.

Застосування в аналітиці даних #

• Прогнозування. Лінійна регресія — базовий інструмент прогнозу відгуку за предиктором (продажі за рекламою, навантаження за кількістю користувачів).
• Виявлення зв’язків. Таблиці спряженості та $\chi^2$ показують, чи пов’язані категоріальні ознаки (канал залучення й конверсія, регіон і вибір продукту).
• Оцінка якості моделі. $R^2$ — стандартна метрика частки поясненої варіації; розклад SST $=$ SSR $+$ SSE лежить в основі дисперсійного аналізу (ANOVA).
• Обережність з причинністю. Кореляція та значуща регресія свідчать про зв’язок, а не про причину: за ним може стояти прихований третій фактор.
• Підготовка ознак. Кодування категорій фіктивними змінними — обов’язковий крок перед подачею даних у більшість моделей машинного навчання.

Підсумок #

• Двовимірна вибірка — пари $(x_i, y_i)$; $X$ — незалежна змінна, $Y$ — залежна. Види незалежності за спаданням сили: повна $\Rightarrow$ за сподіванням $\Rightarrow$ некорельованість; зворотне не так ($Y = X^2$ дає $r = 0$).
• Для якісних змінних будують таблицю спряженості; спільні, граничні та умовні ймовірності описують зв’язок. Незалежність $\iff$ умовний розподіл дорівнює граничному.
• Очікувані частоти за незалежності: $E_{ij} = (\text{рядок}_i)(\text{стовпець}_j)/N$.
• Критерій Пірсона: $\chi^2 = \sum (O - E)^2 / E$, $\mathrm{df} = (r-1)(c-1)$; порівнюють з $\chi^2_{\alpha,\,\mathrm{df}}$.
• Для кількісних змінних: діаграма розсіювання, коефіцієнт кореляції $r \in [-1, 1]$ (лише лінійний зв’язок).
• Метод найменших квадратів: $b_1 = \frac{\sum (x - \bar{x})(y - \bar{y})}{\sum (x - \bar{x})^2}$, $b_0 = \bar{y} - b_1 \bar{x}$; пряма проходить через $(\bar{x}, \bar{y})$.
• Якість: SST $=$ SSR $+$ SSE; $R^2 = \text{SSR}/\text{SST}$; для простої лінійної регресії $R^2 = r^2$.
• Фіктивні змінні кодують якісний предиктор ($0/1$); для $k$ категорій — $k - 1$ змінних (уникайте пастки колінеарності).

Вправи #

Для розігріву #

1. Поясніть різницю між незалежною ($X$) та залежною ($Y$) змінними на власному прикладі. Хто задає цей поділ?
2. Чому з $r = 0$ не випливає незалежність змінних? Наведіть приклад.
3. Для таблиці спряженості $3 \times 4$ обчисліть число ступенів свободи критерію $\chi^2$.
4. Кореляція між зростом і вагою дорівнює $r = 0.8$. Що можна сказати про силу та напрям зв’язку? Скільки відсотків варіації ваги пояснює лінійна модель?

Стандартні #

5. У таблиці спряженості $2 \times 2$ маємо частоти $\begin{smallmatrix} 30 & 10 \\ 20 & 40 \end{smallmatrix}$. Обчисліть очікувані частоти, статистику $\chi^2$ та порівняйте з $\chi^2_{0.05,\,1} = 3.841$. Зробіть висновок про незалежність.
6. Для вибірки $(1, 3), (2, 4), (3, 7), (4, 8), (5, 8)$ обчисліть $r$, рівняння регресії $\hat{y} = b_0 + b_1 x$ та $R^2$. Спрогнозуйте $y$ при $x = 6$.
7. Доведіть, що пряма найменших квадратів проходить через точку $(\bar{x}, \bar{y})$, виходячи з формули $b_0 = \bar{y} - b_1 \bar{x}$.
8. Поясніть зміст SST, SSR і SSE. Що означає $R^2 = 0.4$ для якості моделі?

Підвищеної складності #

9. Виведіть формули методу найменших квадратів, мінімізуючи $S(b_0, b_1) = \sum (y_i - b_0 - b_1 x_i)^2$ (прирівняйте частинні похідні $\partial S / \partial b_0$ та $\partial S / \partial b_1$ до нуля).
10. Доведіть тотожність $R^2 = r^2$ для простої лінійної регресії, скориставшись зв’язком $b_1 = r\, s_y / s_x$ та означеннями SSR і SST.
11. Якісна змінна має $4$ категорії. Скільки фіктивних змінних потрібно й чому не можна взяти всі чотири разом із вільним членом? Опишіть, як інтерпретувати коефіцієнти отриманої моделі.
12. Поясніть, чому статистично значуща кореляція не доводить причинного зв’язку. Наведіть приклад удаваної кореляції (spurious correlation) через прихований третій фактор.

Lectures/DA-L05.md · 36.4 KB · updated 2026-08-05 09:18