# Лекція 5. Регресійний та кореляційний аналіз

## Огляд

У [Лекціях 1](DA-L01.md)–[4](DA-L04.md) ми описували **одну** випадкову величину:
її розподіл, числові характеристики, довірчі інтервали, перевірку гіпотез про
середнє чи дисперсію. Але найцікавіші питання аналітики — про **зв'язок**: чи
залежить час відгуку сервера від навантаження, обсяг продажів — від витрат на
рекламу, вибір кандидата — від регіону? Тут у гру входять **дві** змінні одразу.

Ця лекція — про **двовимірні дані** та про те, як виявити, виміряти й
змоделювати залежність між двома змінними. Маршрут визначає природа змінних. Для
**якісних (категоріальних)** змінних ми будуємо **таблицю спряженості**
(*contingency table*), перевіряємо незалежність **критерієм згоди Пірсона**
($\chi^2$) — це прямий нащадок перевірки гіпотез із [Лекції 4](DA-L04.md). Для
**кількісних** змінних ми малюємо **діаграму розсіювання**, вимірюємо силу
лінійного зв'язку **коефіцієнтом кореляції** $r$, будуємо **лінійну регресію**
**методом найменших квадратів** і оцінюємо її якість **коефіцієнтом
детермінації** $R^2$. Наприкінці — місток до якісних предикторів через **фіктивні
змінні** (*dummy variables*), який веде до методів класифікації
[Лекції 6](DA-L06.md).

> **Практичний бік.** Коефіцієнт кореляції, рівняння регресії та $R^2$ ви
> обчислите «руками» й **програмою** в
> [Лабораторній роботі 5](../Laboratory/Laboratory5/main.md).

---

## 5.1 Двовимірна статистика

Досі спостереження було одним числом $x_i$. Тепер кожне спостереження — це
**пара** $(x_i, y_i)$: для кожного об'єкта ми фіксуємо дві ознаки одночасно.

> **Означення (двовимірна вибірка).** **Двовимірною вибіркою** називають набір
> $n$ пар $(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)$, де кожна пара — це два
> значення, виміряні на одному й тому самому об'єкті.

Змінні в парі відіграють нерівноправні ролі:

- **Незалежна змінна** $X$ (*independent / explanatory variable*, регресор,
  предиктор) — та, що вважається «входом», причиною, керованим фактором.
- **Залежна змінна** $Y$ (*dependent / response variable*, відгук) — та, що ми
  прагнемо пояснити або спрогнозувати через $X$.

Поділ на $X$ і $Y$ задає **дослідник**, виходячи зі змісту задачі (витрати на
рекламу $\to$ продажі, а не навпаки). Мета двовимірного аналізу — відповісти на
три питання: **чи є** зв'язок між $X$ і $Y$; **наскільки він сильний**; і **яка
його форма** (щоб прогнозувати $Y$ за $X$).

За типом змінних розрізняють три ситуації, і кожна має свій інструмент:

| $X$ | $Y$ | Інструмент |
|---|---|---|
| якісна | якісна | таблиця спряженості, критерій $\chi^2$ |
| кількісна | кількісна | кореляція, регресія |
| якісна | кількісна | порівняння середніх, фіктивні змінні |

---

## 5.2 Види залежності

Сказати «$Y$ залежить від $X$» можна по-різному, і ці способи утворюють ієрархію
**від найсильнішого до найслабшого**.

- **Повна (статистична) незалежність.** Умовний розподіл $Y$ не залежить від
  значення $X$: $P(Y \mid X = x) = P(Y)$ для всіх $x$. Знання $X$ не дає **жодної**
  інформації про $Y$. Рівносильно — спільна ймовірність факторизується:
  $P(X, Y) = P(X)\,P(Y)$.
- **Незалежність за математичним сподіванням.** Слабша умова: від $X$ не
  залежить лише **середнє** $Y$, $\;M(Y \mid X = x) = M(Y)$, хоча розкид чи форма
  розподілу $Y$ ще можуть змінюватися з $X$.
- **Відсутність кореляції (некорельованість).** Найслабша умова: дорівнює нулю
  **коваріація** $\operatorname{Cov}(X, Y) = M\big[(X - M X)(Y - M Y)\big] = 0$,
  тобто немає **лінійного** зв'язку.

> **Властивість (ієрархія).** Повна незалежність $\Rightarrow$ незалежність за
> сподіванням $\Rightarrow$ некорельованість. **Зворотні імплікації хибні.**

**Приклад 5.1 (некорельовані, але залежні).** Нехай $X$ набуває значень
$-2, -1, 0, 1, 2$ (симетрично), а $Y = X^2$. Тоді $Y$ **повністю** визначається
$X$ (залежність жорстка), проте вибірковий коефіцієнт кореляції дорівнює **рівно
нулю**: додатні відхилення $X$ компенсуються від'ємними. Цей приклад — головне
застереження курсу: **кореляція вловлює лише лінійний зв'язок**; $r = 0$ означає
«немає лінійного зв'язку», а не «немає зв'язку взагалі».

---

## 5.3 Залежність категоріальних змінних. Таблиця спряженості

Коли **обидві** змінні якісні, дані зводять у **таблицю спряженості** — таблицю
частот усіх комбінацій категорій.

> **Означення (таблиця спряженості).** **Таблицею спряженості** розміру
> $r \times c$ називають таблицю, у клітинці $(i, j)$ якої стоїть **частота**
> $O_{ij}$ — кількість об'єктів, що потрапили одночасно в категорію $i$ змінної-рядка
> та категорію $j$ змінної-стовпця. Суми по рядках і стовпцях називають
> **граничними (маргінальними) підсумками**.

**Приклад 5.2 (голосування).** Досліджують зв'язок між **вибором кандидата**
(рядки) та **областю** проживання виборця (стовпці). Наведемо фрагмент таблиці —
дві області з багатьох; повна вибірка охоплює $N = 18\,064$ виборців:

| | Львівська обл. | Харківська обл. | $\dots$ | **Усього** |
|---|:--:|:--:|:--:|:--:|
| **Кандидат 1** | 548 | 1126 | $\dots$ | 13 542 |
| **Кандидат 2** | 676 | 146 | $\dots$ | 4 522 |
| **Усього** | 1224 | 1272 | $\dots$ | **18 064** |

Граничні підсумки узгоджені: у Львівській $548 + 676 = 1224$, у Харківській
$1126 + 146 = 1272$; за кандидатами — $13\,542 + 4\,522 = 18\,064 = N$.

### Імовірнісна інтерпретація

Поділивши **кожну** частоту на загальну кількість $N$, дістаємо **спільні
ймовірності** $P(\text{рядок}_i, \text{стовпець}_j)$, а з граничних підсумків —
**граничні ймовірності**:

| | Львівська | Харківська | **Усього** |
|---|:--:|:--:|:--:|
| **Кандидат 1** | 0.030 | 0.062 | **0.750** |
| **Кандидат 2** | 0.037 | 0.008 | **0.250** |
| **Усього** | **0.068** | **0.070** | **1.000** |

Наприклад, $P(\text{К1}, \text{Львів}) = 548/18\,064 \approx 0.030$, а гранична
$P(\text{К1}) = 13\,542/18\,064 \approx 0.750$: кандидат 1 набирає загалом близько
75 %.

### Умовні ймовірності

Найінформативніший погляд — **умовні** ймовірності (порівн.
[Лекцію 1](DA-L01.md)). У розрізі **стовпців** ділимо клітинку на підсумок стовпця,
дістаючи $P(\text{кандидат} \mid \text{область})$ — розподіл голосів **усередині
кожної області**:

| | Львівська | Харківська |
|---|:--:|:--:|
| **Кандидат 1** | 0.448 | 0.885 |
| **Кандидат 2** | 0.552 | 0.115 |
| **Усього** | 1.000 | 1.000 |

Тут $P(\text{К1} \mid \text{Львів}) = 548/1224 \approx 0.448$, а
$P(\text{К1} \mid \text{Харків}) = 1126/1272 \approx 0.885$. У розрізі **рядків**
ділимо на підсумок рядка, дістаючи $P(\text{область} \mid \text{кандидат})$:
$P(\text{Львів} \mid \text{К1}) = 548/13\,542 \approx 0.040$,
$P(\text{Львів} \mid \text{К2}) = 676/4\,522 \approx 0.149$.

> **Критерій незалежності через ймовірності.** Змінні **незалежні** тоді й лише
> тоді, коли умовний розподіл збігається з граничним:
> $P(\text{кандидат} \mid \text{область}) = P(\text{кандидат})$ для кожної області.
> У прикладі $P(\text{К1} \mid \text{Львів}) = 0.448 \ne 0.750 = P(\text{К1})$ —
> отже, вибір кандидата **залежить** від області.

---

## 5.4 Очікувані частоти за припущення незалежності

Щоб виміряти залежність числом, порівняємо **спостережувані** частоти $O_{ij}$ з
тими, які були б **очікуваними, якби змінні були незалежні**. За незалежності
$P(\text{рядок}_i, \text{стовпець}_j) = P(\text{рядок}_i)\,P(\text{стовпець}_j)$,
тож очікувана кількість у клітинці дорівнює $N$, помноженому на добуток граничних
імовірностей:

$$
E_{ij} = N \cdot \frac{\text{сума рядка}_i}{N} \cdot \frac{\text{сума стовпця}_j}{N}
       = \frac{(\text{сума рядка}_i)\,(\text{сума стовпця}_j)}{N}.
$$

**Приклад 5.3 (очікувані голоси).** Кандидат 1 має загальну частку
$P(\text{К1}) = 13\,542/18\,064 \approx 0.75$. Тоді за незалежності від нього
очікувалося б у Львівській області
$E_{\text{К1, Львів}} = 13\,542 \cdot 1224 / 18\,064 \approx 918$ голосів, а фактично
$O = 548$. Аналогічно для двох показаних областей:

| | Львівська | Харківська |
|---|:--:|:--:|
| **Кандидат 1** | 918 | 954 |
| **Кандидат 2** | 306 | 318 |

Розбіжність велика ($548$ проти $918$, $1126$ проти $954$) — сильний сигнал
залежності. Щоб перетворити «велику розбіжність» на **число з порогом прийняття
рішення**, застосовують критерій Пірсона.

---

## 5.5 Критерій згоди Пірсона ($\chi^2$)

Критерій $\chi^2$ **формально** перевіряє гіпотезу незалежності, порівнюючи всі
$O_{ij}$ з $E_{ij}$ (порівн. алгоритм перевірки гіпотез,
[Лекція 4](DA-L04.md)).

> **Означення (статистика Пірсона).** Для таблиці спряженості
> $$ \chi^2 = \sum_{i, j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}}, $$
> де сума береться по **всіх** клітинках. Число **ступенів свободи**
> $$ \mathrm{df} = (r - 1)(c - 1). $$

**Логіка.** За незалежності $O_{ij} \approx E_{ij}$, тож $\chi^2$ малий; що
сильніша залежність, то більший $\chi^2$. Гіпотези:

- $H_0$: змінні **незалежні**;
- $H_1$: змінні **залежні**.

**Правило рішення.** Обравши рівень значущості $\alpha$ (зазвичай $0.05$),
знаходять **критичне значення** $\chi^2_{\text{кр}} = \chi^2_{\alpha, \mathrm{df}}$
(квантиль розподілу $\chi^2$ з $\mathrm{df}$ ступенями свободи). Якщо
$\chi^2 > \chi^2_{\text{кр}}$ — гіпотезу незалежності **відхиляють**.

**Приклад 5.4 (повний розрахунок $\chi^2$).** У групі з $200$ студентів
досліджують зв'язок між **формою навчання** (очна / дистанційна) та **результатом
іспиту** (склав / не склав). Спостережувана таблиця:

| | Склав | Не склав | **Усього** |
|---|:--:|:--:|:--:|
| **Очна** | 80 | 20 | 100 |
| **Дистанційна** | 60 | 40 | 100 |
| **Усього** | 140 | 60 | **200** |

![Теплова карта таблиці спряженості «форма навчання × результат іспиту»: спостережені частоти 80/20/60/40 та очікувані за незалежності E=70/30/70/30; хі-квадрат = 9.52](img/l05_contingency.png)

**Крок 1. Очікувані частоти** $E_{ij} = (\text{рядок}_i)(\text{стовпець}_j)/N$:

$$
E_{11} = \frac{100 \cdot 140}{200} = 70, \quad E_{12} = \frac{100 \cdot 60}{200} = 30,
\quad E_{21} = 70, \quad E_{22} = 30.
$$

**Крок 2. Внески клітинок** $(O - E)^2 / E$:

$$
\frac{(80 - 70)^2}{70} = \frac{100}{70} = 1.4286, \qquad
\frac{(20 - 30)^2}{30} = \frac{100}{30} = 3.3333,
$$
$$
\frac{(60 - 70)^2}{70} = 1.4286, \qquad
\frac{(40 - 30)^2}{30} = 3.3333.
$$

**Крок 3. Статистика й рішення.**

$$
\chi^2 = 1.4286 + 3.3333 + 1.4286 + 3.3333 = 9.524, \qquad
\mathrm{df} = (2 - 1)(2 - 1) = 1.
$$

Критичне значення $\chi^2_{0.05,\,1} = 3.841$. Оскільки $9.524 > 3.841$, гіпотезу
незалежності **відхиляємо**: форма навчання та результат іспиту **пов'язані**
(на очній частка тих, хто склав, вища).

> **Умови застосовності.** Критерій наближений і надійний, коли **очікувані**
> частоти достатньо великі — практичне правило: $E_{ij} \ge 5$ у всіх клітинках.
> Для таблиць $2 \times 2$ програмні пакети часто застосовують **поправку Єйтса**
> (неперервності), яка трохи зменшує $\chi^2$; щоб відтворити «формульне» значення
> $\sum (O - E)^2 / E$, у `scipy.stats.chi2_contingency` вимикають поправку
> (`correction=False`).

> **Типова помилка (частоти, а не частки).** $\chi^2$ рахують **лише за
> абсолютними частотами** (кількостями). Підставляти у формулу відсотки чи
> ймовірності не можна — результат втратить зв'язок з обсягом вибірки $N$ і буде
> беззмістовним.

---

## 5.6 Залежності в кількісних даних. Діаграма розсіювання

Коли обидві змінні **кількісні**, перший крок аналізу — **діаграма розсіювання**
(*scatter plot*): кожну пару $(x_i, y_i)$ зображують точкою на площині ($X$ — по
горизонталі, $Y$ — по вертикалі). Оком з діаграми зчитують:

- **напрям** — зростає $Y$ з $X$ (додатній зв'язок) чи спадає (від'ємний);
- **силу** — наскільки щільно точки лягають уздовж уявної лінії;
- **форму** — лінійна залежність чи криволінійна;
- **викиди** — окремі точки, що різко вибиваються із загальної картини.

Діаграма розсіювання — обов'язкова передумова кореляційно-регресійного аналізу:
вона показує, чи взагалі доречна **лінійна** модель (згадайте Приклад 5.1, де
зв'язок є, але він не лінійний).

---

## 5.7 Вибірковий коефіцієнт кореляції

Діаграма дає якісне враження; коефіцієнт кореляції перетворює його на число.

![Чотири діаграми розсіювання з різними значеннями коефіцієнта кореляції: сильна додатна r≈0.96, помірна додатна r≈0.48, відсутність зв'язку r≈0.01 та сильна від'ємна r≈−0.88](img/l05_correlation_types.png)

> **Означення (вибірковий коефіцієнт кореляції Пірсона).**
> $$ r = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}
> {\sqrt{\sum_{i=1}^{n} (x_i - \bar{x})^2 \; \sum_{i=1}^{n} (y_i - \bar{y})^2}}. $$

Чисельник — це (з точністю до множника $1/n$) **коваріація**, а знаменник
нормує її на розкиди обох змінних, тож $r$ **безрозмірний**.

**Властивості.** $-1 \le r \le 1$; знак показує напрям зв'язку; $|r| = 1$ —
точний лінійний зв'язок (усі точки на одній прямій); $r = 0$ — лінійного зв'язку
немає. Орієнтовна шкала сили:

| $|r|$ | Сила лінійного зв'язку |
|:--:|---|
| $0.0$–$0.3$ | дуже слабкий / відсутній |
| $0.3$–$0.5$ | слабкий |
| $0.5$–$0.7$ | помірний |
| $0.7$–$0.9$ | сильний |
| $0.9$–$1.0$ | дуже сильний |

Для ручних обчислень зручніша алгебраїчно **рівносильна** форма через суми
(без попереднього віднімання середніх):

$$
r = \frac{n \sum x_i y_i - \sum x_i \sum y_i}
{\sqrt{\big[n \sum x_i^2 - (\sum x_i)^2\big]\big[n \sum y_i^2 - (\sum y_i)^2\big]}}.
$$

> **Значущість кореляції.** Навіть за відсутності зв'язку в генеральній сукупності
> вибірковий $r$ рідко дорівнює точно нулю. Значущість перевіряють статистикою
> $$ t = r\,\sqrt{\frac{n - 2}{1 - r^2}}, \qquad \mathrm{df} = n - 2, $$
> порівнюючи $|t|$ з критичним $t_{\alpha/2,\,n-2}$ (розподіл Стьюдента,
> [Лекція 2](DA-L02.md)). Це та сама логіка перевірки гіпотез, що й у
> [Лекції 4](DA-L04.md), з $H_0\!: r = 0$.

---

## 5.8 Основа регресійного аналізу. Метод найменших квадратів

Кореляція вимірює **силу** зв'язку; регресія задає його **форму** — рівняння, за
яким прогнозують $Y$.

> **Означення (проста лінійна регресія).** **Лінійною регресійною моделлю**
> називають $\hat{y} = b_0 + b_1 x$, де $b_1$ — **коефіцієнт нахилу** (на скільки
> в середньому змінюється $Y$ зі зростанням $X$ на одиницю), $b_0$ — **вільний
> член** (значення $\hat{y}$ при $x = 0$). Різницю $e_i = y_i - \hat{y}_i$ між
> фактом і прогнозом називають **залишком** (*residual*).

**Метод найменших квадратів** (*ordinary least squares, OLS*) обирає пряму, що
**мінімізує суму квадратів залишків** $\sum e_i^2 = \sum (y_i - b_0 - b_1 x_i)^2$.
Прирівнявши частинні похідні за $b_0, b_1$ до нуля, дістають **єдиний** розв'язок:

$$
b_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2},
\qquad
b_0 = \bar{y} - b_1 \bar{x}.
$$

Формула для $b_0$ означає, що пряма регресії завжди проходить через **центр**
даних $(\bar{x}, \bar{y})$. Нахил $b_1$ і кореляція $r$ пов'язані:
$b_1 = r \cdot s_y / s_x$ — тому знаки $b_1$ і $r$ завжди збігаються.

Усі величини обчислюють **за один прохід** по даних, накопичуючи п'ять сум:

```
Вхід: пари (x_1, y_1), …, (x_n, y_n)
n ← 0; Sx ← 0; Sy ← 0; Sxy ← 0; Sxx ← 0; Syy ← 0
для кожної пари (x, y):
    n ← n + 1
    Sx ← Sx + x;   Sy ← Sy + y
    Sxy ← Sxy + x*y
    Sxx ← Sxx + x*x;  Syy ← Syy + y*y
Dxy ← n*Sxy − Sx*Sy
Dxx ← n*Sxx − Sx*Sx
Dyy ← n*Syy − Sy*Sy
r  ← Dxy / sqrt(Dxx * Dyy)
b1 ← Dxy / Dxx
b0 ← (Sy − b1*Sx) / n
R2 ← r*r                      // для простої лінійної регресії
Вихід: r, b0, b1, R2
```

**Приклад 5.5 (побудова регресії).** Досліджують зв'язок між кількістю годин
підготовки $X$ та балом за тест $Y$ для $n = 6$ студентів. Складемо **розрахункову
таблицю**:

| $x_i$ | $y_i$ | $x_i y_i$ | $x_i^2$ | $y_i^2$ |
|:--:|:--:|:--:|:--:|:--:|
| 2 | 35 | 70 | 4 | 1225 |
| 4 | 45 | 180 | 16 | 2025 |
| 5 | 48 | 240 | 25 | 2304 |
| 6 | 58 | 348 | 36 | 3364 |
| 8 | 72 | 576 | 64 | 5184 |
| 9 | 78 | 702 | 81 | 6084 |
| **$\sum$** | | | | |
| **34** | **336** | **2116** | **226** | **20186** |

Тут $n = 6$, $\bar{x} = 34/6 \approx 5.667$, $\bar{y} = 336/6 = 56$. Проміжні
величини:

$$
n\sum x y - \sum x \sum y = 6 \cdot 2116 - 34 \cdot 336 = 12\,696 - 11\,424 = 1272,
$$
$$
n\sum x^2 - (\sum x)^2 = 6 \cdot 226 - 34^2 = 1356 - 1156 = 200,
$$
$$
n\sum y^2 - (\sum y)^2 = 6 \cdot 20\,186 - 336^2 = 121\,116 - 112\,896 = 8220.
$$

Тоді

$$
b_1 = \frac{1272}{200} = 6.36, \qquad b_0 = 56 - 6.36 \cdot 5.667 = 19.96,
$$
$$
r = \frac{1272}{\sqrt{200 \cdot 8220}} = \frac{1272}{1282.2} = 0.9921.
$$

**Рівняння регресії:** $\hat{y} = 19.96 + 6.36\,x$. Кожна додаткова година
підготовки додає в середньому $\approx 6.4$ бала. **Прогноз** для $x = 7$ годин:
$\hat{y} = 19.96 + 6.36 \cdot 7 = 64.5$ бала.

![Діаграма розсіювання балів за тест від годин підготовки з лінією регресії найменших квадратів ŷ = 19.96 + 6.36·x, позначеним центром даних та R^2 = 0.984](img/l05_scatter_regression.png)

**Значущість.** $t = 0.9921\sqrt{4 / (1 - 0.9921^2)} = 15.77$; критичне
$t_{0.025,\,4} = 2.776$. Оскільки $15.77 > 2.776$, кореляція **значуща**.

> **Типова помилка (екстраполяція).** Рівняння $\hat{y} = b_0 + b_1 x$ надійне
> лише в **межах діапазону** спостережуваних $x$. Підставляти значення далеко за
> межами вибірки (напр., $x = 0$, коли всі дані мають $x \ge 2$) — ризиковано:
> модель там не перевірена, а $b_0$ може навіть не мати змістовної інтерпретації.

---

## 5.9 Коефіцієнт детермінації та дисперсійний аналіз

Наскільки добре пряма описує дані? Відповідь дає **розклад суми квадратів**.
Загальний розкид $Y$ навколо середнього розпадається на дві частини — пояснену
регресією та залишкову:

$$
\underbrace{\sum (y_i - \bar{y})^2}_{\text{SST — повна}}
= \underbrace{\sum (\hat{y}_i - \bar{y})^2}_{\text{SSR — пояснена}}
+ \underbrace{\sum (y_i - \hat{y}_i)^2}_{\text{SSE — залишкова}}.
$$

- **SST** (*total sum of squares*) — уся варіація $Y$;
- **SSR** (*regression*) — варіація, яку **пояснює** модель;
- **SSE** (*error*) — варіація залишків, яку модель **не пояснює**.

![Геометричний розклад відхилення точки від середнього на пояснену частину (від середнього до лінії регресії) та залишкову (від лінії до точки) — основа розкладу SST = SSR + SSE](img/l05_anova.png)

> **Означення (коефіцієнт детермінації).** Частка поясненої варіації
> $$ R^2 = \frac{\text{SSR}}{\text{SST}} = 1 - \frac{\text{SSE}}{\text{SST}}, \qquad 0 \le R^2 \le 1. $$
> Для **простої лінійної регресії** $R^2 = r^2$.

**Приклад 5.6 (продовження 5.5).** Для тієї самої моделі
$\text{SST} = (n\sum y^2 - (\sum y)^2)/n = 8220/6 = 1370$. Обчисливши прогнози
$\hat{y}_i$ та залишки, дістаємо $\text{SSR} = 1348.32$ і $\text{SSE} = 21.68$
(перевірка: $1348.32 + 21.68 = 1370 = \text{SST}$). Тоді

$$
R^2 = \frac{1348.32}{1370} = 0.9842 = r^2 = 0.9921^2.
$$

Модель пояснює **98.4 %** розкиду балів — години підготовки майже повністю
визначають результат. Так $R^2$ стає **мірою якості** підгонки: що ближчий до 1,
то щільніше точки лягають на пряму.

![Графік залишків регресії: вертикальні відрізки від нуля до кожного залишку; залишки невеликі й безсистемно розкидані навколо нуля, що свідчить про адекватність лінійної моделі](img/l05_residuals.png)

---

## 5.10 Залежність кількісного від якісного. Фіктивні змінні

Що робити, коли предиктор **якісний** (стать, регіон, тип пристрою)? Категорію не
можна прямо помножити на $b_1$. Розв'язок — **фіктивна (індикаторна) змінна**.

> **Означення (фіктивна змінна).** **Фіктивна змінна** (*dummy variable*) $D$
> кодує наявність категорії числами $0$ та $1$: $D = 1$, якщо об'єкт належить
> категорії, і $D = 0$ інакше.

У моделі $\hat{y} = b_0 + b_1 D$ коефіцієнт $b_0$ дорівнює середньому $Y$ у
**базовій** групі ($D = 0$), а $b_1$ — **різниці середніх** між групами.

![Дві групи точок при значеннях фіктивної змінної d = 0 та d = 1; пряма з'єднує середні груп: вільний член дорівнює середньому базової групи, а нахил — різниці середніх між групами](img/l05_dummy.png)

**Приклад 5.7.** Порівнюють зарплату у двох відділах. Кодуємо відділ як $D$
($0$ — відділ A, $1$ — відділ B). Нехай середні зарплати $40$ і $50$ тис. Регресія
$Y$ на $D$ дає $b_0 = 40$ (середнє в A) та $b_1 = 10$ (наскільки B у середньому
вище), тобто $\hat{y} = 40 + 10 D$.

Для якісної змінної з $k$ категоріями беруть **$k - 1$** фіктивних змінних (одна
категорія лишається базовою). Брати всі $k$ не можна:

> **Типова помилка (пастка фіктивних змінних).** Якщо ввести фіктивні змінні для
> **всіх** $k$ категорій разом із вільним членом, їхня сума тотожно дорівнює $1$ —
> виникає **повна колінеарність** (*dummy variable trap*), і коефіцієнти
> визначити неможливо. Завжди лишайте одну категорію **базовою**.

Фіктивні змінні поєднують кількісні та якісні предиктори в одній моделі й ведуть
до **множинної регресії** та методів класифікації [Лекції 6](DA-L06.md).

---

## Застосування в аналітиці даних

- **Прогнозування.** Лінійна регресія — базовий інструмент прогнозу відгуку за
  предиктором (продажі за рекламою, навантаження за кількістю користувачів).
- **Виявлення зв'язків.** Таблиці спряженості та $\chi^2$ показують, чи пов'язані
  категоріальні ознаки (канал залучення й конверсія, регіон і вибір продукту).
- **Оцінка якості моделі.** $R^2$ — стандартна метрика частки поясненої варіації;
  розклад SST $=$ SSR $+$ SSE лежить в основі дисперсійного аналізу (ANOVA).
- **Обережність з причинністю.** Кореляція та значуща регресія свідчать про
  **зв'язок**, а не про **причину**: за ним може стояти прихований третій фактор.
- **Підготовка ознак.** Кодування категорій фіктивними змінними — обов'язковий
  крок перед подачею даних у більшість моделей машинного навчання.

## Підсумок

- **Двовимірна вибірка** — пари $(x_i, y_i)$; $X$ — незалежна змінна, $Y$ —
  залежна. Види незалежності за спаданням сили: повна $\Rightarrow$ за сподіванням
  $\Rightarrow$ некорельованість; зворотне не так ($Y = X^2$ дає $r = 0$).
- Для **якісних** змінних будують **таблицю спряженості**; спільні, граничні та
  умовні ймовірності описують зв'язок. Незалежність $\iff$ умовний розподіл
  дорівнює граничному.
- **Очікувані частоти** за незалежності: $E_{ij} = (\text{рядок}_i)(\text{стовпець}_j)/N$.
- **Критерій Пірсона:** $\chi^2 = \sum (O - E)^2 / E$, $\mathrm{df} = (r-1)(c-1)$;
  порівнюють з $\chi^2_{\alpha,\,\mathrm{df}}$.
- Для **кількісних** змінних: **діаграма розсіювання**, **коефіцієнт кореляції**
  $r \in [-1, 1]$ (лише лінійний зв'язок).
- **Метод найменших квадратів:**
  $b_1 = \frac{\sum (x - \bar{x})(y - \bar{y})}{\sum (x - \bar{x})^2}$,
  $b_0 = \bar{y} - b_1 \bar{x}$; пряма проходить через $(\bar{x}, \bar{y})$.
- **Якість:** SST $=$ SSR $+$ SSE; $R^2 = \text{SSR}/\text{SST}$; для простої
  лінійної регресії $R^2 = r^2$.
- **Фіктивні змінні** кодують якісний предиктор ($0/1$); для $k$ категорій —
  $k - 1$ змінних (уникайте пастки колінеарності).

## Вправи

### Для розігріву

1. Поясніть різницю між незалежною ($X$) та залежною ($Y$) змінними на власному
   прикладі. Хто задає цей поділ?
2. Чому з $r = 0$ **не** випливає незалежність змінних? Наведіть приклад.
3. Для таблиці спряженості $3 \times 4$ обчисліть число ступенів свободи
   критерію $\chi^2$.
4. Кореляція між зростом і вагою дорівнює $r = 0.8$. Що можна сказати про силу та
   напрям зв'язку? Скільки відсотків варіації ваги пояснює лінійна модель?

### Стандартні

5. У таблиці спряженості $2 \times 2$ маємо частоти
   $\begin{smallmatrix} 30 & 10 \\ 20 & 40 \end{smallmatrix}$. Обчисліть очікувані
   частоти, статистику $\chi^2$ та порівняйте з $\chi^2_{0.05,\,1} = 3.841$.
   Зробіть висновок про незалежність.
6. Для вибірки $(1, 3), (2, 4), (3, 7), (4, 8), (5, 8)$ обчисліть $r$, рівняння
   регресії $\hat{y} = b_0 + b_1 x$ та $R^2$. Спрогнозуйте $y$ при $x = 6$.
7. Доведіть, що пряма найменших квадратів проходить через точку
   $(\bar{x}, \bar{y})$, виходячи з формули $b_0 = \bar{y} - b_1 \bar{x}$.
8. Поясніть зміст SST, SSR і SSE. Що означає $R^2 = 0.4$ для якості моделі?

### Підвищеної складності

9. Виведіть формули методу найменших квадратів, мінімізуючи
   $S(b_0, b_1) = \sum (y_i - b_0 - b_1 x_i)^2$ (прирівняйте частинні похідні
   $\partial S / \partial b_0$ та $\partial S / \partial b_1$ до нуля).
10. Доведіть тотожність $R^2 = r^2$ для простої лінійної регресії, скориставшись
    зв'язком $b_1 = r\, s_y / s_x$ та означеннями SSR і SST.
11. Якісна змінна має $4$ категорії. Скільки фіктивних змінних потрібно й чому не
    можна взяти всі чотири разом із вільним членом? Опишіть, як інтерпретувати
    коефіцієнти отриманої моделі.
12. Поясніть, чому статистично значуща кореляція не доводить причинного зв'язку.
    Наведіть приклад **удаваної кореляції** (spurious correlation) через
    прихований третій фактор.