2. Методичні вказівки #

Цей розділ самодостатній: у ньому зібрано теорію кореляції, лінійної регресії та критерію $\chi^2$, потрібну для аудиторних задач (3classroom.md) і домашньої програми (4task.md). Ширше ту саму теорію викладено в Лекції 5.

2.1 Двовимірна вибірка #

Двовимірна вибірка — це $n$ пар $(x_i, y_i)$, виміряних на одному об’єкті. У парі $X$ — незалежна змінна (предиктор), $Y$ — залежна (відгук). Мета: з’ясувати, чи є зв’язок, виміряти його силу й задати форму для прогнозу $Y$ за $X$.

2.2 Вибірковий коефіцієнт кореляції #

Коефіцієнт кореляції Пірсона вимірює силу й напрям лінійного зв’язку:

$$r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})} {\sqrt{\sum (x_i - \bar{x})^2 \; \sum (y_i - \bar{y})^2}}.$$

Для ручних обчислень зручніша рівносильна форма через суми (розрахункова таблиця з колонками $x$, $y$, $xy$, $x^2$, $y^2$):

$$r = \frac{n \sum xy - \sum x \sum y} {\sqrt{\big[n \sum x^2 - (\sum x)^2\big]\big[n \sum y^2 - (\sum y)^2\big]}}.$$

Властивості: $-1 \le r \le 1$; знак задає напрям; $|r| = 1$ — точний лінійний зв’язок; $r = 0$ — лінійного зв’язку немає (але нелінійний може бути). Орієнтовна шкала сили: $|r| < 0.3$ — дуже слабкий; $0.3$–$0.5$ — слабкий; $0.5$–$0.7$ — помірний; $0.7$–$0.9$ — сильний; $> 0.9$ — дуже сильний.

Значущість. Перевіряють статистикою

$$t = r\,\sqrt{\frac{n - 2}{1 - r^2}}, \qquad \mathrm{df} = n - 2,$$

порівнюючи $|t|$ з критичним $t_{\alpha/2,\,n-2}$: якщо $|t| > t_{\text{кр}}$, кореляція значуща (відмінна від нуля).

2.3 Лінійна регресія (метод найменших квадратів) #

Модель: $\hat{y} = b_0 + b_1 x$, де $b_1$ — нахил, $b_0$ — вільний член. Метод найменших квадратів мінімізує суму квадратів залишків $\sum (y_i - \hat{y}_i)^2$ і дає

$$b_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{n \sum xy - \sum x \sum y}{n \sum x^2 - (\sum x)^2}, \qquad b_0 = \bar{y} - b_1 \bar{x}.$$

Пряма завжди проходить через центр даних $(\bar{x}, \bar{y})$. Знаки $b_1$ і $r$ збігаються.

2.4 Коефіцієнт детермінації #

Розклад суми квадратів відхилень:

$$\underbrace{\sum (y_i - \bar{y})^2}_{\text{SST}} = \underbrace{\sum (\hat{y}_i - \bar{y})^2}_{\text{SSR}} + \underbrace{\sum (y_i - \hat{y}_i)^2}_{\text{SSE}}.$$

Коефіцієнт детермінації — частка поясненої варіації:

$$R^2 = \frac{\text{SSR}}{\text{SST}} = 1 - \frac{\text{SSE}}{\text{SST}}, \qquad 0 \le R^2 \le 1.$$

Для простої лінійної регресії $R^2 = r^2$ — це зручний спосіб перевірки.

2.5 Таблиця спряженості та критерій $\chi^2$ #

Для двох якісних змінних будують таблицю спряженості розміру $r \times c$ зі спостережуваними частотами $O_{ij}$. За припущення незалежності очікувані частоти

$$E_{ij} = \frac{(\text{сума рядка}_i)\,(\text{сума стовпця}_j)}{N}.$$

Статистика Пірсона та число ступенів свободи:

$$\chi^2 = \sum_{i, j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}}, \qquad \mathrm{df} = (r - 1)(c - 1).$$

Якщо $\chi^2 > \chi^2_{\alpha,\,\mathrm{df}}$ (критичне значення), гіпотезу незалежності відхиляють — змінні пов’язані. Практичне правило застосовності: $E_{ij} \ge 5$ у всіх клітинках.

2.6 Демонстраційний приклад (на інших даних, ніж у задачах) #

(а) Кореляція та регресія. Нехай $n = 5$ пар:

Тут $\bar{x} = 15/5 = 3$, $\bar{y} = 27/5 = 5.4$. Проміжні величини:

$$n\sum xy - \sum x \sum y = 5 \cdot 93 - 15 \cdot 27 = 465 - 405 = 60,$$

$$n\sum x^2 - (\sum x)^2 = 5 \cdot 55 - 15^2 = 275 - 225 = 50,$$

$$n\sum y^2 - (\sum y)^2 = 5 \cdot 163 - 27^2 = 815 - 729 = 86.$$

Отже,

$$b_1 = \frac{60}{50} = 1.2, \qquad b_0 = 5.4 - 1.2 \cdot 3 = 1.8,$$

$$r = \frac{60}{\sqrt{50 \cdot 86}} = \frac{60}{65.57} = 0.915.$$

Рівняння регресії: $\hat{y} = 1.8 + 1.2\,x$. Прогнози $\hat{y} = 3.0,\ 4.2,\ 5.4,\ 6.6,\ 7.8$; залишки малі. Розклад варіації: $\text{SST} = 86/5 = 17.2$, $\text{SSR} = 14.4$, $\text{SSE} = 2.8$ (перевірка: $14.4 + 2.8 = 17.2$), тож

$$R^2 = \frac{14.4}{17.2} = 0.837 = r^2 = 0.915^2.$$

Кореляція сильна ($r = 0.915$), модель пояснює $\approx 84\,\%$ розкиду $Y$.

(б) Критерій $\chi^2$. Нехай таблиця спряженості $2 \times 2$ ($N = 100$):

Очікувані частоти $E_{ij} = (\text{рядок}_i)(\text{стовпець}_j)/N$:

$$E_{11} = \frac{50 \cdot 60}{100} = 30, \quad E_{12} = 20, \quad E_{21} = 30, \quad E_{22} = 20.$$

Внески клітинок і статистика:

$$\chi^2 = \frac{(38 - 30)^2}{30} + \frac{(12 - 20)^2}{20} + \frac{(22 - 30)^2}{30} + \frac{(28 - 20)^2}{20} = 2.133 + 3.2 + 2.133 + 3.2 = 10.667.$$

$\mathrm{df} = (2-1)(2-1) = 1$; критичне $\chi^2_{0.05,\,1} = 3.841$. Оскільки $10.667 > 3.841$, гіпотезу незалежності відхиляємо — змінні пов’язані.

2.7 Робочий контрольний список #

• Спершу побудуйте розрахункову таблицю ($x$, $y$, $xy$, $x^2$, $y^2$) і знайдіть п’ять сум — далі все зводиться до підстановки у формули.
• Обчисліть $r$, потім $b_1$ і $b_0$; перевірте, що знаки $r$ і $b_1$ збігаються.
• Для $R^2$ скористайтесь рівністю $R^2 = r^2$ (проста лінійна регресія) як швидкою перевіркою розкладу SST $=$ SSR $+$ SSE.
• Для $\chi^2$ спершу випишіть усі очікувані частоти $E_{ij}$ і переконайтесь, що їхні суми по рядках/стовпцях збігаються зі спостережуваними.
• Порівнюйте $\chi^2$ саме з $\chi^2_{\alpha,\,\mathrm{df}}$ при правильному $\mathrm{df} = (r-1)(c-1)$, а не з фіксованим числом.

Laboratory/Laboratory5/2method.md · 7.8 KB · updated 2026-08-04 23:15