# 3. Аудиторні задачі з розв'язаннями

Ці задачі розбирають **в аудиторії «руками»**. Вони показують ті самі обчислення,
які потім автоматизує домашня програма ([4task.md](4task.md)). Теорія й формули —
у [методичних вказівках](2method.md). Усі три задачі працюють з **одним** малим
набором, поступово проходячи повний цикл PCA.

**Наскрізний набір даних.** П'ять об'єктів із двома числовими ознаками:

| № | $x$ | $y$ |
|:--:|:--:|:--:|
| 1 | 2 | 3 |
| 2 | 3 | 6 |
| 3 | 4 | 5 |
| 4 | 5 | 4 |
| 5 | 6 | 7 |

## Задача 1. Коваріаційна матриця

**Знайти** коваріаційну матрицю $\Sigma$ цього набору (дільник $n - 1$).

**Розв'язання.** Спершу **центруємо** дані. Середні:

$$ \bar{x} = \frac{2+3+4+5+6}{5} = 4, \qquad \bar{y} = \frac{3+6+5+4+7}{5} = 5. $$

Відхилення $(x_i - 4,\ y_i - 5)$:

$$ (-2, -2),\ (-1, 1),\ (0, 0),\ (1, -1),\ (2, 2). $$

Суми квадратів і добутків (дільник $n - 1 = 4$):

$$ \sum (x_i-\bar x)^2 = 4 + 1 + 0 + 1 + 4 = 10 \ \Rightarrow\ s_X^2 = \tfrac{10}{4} = 2.5, $$
$$ \sum (y_i-\bar y)^2 = 4 + 1 + 0 + 1 + 4 = 10 \ \Rightarrow\ s_Y^2 = \tfrac{10}{4} = 2.5, $$
$$ \sum (x_i-\bar x)(y_i-\bar y) = 4 - 1 + 0 - 1 + 4 = 6 \ \Rightarrow\ \operatorname{cov}(X,Y) = \tfrac{6}{4} = 1.5. $$

$$ \boxed{\ \Sigma = \begin{pmatrix} 2.5 & 1.5 \\ 1.5 & 2.5 \end{pmatrix}\ }, \qquad \operatorname{tr}\Sigma = 5. $$

**Відповідь:** $\Sigma = \begin{pmatrix} 2.5 & 1.5 \\ 1.5 & 2.5 \end{pmatrix}$;
матриця симетрична, загальна дисперсія даних $\operatorname{tr}\Sigma = 5$.

## Задача 2. Власні значення й власні вектори

**Знайти** власні значення й нормовані власні вектори матриці $\Sigma$ із Задачі 1
через характеристичне рівняння.

**Розв'язання.** Характеристичне рівняння $\det(\Sigma - \lambda I) = 0$:

$$ \det \begin{pmatrix} 2.5 - \lambda & 1.5 \\ 1.5 & 2.5 - \lambda \end{pmatrix}
= (2.5 - \lambda)^2 - 1.5^2 = 0. $$

Звідси $2.5 - \lambda = \pm 1.5$, тобто

$$ \lambda_1 = 4, \qquad \lambda_2 = 1. $$

Контроль: $\lambda_1 + \lambda_2 = 5 = \operatorname{tr}\Sigma$;
$\ \lambda_1 \lambda_2 = 4 = \det\Sigma = 2.5^2 - 1.5^2 = 6.25 - 2.25$.

**Власний вектор для $\lambda_1 = 4$:** розв'язуємо $(\Sigma - 4I)v = 0$:

$$ \begin{pmatrix} -1.5 & 1.5 \\ 1.5 & -1.5 \end{pmatrix} v = 0
\ \Rightarrow\ -1.5 v_1 + 1.5 v_2 = 0 \ \Rightarrow\ v_1 = v_2. $$

Беремо $(1, 1)$ і нормуємо: $v_1 = \dfrac{1}{\sqrt2}(1, 1) \approx (0.707, 0.707)$.

**Власний вектор для $\lambda_2 = 1$:** $(\Sigma - I)v = 0$:

$$ \begin{pmatrix} 1.5 & 1.5 \\ 1.5 & 1.5 \end{pmatrix} v = 0
\ \Rightarrow\ v_1 + v_2 = 0 \ \Rightarrow\ v_2 = \dfrac{1}{\sqrt2}(1, -1). $$

Перевірка ортогональності: $(1, 1) \cdot (1, -1) = 0$.

**Відповідь:** $\lambda_1 = 4$ з $v_1 = \frac{1}{\sqrt2}(1, 1)$ (перша головна
компонента); $\lambda_2 = 1$ з $v_2 = \frac{1}{\sqrt2}(1, -1)$. *(Ті самі числа
дає `numpy.linalg.eigh`: власні значення $1$ і $4$, вектори
$(\mp 0.707, \pm 0.707)$ та $(0.707, 0.707)$.)*

![Точки набору задачі з головними осями PC1 (лямбда 4) і PC2 (лямбда 1)](img/lab13_pc_axes.png)

## Задача 3. Проєкція на 1-шу компоненту й частка поясненої дисперсії

**Спроєктувати** точки на першу головну компоненту $v_1 = \frac{1}{\sqrt2}(1, 1)$ і
знайти **частку поясненої дисперсії**.

**Розв'язання.** Проєкція центрованого об'єкта: $t_i = v_1^{\top}(x_i - \bar{x}) = \dfrac{(x_i - 4) + (y_i - 5)}{\sqrt2}$.

| об'єкт | відхилення | $t_i = \dfrac{\Delta x + \Delta y}{\sqrt2}$ |
|:--:|:--:|:--:|
| $(2,3)$ | $(-2,-2)$ | $-4/\sqrt2 \approx -2.828$ |
| $(3,6)$ | $(-1,1)$ | $0$ |
| $(4,5)$ | $(0,0)$ | $0$ |
| $(5,4)$ | $(1,-1)$ | $0$ |
| $(6,7)$ | $(2,2)$ | $4/\sqrt2 \approx 2.828$ |

Дисперсія проєкцій (дільник $n - 1 = 4$): середнє $t_i$ дорівнює $0$, тож

$$ \operatorname{Var}(t) = \frac{1}{4}\left( \frac{16}{2} + 0 + 0 + 0 + \frac{16}{2} \right) = \frac{16}{4} = 4 = \lambda_1, $$

що підтверджує: дисперсія вздовж першої компоненти дорівнює її власному значенню.

**Частка поясненої дисперсії** першої компоненти:

$$ \frac{\lambda_1}{\lambda_1 + \lambda_2} = \frac{4}{4 + 1} = \frac{4}{5} = 0.8. $$

**Відповідь:** проєкції на 1-шу компоненту — $\{-2.828,\ 0,\ 0,\ 0,\ 2.828\}$;
одна головна компонента зберігає $80\%$ загального розкиду даних (друга компонента —
решту $20\%$).

![Проєкція точок задачі на першу головну компоненту з перпендикулярами](img/lab13_projection.png)

![Пояснена дисперсія компонент набору задачі: PC1 80 відсотків, PC2 20 відсотків](img/lab13_explained.png)

> **Зв'язок із домашнім завданням.** Саме ці кроки — центрувати дані, обчислити
> коваріаційну матрицю, знайти власні значення/вектори, спроєктувати точки й
> оцінити частку поясненої дисперсії — виконуватиме ваша програма для довільного
> файлу CSV ([4task.md](4task.md)). Цей набір із п'яти точок — зручний **тест**:
> подайте його на вхід і переконайтесь, що програма повертає $\Sigma$ з
> діагоналлю $2.5$ і коваріацією $1.5$, власні значення $4$ та $1$ і частку
> поясненої дисперсії 1-ї компоненти $0.8$.