3. Аудиторні задачі з розв’язаннями #

Ці задачі розбирають в аудиторії «руками». Вони показують ті самі обчислення, які потім автоматизує домашня програма (4task.md). Теорія й формули — у методичних вказівках. Усі три задачі працюють з одним малим набором, поступово проходячи повний цикл PCA.

Наскрізний набір даних. П’ять об’єктів із двома числовими ознаками:

Задача 1. Коваріаційна матриця #

Знайти коваріаційну матрицю $\Sigma$ цього набору (дільник $n - 1$).

Розв’язання. Спершу центруємо дані. Середні:

$$\bar{x} = \frac{2+3+4+5+6}{5} = 4, \qquad \bar{y} = \frac{3+6+5+4+7}{5} = 5.$$

Відхилення $(x_i - 4,\ y_i - 5)$:

$$(-2, -2),\ (-1, 1),\ (0, 0),\ (1, -1),\ (2, 2).$$

Суми квадратів і добутків (дільник $n - 1 = 4$):

$$\sum (x_i-\bar x)^2 = 4 + 1 + 0 + 1 + 4 = 10 \ \Rightarrow\ s_X^2 = \tfrac{10}{4} = 2.5,$$

$$\sum (y_i-\bar y)^2 = 4 + 1 + 0 + 1 + 4 = 10 \ \Rightarrow\ s_Y^2 = \tfrac{10}{4} = 2.5,$$

$$\sum (x_i-\bar x)(y_i-\bar y) = 4 - 1 + 0 - 1 + 4 = 6 \ \Rightarrow\ \operatorname{cov}(X,Y) = \tfrac{6}{4} = 1.5.$$

$$\boxed{\ \Sigma = \begin{pmatrix} 2.5 & 1.5 \\ 1.5 & 2.5 \end{pmatrix}\ }, \qquad \operatorname{tr}\Sigma = 5.$$

Відповідь: $\Sigma = \begin{pmatrix} 2.5 & 1.5 \\ 1.5 & 2.5 \end{pmatrix}$; матриця симетрична, загальна дисперсія даних $\operatorname{tr}\Sigma = 5$.

Задача 2. Власні значення й власні вектори #

Знайти власні значення й нормовані власні вектори матриці $\Sigma$ із Задачі 1 через характеристичне рівняння.

Розв’язання. Характеристичне рівняння $\det(\Sigma - \lambda I) = 0$:

$$\det \begin{pmatrix} 2.5 - \lambda & 1.5 \\ 1.5 & 2.5 - \lambda \end{pmatrix} = (2.5 - \lambda)^2 - 1.5^2 = 0.$$

Звідси $2.5 - \lambda = \pm 1.5$, тобто

$$\lambda_1 = 4, \qquad \lambda_2 = 1.$$

Контроль: $\lambda_1 + \lambda_2 = 5 = \operatorname{tr}\Sigma$; $\ \lambda_1 \lambda_2 = 4 = \det\Sigma = 2.5^2 - 1.5^2 = 6.25 - 2.25$.

Власний вектор для $\lambda_1 = 4$: розв’язуємо $(\Sigma - 4I)v = 0$:

$$\begin{pmatrix} -1.5 & 1.5 \\ 1.5 & -1.5 \end{pmatrix} v = 0 \ \Rightarrow\ -1.5 v_1 + 1.5 v_2 = 0 \ \Rightarrow\ v_1 = v_2.$$

Беремо $(1, 1)$ і нормуємо: $v_1 = \dfrac{1}{\sqrt2}(1, 1) \approx (0.707, 0.707)$.

Власний вектор для $\lambda_2 = 1$: $(\Sigma - I)v = 0$:

$$\begin{pmatrix} 1.5 & 1.5 \\ 1.5 & 1.5 \end{pmatrix} v = 0 \ \Rightarrow\ v_1 + v_2 = 0 \ \Rightarrow\ v_2 = \dfrac{1}{\sqrt2}(1, -1).$$

Перевірка ортогональності: $(1, 1) \cdot (1, -1) = 0$.

Відповідь: $\lambda_1 = 4$ з $v_1 = \frac{1}{\sqrt2}(1, 1)$ (перша головна компонента); $\lambda_2 = 1$ з $v_2 = \frac{1}{\sqrt2}(1, -1)$. (Ті самі числа дає numpy.linalg.eigh: власні значення $1$ і $4$, вектори $(\mp 0.707, \pm 0.707)$ та $(0.707, 0.707)$.)

Задача 3. Проєкція на 1-шу компоненту й частка поясненої дисперсії #

Спроєктувати точки на першу головну компоненту $v_1 = \frac{1}{\sqrt2}(1, 1)$ і знайти частку поясненої дисперсії.

Розв’язання. Проєкція центрованого об’єкта: $t_i = v_1^{\top}(x_i - \bar{x}) = \dfrac{(x_i - 4) + (y_i - 5)}{\sqrt2}$.

Дисперсія проєкцій (дільник $n - 1 = 4$): середнє $t_i$ дорівнює $0$, тож

$$\operatorname{Var}(t) = \frac{1}{4}\left( \frac{16}{2} + 0 + 0 + 0 + \frac{16}{2} \right) = \frac{16}{4} = 4 = \lambda_1,$$

що підтверджує: дисперсія вздовж першої компоненти дорівнює її власному значенню.

Частка поясненої дисперсії першої компоненти:

$$\frac{\lambda_1}{\lambda_1 + \lambda_2} = \frac{4}{4 + 1} = \frac{4}{5} = 0.8.$$

Відповідь: проєкції на 1-шу компоненту — $\{-2.828,\ 0,\ 0,\ 0,\ 2.828\}$; одна головна компонента зберігає $80\%$ загального розкиду даних (друга компонента — решту $20\%$).

Зв’язок із домашнім завданням. Саме ці кроки — центрувати дані, обчислити коваріаційну матрицю, знайти власні значення/вектори, спроєктувати точки й оцінити частку поясненої дисперсії — виконуватиме ваша програма для довільного файлу CSV (4task.md). Цей набір із п’яти точок — зручний тест: подайте його на вхід і переконайтесь, що програма повертає $\Sigma$ з діагоналлю $2.5$ і коваріацією $1.5$, власні значення $4$ та $1$ і частку поясненої дисперсії 1-ї компоненти $0.8$.

Laboratory/Laboratory13/3classroom.md · 6.5 KB · updated 2026-08-05 09:44