|
|
| 第1行： |
第1行： |
| − | 这里以上文提到的
| |
| | | | |
| − | \begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}
| |
| − |
| |
| − | 为例，我们用PCA方法将这组二维数据其降到一维。
| |
| − |
| |
| − | 因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵：
| |
| − |
| |
| − | C=\frac{1}{5}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}\begin{pmatrix} -1 & -2 \\ -1 & 0 \\ 0 & 0 \\ 2 & 1 \\ 0 & 1 \end{pmatrix}=\begin{pmatrix} \frac{6}{5} & \frac{4}{5} \\ \frac{4}{5} & \frac{6}{5} \end{pmatrix}
| |
| − |
| |
| − | 然后求其特征值和特征向量，具体求解方法不再详述，可以参考相关资料。求解后特征值为：
| |
| − |
| |
| − | \lambda_1=2,\lambda_2=2/5
| |
| − |
| |
| − | 其对应的特征向量分别是：
| |
| − |
| |
| − | c_1\begin{pmatrix} 1 \\ 1 \end{pmatrix},c_2\begin{pmatrix} -1 \\ 1 \end{pmatrix}
| |
| − |
| |
| − | 其中对应的特征向量分别是一个通解，c_1和c_2可取任意实数。那么标准化后的特征向量为：
| |
| − |
| |
| − | \begin{pmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix},\begin{pmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix}
| |
| − |
| |
| − | 因此我们的矩阵P是：
| |
| − |
| |
| − | P=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}
| |
| − |
| |
| − | 可以验证协方差矩阵C的对角化：
| |
| − |
| |
| − | PCP^\mathsf{T}=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} 6/5 & 4/5 \\ 4/5 & 6/5 \end{pmatrix}\begin{pmatrix} 1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}=\begin{pmatrix} 2 & 0 \\ 0 & 2/5 \end{pmatrix}
| |
| − |
| |
| − | 最后我们用P的第一行乘以数据矩阵，就得到了降维后的表示：
| |
| − |
| |
| − | Y=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}=\begin{pmatrix} -3/\sqrt{2} & -1/\sqrt{2} & 0 & 3/\sqrt{2} & -1/\sqrt{2} \end{pmatrix}
| |
