pca降维的理论知识( 六 )


(C) 降维计算 获得降维矩阵后, 即可通过降维矩阵将样本映射到低维空间上 。降维公式如下图所示:

pca降维的理论知识

文章插图
如果是对于矩阵X 进行降维, X 是 m * n的, 那么降维后就变为 m * k 的维度, 每一行表示一个样本的特征 。
3.4 贡献率 (降维的k的值的选择) 在 这篇文章中, 很多人问了关于贡献率的问题, 这就是相当于选择k的值的大小 。也就是选择降维矩阵 U 中的特征向量的个数 。
k 越大, 也就是使用的U 中的特征向量越多, 那么导致的降维误差越小, 也就是更多的保留的原来的特征的特性 。反之亦然 。
从信息论的角度来看, 如果选择的 k 越大, 也就是系统的熵越大, 那么就可以认为保留的原来样本特征的不确定性也就越大, 就更加接近真实的样本数据 。如果 k 比较小, 那么系统的熵较小, 保留的原来的样本特征的不确定性就越少, 导致降维后的数据不够真实 。(完全是我个人的观点)
关于 k 的选择, 可以参考如下公式:
pca降维的理论知识

文章插图
上面这个公式 要求