已知两个特征值求第三个投影求第三个投影

来源：蜘蛛抓取(WebSpider) 时间：2018-05-17 08:15 标签： 已知两个特征值求第三个

为什么要进行数据降维？因为实际情况中我们的训练数据会存在特征过多或者是特征累赘的问题，比如：

一个关于汽车的样本数据，一个特征是”km/h的最大速度特征“，另一个是”英里每小时“的最大速度特征，很显然这两个特征具有很强的相关性拿到一个样本，特征非常多，样本缺很少，这样的数据用回归去你和将非常困难，很容易导致过度拟合精彩内容，尽在百度攻略：

PCA算法就是用来解决这种问题的，其核心思想就是将 n 维特征映射到 k 维上（k < n），这 k 维是全新的正交特征。我们将这 k 维成为主元，是重新构造出来的 k 维特征，而不是简单地从 n 维特征中取出其余 n-k 维特征。

假设我们得到 2 维数据如下：

精彩内容，尽在百度攻略：

其中行代表样例，列代表特征，这里有10个样例，每个样例有2个特征，我们假设这两个特征是具有较强的相关性，需要我们对其进行降维的。

第一步：分别求 x 和 y 的平均值，然后对所有的样例都减去对应的均值

这里求得 x 的均值为

注意，此时我们一般应该在对特征进行方差归一化，目的是让每个特征的权重都一样，但是由于我们的数据的值都比较接近，所以归一化这步可以忽略不做

第一步的算法步骤如下：精彩内容，尽在百度攻略：

本例中步骤3、4没有做。

第二步：求特征协方差矩阵精彩内容，尽在百度攻略：

第三步：求解协方差矩阵的特征值和特征向量精彩内容，尽在百度攻略：

第四步：将特征值从大到小进行排序，选择其中最大的 k 个，然后将其对应的 k 个特征向量分别作为列向量组成特征矩阵

这里的特征值只有两个，我们选择最大的那个，为：

注意：matlab 的 eig 函数求解协方差矩阵的时候，返回的特征值是一个特征值分布在对角线的对角矩阵，第 i 个特征值对应于第 i 列的特征向量

第五步： 将样本点投影到选取的特征向量上精彩内容，尽在百度攻略：

得到的结果是：精彩内容，尽在百度攻略：

这样，我们就将 n 维特征降成了 k 维，这 k 维就是原始特征在 k 维上的投影。

整个PCA的过程貌似很简单，就是求协方差的特征值和特征向量，然后做数据转换。但为什么协方差的特征向量就是最理想的 k 维向量？这个问题由PCA的理论基础来解释。精彩内容，尽在百度攻略：

关于为什么协方差的特征向量就是 k 维理想特征，有3个理论，分别是：

最大方差理论最小错误理论坐标轴相关度理论

这里简单描述下最大方差理论：精彩内容，尽在百度攻略：

信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。因此我们认为，最好的 k 为特征既是将 n 维样本点转换为 k 维后，每一维上的样本方差都很大

PCA 处理图解如下：

精彩内容，尽在百度攻略：

上图中的直线就是我们选取的特征向量，上面实例中PCA的过程就是将空间的2维的点投影到直线上。精彩内容，尽在百度攻略：

那么问题来了，两幅图都是PCA的结果，哪一幅图比较好呢？

根据最大方差理论，答案是左边的图，其实也就是样本投影后间隔较大，容易区分。

其实从另一个角度看，左边的图每个点直线上的距离绝对值之和比右边的每个点到直线距离绝对值之和小，是不是有点曲线回归的感觉？其实从这个角度看，这就是最小误差理论：选择投影后误差最小的直线。精彩内容，尽在百度攻略：

再回到上面的左图，也就是我们要求的最佳的 u ，前面说了，最佳的 u 也就是最佳的曲线，它能够使投影后的样本方差最大或者是误差最小。

另外，由于我们前面PCA算法第一步的时候已经执行对样本数据的每一维求均值，并让每个数据减去均值的预处理了，所以每个特征现在的均值都为0，投影到特征向量上后，均值也为

最后的等式中中间的那部分其实就是样本方差的协方差矩阵（xi 的均值为 0）

由于 u 是单位向量，得到

精彩内容，尽在百度攻略：

上式两边痛乘以 u，得到：

精彩内容，尽在百度攻略：

最佳投影直线就是特征值 λ 最大是对应的特征向量，其次是 λ 第二大对应的特征向量（求解的到的特征向量都是正交的）。其中 λ 就是我们的方差，也对应了我们前面的最大方差理论，也就是找到能够使投影后方差最大的直线。精彩内容，尽在百度攻略：

专业文档是百度文库认证用户/机构上传的专业性文档，文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“专业文档”标识的文档便是该类文档。

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取，非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档。

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取，非会员用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档。

付费文档是百度文库认证用户/机构上传的专业性文档，需要文库用户支付人民币获取，具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档。

共享文档是百度文库用户免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定。只要带有以下“共享文档”标识的文档便是该类文档。

我要回帖

更多关于 已知两个特征值求第三个 的文章

 

随机推荐