PCA和KPCA傻傻分不清楚？戳进来教你如何区分
在格物汇之前的文章中，我们讨论了特征抽取的经典算法——主成分分析PCA与线性判别分析LDA的原理与应用场景。PCA是一种无监督的降维方法，寻找的是让数据方差最大的一种映射；LDA是一种有监督的降维方法，寻找的是让数据分类效果最好的一种映射。但是它们仍然有应用的局限性，今天我们就一起来了解下。
PCA的局限性
我们先来回顾一下PCA的降维原理：PCA试图通过旋转找到新的正交基，满足这样的两条性质：
1、最近重构性：样本点到新映射的正交基距离足够接近。
2、最大可分性：样本点在新正交基上方差最大。
最后我们推导得到：
我们只需要对协方差矩阵XX^T 进行特征值分解，得到的特征值和特征向量即是变换矩阵w的解和改主成分所解释的方差量。这样的降维方法是线性的降维方法，即从高维空间到低维空间的函数映射是线性的。然而在不少应用场景中，线性映射可能不能得到想要的结果，例如如下的例子：S型曲线的本真二维结构是其低维空间的原本形状，通过线性降维后得到的结果明显并不是我们所期望的。
核方法
我们介绍SVM的时候所介绍的核方法是一种可以进行升维来生成一些非线性的映射。这个方法我们可以同样使用在PCA降维分析中。
假设我们有一个样本集：
x1，x2……xn
假设映射函数为，那么映射到高维以后，数据变成：
类似于PCA的求解方法， XX^T经过高维映射后得到
故：
我们把λ 移动到等号左边得到：
我们令：
做一个简单的替换，得到：
代入等式1，得到：
我们在左右两边同时乘上
得到：
做一下简单的改变：
非常幸运的是，我们设计出了
是否还记得我们在SVM的核函数中曾经验证过，在低维空间计算(<x1,x2>+1)^2得到的结果与高维空间上计算
的结果相似，只是系数略有不同。因此我们也可以在此应用核方法来计算。我们在此定义核函数矩阵：
代入上面等式2，便可得到：
即
很明显，这又回到了特征值分解的问题，取K最大的d个特征值所对应的特征向量即可。
小结
我们通过将数据映射到高维以后，巧妙的构建出了
目的是为了通过在低维空间上应用核函数，计算得到跟高维空间上差不多的效果。PCA所做的是对坐标轴线性变换，即变换后的新基还是一条直线。而KPCA对坐标轴做了非线性变换，数据所映射的新基就不再是一条直线了，而是一条曲线或者曲面，如下图所示：
通过上面这个图，大家应该了解了KPCA和PCA的区别了吧？好了，本期格物汇的内容就到这里，我们下期再见。
本文作者：格创东智OT团队（转载请注明作者及来源）
分享
图片新闻
最新活动更多
-
即日-11.30免费预约申请>>> 燧石技术-红外热成像系列产品试用活动
-
11月30日立即试用>> 【有奖试用】爱德克IDEC-九大王牌安全产品
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-0120限时下载>>> 爱德克（IDEC）设备及工业现场安全解决方案
-
限时免费下载立即下载 >>> 2024“机器人+”行业应用创新发展蓝皮书
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
推荐专题
- 1 同源共创 模式革新 | 华天软件皇冠CAD（CrownCAD）2025新品发布会圆满举行
- 2 上海国际嵌入式展暨大会（embedded world China ）与多家国际知名项目达成合作
- 3 iEi威强电新品丨IMBA-AM5:工业计算的强劲引擎
- 4 史上首次，大众终于熬不住开启40亿降本计划！关3个工厂，裁员万名...
- 5 守护绿色学习空间，EK超低温热泵服务对外经济贸易大学图书馆
- 6 颜值高 有“门”道｜贝特威汽车门板内饰AI视觉检测解决方案
- 7 观众登记启动 优解制造未来，锁定2025 ITES深圳工业展
- 8 3大场景解读 | 红外热像仪赋能科研智造创新应用
- 9 揭秘：「全球知名跨境电商」构建核心竞争力的“独门绝技”是？
- 10 这个双十一，买iEi威强电就“购”了！
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论