人工智能机器学习有关算法内容，请参见公众号“科技优化生活”之前相关文章。人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下ICA算法。^_^
ICA独立成分分析是近年来出现的一种强有力的数据分析工具（Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001）。1994年由Comon给出了ICA的一个较为严格的数学定义，其思想最早是由Heranlt和Jutten于1986年提出来的。
ICA从出现到现在虽然时间不长，然而无论从理论上还是应用上，它正受到越来越多的关注，成为国内外研究的一个热点。
ICA独立成分分析是一种用来从多变量（多维）统计数据里找到隐含的因素或成分的方法，被认为是PCA主成分分析(请参见人工智能（46）)和FA因子分析的一种扩展。对于盲源分离问题，ICA是指在只知道混合信号，而不知道源信号、噪声以及混合机制的情况下，分离或近似地分离出源信号的一种分析过程。
ICA算法概念：
ICA（IndependentComponent Analysis）独立成分分析是一门统计技术，用于发现存在于随机变量下的隐性因素。ICA为给观测数据定义了一个生成模型。在这个模型中，其认为数据变量是由隐性变量，经一个混合系统线性混合而成，这个混合系统未知。并且假设潜在因素属于非高斯分布、并且相互独立，称之为可观测数据的独立成分。
ICA与PCA相关，但它在发现潜在因素方面效果良好。它可以应用在数字图像、档文数据库、经济指标、心里测量等。
ICA算法本质：
ICA是找出构成信号的相互独立部分(不需要正交)，对应高阶统计量分析。ICA理论认为用来观测的混合数据阵X是由独立元S经过A线性加权获得。ICA理论的目标就是通过X求得一个分离矩阵W，使得W作用在X上所获得的信号Y是独立源S的最优逼近，该关系可以通过下式表示：
Y = WX = WAS ， A = inv(W)
ICA相比与PCA更能刻画变量的随机统计特性，且能抑制高斯噪声。
从线性代数的角度去理解，PCA和ICA都是要找到一组基，这组基张成一个特征空间，数据的处理就都需要映射到新空间中去。
ICA理论基础：
ICA理论基础如下：
1）标准正交基
2）白化
3）梯度下降
ICA目标函数:
ICA的目标函数如下：
样本数据 x 经过参数矩阵 W 线性变换后的结果的L1范数，实际上也就是描述样本数据的特征。
加入标准正交性约束（orthonormality constraint）后，ICA独立成分分析相当于求解如下优化问题：
这就是标准正交ICA的目标函数。与 学习中的通常情况一样，这个问题没有简单的解析解，因此需要使用梯度下降来求解，而由于标准正交性约束，又需要每次梯度下降迭代之后，将新的基映射回正交基空间中，以此保证正交性约束。
ICA优化参数:
针对ICA的目标函数和约束条件，可以使用梯度下降法，并在梯度下降的每一步中增加投影（projection ）步骤，以满足标准正交约束。过程如下：
ICA算法流程：
已知信号为S，经混和矩阵变换后的信号为：X=AS。对交叠信号X，求解混矩阵B，使Y=WX各分量尽量相互独立。求解W的过程并不一定是近似A的逆矩阵，Y也不是信号S的近似，而是为了使Y分量之间相互独立。目的是从仅有的观测数据X出发寻找一个解混合矩阵。
常见的方法：InfoMax方法（用神经网络使信息最大化），FastICA方法（固定点算法，寻求X分量在W上投影（W^t）*X）的非高斯最大化。
主要算法流程如下：1、预处理部分：1）对X零均值处理2）球化分解（白化）
乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I
2、核心算法部分：寻求解混矩阵U，使Y=UZ，Y各道数据尽可能独立（独立判据函数G）。1)、由于Y独立，各行必正交。且通常取U保持Y各行方差为1，故U是正交变换。2)、所有算法预处理部分相同，以后都设输入的为球化数据z，寻找正交矩阵U，使Y=Uz独立。
由于独立判据函数G的不同，以及步骤不同，有不同的独立分量分析法。
3、Fast ICA算法思路：
思路：属于探查性投影追踪
目的：输入球化数据z，经过正交阵U处理，输出Y=Uz1）输入球化数据z，经过正交阵某一行向量ui处理（投影），提取出某一独立分量yi。
2）将此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。
3）得到独立的基向量U
U＝WX
Fast ICA算法程序如下：
function [Out1, Out2, Out3] =fastica(mixedsig, varargin)
%FASTICA(mixedsig) estimates theindependent components from given
% multidimensional signals. Each row ofmatrix mixedsig is one
% observed signal.
% = FASTICA (mixedsig); the rows oficasig contain the
% estimated independent components.
% = FASTICA (mixedsig); outputs the estimatedseparating
% matrix W and the corresponding mixingmatrix A.
mixedsig为输入向量，icasig为求解的基向量。
A即为混合矩阵，可以验证mixedsig=A×icasig。
W即为解混矩阵，可以验证icasig=W×mixedsig。
ICA算法优点：
1）收敛速度快。
2）并行和分布计算，要求内存小，易于使用。
3）能通过使用一个非线性函数g便能直接找出任何非高斯分布的独立分量。
4）能够通过选择一个适当的非线性函数g而使其达到最佳化。特别是能得到最小方差的算法。
5）仅需要估计几个（不是全部）独立分量，能极大地减小计算量。
ICA算法缺点：
1)特征矩阵W的特征数量（即基向量数量）大于原始数据维度会产生优化方面的困难，并导致训练时间过长；
2)ICA模型的目标函数是一个L1范数，在 0 点处不可微，影响了梯度方法的应用。
注：尽管可以通过其他非梯度下降方法避开缺点2），也可以通过使用近似值“平滑” L1 范数的方法来解决，即使用( x2+ε )1/2代替|x|，对 L1 范数进行平滑，其中 ε 是“平滑参数”（smoothing parameter）。
ICA与PCA区别：
1）PCA是将原始数据降维并提取出不相关的属性，而ICA是将原始数据降维并提取出相互独立的属性。
2）PCA目的是找到这样一组分量表示，使得重构误差最小，即最能代表原事物的特征。ICA的目的是找到这样一组分量表示，使得每个分量最大化独立，能够发现一些隐藏因素。由此可见，ICA的条件比PCA更强些。
3）ICA要求找到最大独立的方向，各个成分是独立的；PCA要求找到最大方差的方向，各个成分是正交的。
4）ICA认为观测信号是若干个统计独立的分量的线性组合，ICA要做的是一个解混过程。而PCA是一个信息提取的过程，将原始数据降维，现已成为ICA将数据标准化的预处理步骤。
ICA算法应用：
从应用角度看，ICA应用领域与应用前景都是非常广阔的，目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。
结语:
ICA是一种常用的数据分析方法，是盲信号分析领域的一个强有力方法，也是求非高斯分布数据隐含因子的方法。从样本-特征角度看，使用ICA的前提条件是，认为样本数据由独立非高斯分布的隐含因子产生，隐含因子个数等于特征数，要求的是隐含因子。ICA算法已经被广泛应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等领域。
------以往文章推荐------
机器学习
学习
人工神经网络
决策树
随机森林
强化学习
迁移学习
遗传算法
朴素贝叶斯
支持向量机
蒙特卡罗方法
马尔科夫模型
Hopfield神经网络
回归模型
K邻近算法
卷积神经网络
受限玻尔兹曼机
循环神经网络
长短时记忆神经网络
Adaboost算法
ID3算法
C4.5算法
CART算法
K-Means算法
Apriori算法
PCA算法
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
