Type	ID	Name	Comments
Classification	1	Fisher	线性判别分类器
Classification	2	Logistic 对数几率回归	1.IRLS(Newton-Raphson)Iteratively reweithted LS 迭代加权最小二乘； 2.Gradient Ascent梯度上升； 3.Stochastic Gradient Aescent (随机梯度下降，大规模数据，online)；
Classification	3	K-Nearest Neighbor(KNN)	K-最近邻分类器
Classification	4	Naïve Bayes	朴素贝叶斯分类器
Classification	5	Soft Independent Modelling of Class Analogy(SIMCA)	簇类独立软模式分类器
Classification	6	Perceptron 感知机(二元线性分类器)	1.Standard(online)； 2.Pocket(online)； 3.Batch；
Classification	7	Decision Tree-C4.5决策树	Gain Ration增益率
Classification	8	Decision Tree-ID3决策树	Information Entropy信息熵
Classification	9	Multinomial Logistic(Softmax)	多类别逻辑回归
Classification	10	NN前馈神经⽹络/ MLP 多层感知机	1.Back Propagation(BP误差逆传播算法)； 2.Stochastic Gradient Descent (随机梯度下降SGD)，大规模数据； 3.Sequence; 4.Mini-Batch； 5.Batch； 6.Nesterov动能法Nesterov’s momentum method（SGD with Monentum）；
RC	11	CART分类与回归树	二叉树，连续变量，最小二乘回归树, 平方误差最小，离散变量: Gini Index基尼系数
RC	12	Partial Least Squares(PLS)	偏最小二乘法(PLSR,PLSA)
RC	13	Support Vector Machine(SVM)	支持向量机(SVMR,SVMC)
RC	14	Gaussian Process	高斯过程 (GPR, GPC)
Regression	15	Multiple Linear Regression(MLR)	多元线性回归
Regression	16	Principal Component Regression(PCR)	主成分回归
Regression, DR	17	Ridge Regression	岭回归(L2约束)
Regression, DR	18	Forward Stagewise linear regression(FSW)	向前逐段回归,类似RR
Regression, DR	19	Least Angle Regression(LARS)	最小角回归
Regression, DR	20	LASSO套索(L1约束)	Lasso回归主要的解法： 1.ADMM交替方向乘子法Alternating Direction Method of Multipliers(拉格朗日方求解L1约束，大规模问题)； 2.最小角回归法（ Least Angle Regression）LARS； 3.坐标下降法（Coordinate Descent) ； 4.近点梯度法Proximal Gradient； 5.Nesterov动能法Nesterov’s momentum method； 6.优化-最小化算法Minorization-Maximization；
Regression, DR	21	Elastic Net弹性网(L1+L2约束)	Coordinate Descent坐标下降法
Regression, DR	22	Kernel Ridge Regression	核岭回归
Cluster	23	K-Means	K均值聚类
Cluster	24	FCMeans	模糊C均值聚类
Cluster	25	GA-FCM	基于遗传算法的模糊C均值聚类
Cluster	26	GA-K-Means	基于遗传算法的K均值聚类
Cluster	27	PSO-K-Means	基于粒子群算法的K均值聚类
Cluster	28	ACO-K-Means	基于蚁群算法的K均值聚类
Cluster	29	TS-K-Means	基于禁忌搜索算法的K均值聚类
Cluster	30	IA-K-Means	基于免疫算法的K均值聚类
Cluster	31	Density-Based Spatial Clustering of Application with Noise(DBSCAN）	密度聚类
Cluster	32	Jarvis-Patrick聚类	1. Breadth First Search广度优先遍历； 2. Depth First Search深度优先遍历；
Cluster	33	Agglomerative NESting	AGNES 层次聚类
Cluster	34	Gaussian Mixture Model(GMM) (EC)	混合高斯模型聚类
Cluster	35	Spectral Clustering	谱聚类LE+KMeans
Cluster	36	Self Organizing Maps(SOM)	自组织映射神经网络，一种基于神经网络的聚类算法
Cluster	37	LVQ Cluster	学习向量量化监督聚类
DR	38	Principal Component Analysis(PCA)	主成分分析 1. SVD；2. NIPALS非线性迭代偏最小二乘算法Nonlinear iterative partial least squares algorithm；
DR	39	Kernel PCA	核主成分分析
DR	40	Feature Embedding	特征嵌入p>>N
DR	41	Independent Component Analysis(ICA)	独立分量分析
DR	42	Nonnegative Matrix Factorization(NMF) 非负矩阵分解	1.Gradient Descent梯度下降； 2.ANLS，非负交替最小二乘法Alternating least square method； 3.NeNMF: An Optimal Gradient Method for Nonnegative Matrix Factorization； 4.CNMF； 5.Multiplicative Update；
DR	43	Factor Analysis	因子分析
DR	44	Multidimensional Scaling(MDS)	多维尺度分析
DR	45	Isometrix Mapping(Isomap)	等度量映射/等距特征映射 Shortest Path Algorithm最短路径
DR	46	Locally Linear Embedding(LLE)	局部线性嵌入
DR	47	Locality Preserving Projection(LPP)	局部保留投影法
DR	48	Laplacian Eigenmap(LE)	拉普拉斯特征映射,相似性:1.KNN；2.Gaussian；3.LocalScaling；4.KNNGaussian；5.KNNLocalScalling
DR	49	SVD	特征值分解
MCA	50	Multivariate Curve Resolution-Alternating Least Squares(MCR-ALS)	多元曲线分辨-交替最小二乘法(NNLS)
MCA	51	Generalized Rank Annihilation Method(GRAM)	广义秩消因子法
MCA	52	Direct Trilinear Decomposition(DTLD)	直接三线性分解
MCA	53	CANDECOMP/PARAFAC	典范/平行因子分析
MCA	54	Alternating Trilinear Decomposition(ATLD)	交替三线性分解
MCA	55	SWATLD	自加权交替三线性分解
MCA	56	APTLD	交替惩罚三线性分解·
MCA	57	Window Factor Analysis(WFA)	窗口因子分解
MCA	58	Heuristic Evolving Latent Projection(HELP)	启发渐进式特征投影
OPT	59	Genetic Algorithm(GA)	遗传算法
OPT	60	Particle Swarm Optimization(PSO)	粒子群优化算法
OPT	61	Differential Evolution Algorithm(DEA)	差分进化算法
OPT	62	Ant Colony Optimization(ACO)	蚁群算法
OPT	63	Immune Algorithm(IA）	免疫算法
OPT	64	Simulate Anneal(SA)	模拟退火算法
OPT	65	Tabu Search or Taboo Search(TS)	禁忌搜索算法
Others	66	Kalman	卡尔曼滤波,Mixture,估计-修正-估计-修正
Others	67	Curve Fitting 曲线拟合	1.Mixture Gaussian混合高斯；2.Polynomial多项式
Others	68	EA-Max/Min	智能优化算法-最值问题
Others	69	EA-TSP	智能优化算法-旅行商问题
Others	70	EA-Knapsack	智能优化算法-背包问题
Others	71	Robust Principal Component Analysis(RPCA)	稳健主成分分析
Base	72	Statics	统计量
Base	73	Baseline Correction	基线矫正(背景扣除) 1.ArPLS； 2.AirPLS；
Base	74	Distance and Similarity 距离与相似性	1. Cosine余弦距离； 2. Minkowski 闵可夫斯基距离 Lp； 3. Euclidean欧氏距离L2； 4. Manhattan曼哈顿距离L1； 5. Chebyshev切比雪夫距离L； 6. Mahalanobis马氏距离； 7. Jaccard Coefficient杰卡德系数/Tanimoto； 8. Soergel塞格尔； 9. Bray Curtis/Czekanowski/Srenson Coefficient； 10. Hamming汉明距离； 11. Correlation 皮尔逊相关系数； 12. SNN相似度（Shared Nearest Neighbour）； 13. Levenshtein 距离； 14. Damerau Levenshtein距离；
Base	75	Smooth 平滑	Moving Average，Median，Parzen，Exponential， Guassian，SavitzkyGolay，FFT，Wavelet
Base	76	Peak	峰值
Base	77	Normalize 归一化/标准化	1. Mean；2.Area；3.UnitVector; 4. Max；5. Range；6. Peak；7. MaxMin；8.ZSocre；
Base	78	Histogram 直方图	非参数估计
Base	79	FFT/iFFT	快速傅里叶变换
Base	80	Wavelet 小波变换	1.DWT； 2.CWT； 3.iDWT；
Base	81	Compress(Wavelet) 压缩
Base	82	Decompose(Wavelet) 分解	1.WithSampling:standard wavelet with sampling, 2.WithoutSampling:Low part is separated as even and odd two parts in this algorithm,
Base	83	Expectation Maximization(EM)	最大期望算法
Base	84	Convolution/Deconvolution	卷积/去卷积
Base	85	AutoCorrelation/CrossCorrelation	自相关/胡相关
Base	86	MSC	多元散射校正
Base	87	Outlier	离群值检测
Base	88	Feature Selection	特征选择
CS	89	Orthogonal Matching Pursuit(OMP)	正交匹配追踪
CS	90	Compressive sampling MP(CoSaMP)	压缩采样匹配追踪
CS	91	Stagewise Matching Pursuit(StOMP)	分段匹配追踪
CS	92	Weak Matching Pursuit(WMP)	弱匹配追踪
CS	93	Subspace Pursuit(SP)	子空间追踪
CS	94	Iterative Hard Threshold(IHT)	迭代硬阈值算法
CS	95	Linearized Bregman	线性Bregman
Ensemble	96	Random Forest	随机森林
Ensemble	97	Boosting
Ensemble	98	Bagging
BIO	99	Sequence Alignment	基因序列比对 GlobalNeedlemanWunsch LocalSmithWaterman
RC	100	NNT_MLP	反馈神经网络(BP,LM,CG)
Regression	101	NNT_RBF	KMeans-LS 径向基网络Radial Basis Networks
Classification	102	NNT_Hamming	Compete NN, input 0/1
Classification	103	NNT_LVQ	Compete NN, cluster/classification, 学习向量量化Learning Vector Quantization
Cluster	104	NNT_Kohonen	Compete NN, SOM, cluster
107	NNT_CNN	卷积网络