數(shù)據(jù)挖掘常用算法

1、樸素貝葉斯

樸素貝葉斯（NB）屬于生成式模型（即需要計(jì)算特征與類(lèi)的聯(lián)合概率分布），計(jì)算過(guò)程非常簡(jiǎn)單，只是做了一堆計(jì)數(shù)。NB有一個(gè)條件獨(dú)立性假設(shè)，即在類(lèi)已知的條件下，各個(gè)特征之間的分布是獨(dú)立的。這樣樸素貝葉斯分類(lèi)器的收斂速度將快于判別模型，如邏輯回歸，所以只需要較少的訓(xùn)練數(shù)據(jù)即可。即使NB條件獨(dú)立假設(shè)不成立，NB分類(lèi)器在實(shí)踐中仍然表現(xiàn)的很出色。它的主要缺點(diǎn)是它不能學(xué)習(xí)特征間的相互作用，用mRMR中的R來(lái)講，就是特征冗余。

2、邏輯回歸（logisticregression）

邏輯回歸是一個(gè)分類(lèi)方法，屬于判別式模型，有很多正則化模型的方法（L0，L1，L2），而且不必像在用樸素貝葉斯那樣擔(dān)心特征是否相關(guān)。與決策樹(shù)與SVM相比，還會(huì)得到一個(gè)不錯(cuò)的概率解釋，甚至可以輕松地利用新數(shù)據(jù)來(lái)更新模型（使用在線梯度下降算法onlinegradientdescent）。如果需要一個(gè)概率架構(gòu)（比如，簡(jiǎn)單地調(diào)節(jié)分類(lèi)閾值，指明不確定性，或者是要獲得置信區(qū)間），或者希望以后將更多的訓(xùn)練數(shù)據(jù)快速整合到模型中去，那么可以使用它。

3、最近鄰算法——KNN

KNN即最近鄰算法，其主要過(guò)程為：計(jì)算訓(xùn)練樣本和測(cè)試樣本中每個(gè)樣本點(diǎn)的距離（常見(jiàn)的距離度量有歐式距離，馬氏距離等）；對(duì)上面所有的距離值進(jìn)行排序；選前k個(gè)最小距離的樣本；根據(jù)這k個(gè)樣本的標(biāo)簽進(jìn)行投票，得到最后的分類(lèi)類(lèi)別；

如何選擇一個(gè)最佳的K值，這取決于數(shù)據(jù)。一般情況下，在分類(lèi)時(shí)較大的K值能夠減小噪聲的影響。但會(huì)使類(lèi)別之間的界限變得模糊。一個(gè)較好的K值可通過(guò)各種啟發(fā)式技術(shù)來(lái)獲取，比如，交叉驗(yàn)證。另外噪聲和非相關(guān)性特征向量的存在會(huì)使K近鄰算法的準(zhǔn)確性減小。

近鄰算法具有較強(qiáng)的一致性結(jié)果。隨著數(shù)據(jù)趨于無(wú)限，算法保證錯(cuò)誤率不會(huì)超過(guò)貝葉斯算法錯(cuò)誤率的兩倍。對(duì)于一些好的K值，K近鄰保證錯(cuò)誤率不會(huì)超過(guò)貝葉斯理論誤差率。

4、決策樹(shù)

可以處理特征間的交互關(guān)系并且是非參數(shù)化的，因此不必?fù)?dān)心異常值或者數(shù)據(jù)是否線性可分（舉個(gè)例子，決策樹(shù)能輕松處理好類(lèi)別A在某個(gè)特征維度x的末端，類(lèi)別B在中間，然后類(lèi)別A又出現(xiàn)在特征維度x前端的情況）。它的缺點(diǎn)之一就是不支持在線學(xué)習(xí)，于是在新樣本到來(lái)后，決策樹(shù)需要全部重建。另一個(gè)缺點(diǎn)就是容易出現(xiàn)過(guò)擬合，但這也就是諸如隨機(jī)森林RF（或提升樹(shù)boostedtree）之類(lèi)的集成方法的切入點(diǎn)。另外，隨機(jī)森林經(jīng)常在很多分類(lèi)問(wèn)題上表現(xiàn)很好（通常比支持向量機(jī)好一些），它訓(xùn)練快速并且可調(diào)，同時(shí)無(wú)須擔(dān)心要像支持向量機(jī)那樣調(diào)一大堆參數(shù)，所以在以前一直很受歡迎。

5、Adaboosting

Adaboost是一種加和模型，每個(gè)模型都是基于上一次模型的錯(cuò)誤率來(lái)建立的，過(guò)分關(guān)注分錯(cuò)的樣本，而對(duì)正確分類(lèi)的樣本減少關(guān)注度，逐次迭代之后，可以得到一個(gè)相對(duì)較好的模型。Adaboost是一種典型的boosting算法。

6、SVM支持向量機(jī)

高準(zhǔn)確率，為避免過(guò)擬合提供了很好的理論保證，而且就算數(shù)據(jù)在原特征空間線性不可分，只要給個(gè)合適的核函數(shù)，它就能運(yùn)行得很好。在動(dòng)輒超高維的文本分類(lèi)問(wèn)題中特別受歡迎。可惜內(nèi)存消耗大，難以解釋，運(yùn)行和調(diào)參也有些煩人，而隨機(jī)森林卻剛好避開(kāi)了這些缺點(diǎn)，比較實(shí)用。