前　　言
Data Mining: Practical Machine Learning Tools and Techniques, Fourth Edition
計算和通信的結(jié)合建立了一個以信息為基礎(chǔ)的新領(lǐng)域。但絕大多數(shù)信息尚處于原始狀態(tài)，即以數(shù)據(jù)形式存在的狀態(tài)。假如我們將數(shù)據(jù)定義為被記錄下來的事實(shí)，那么“信息”就是隱藏于這些記錄事實(shí)的數(shù)據(jù)中的一系列模式或預(yù)期。在數(shù)據(jù)庫中蘊(yùn)藏了大量具有潛在重要性的信息，這些信息尚未被發(fā)現(xiàn)和利用，我們的任務(wù)就是將這些信息釋放出來。
數(shù)據(jù)挖掘是將隱含的、尚不為人知的同時又是潛在有用的信息從數(shù)據(jù)中提取出來。為此我們編寫計算機(jī)程序，自動在數(shù)據(jù)庫中篩選有用的規(guī)律或模式。如果能發(fā)現(xiàn)一些明顯的模式，則可以將其歸納出來，以對未來的數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測。當(dāng)然，數(shù)據(jù)挖掘結(jié)果中肯定會出現(xiàn)一些問題，比如許多模式可能是價值不大的或者沒有實(shí)際意義的，還有一些可能是虛假的，或者是由于某些具體數(shù)據(jù)集的巧合而產(chǎn)生的。在現(xiàn)實(shí)世界中，數(shù)據(jù)是不完美的：有些被人為篡改，有些會丟失。我們觀察到的所有東西都不是完全精確的：任何規(guī)律都有例外，并且總會出現(xiàn)不符合任何一個規(guī)律的實(shí)例。算法必須具有足夠的健壯性以應(yīng)付不完美的數(shù)據(jù)，并能提取出不精確但有用的規(guī)律。
機(jī)器學(xué)習(xí)為數(shù)據(jù)挖掘提供了技術(shù)基礎(chǔ)，能夠?qū)⑿畔�從�?shù)據(jù)庫的原始數(shù)據(jù)中提取出來，以可以理解的形式表達(dá)，并可用于多種用途。這是一種抽象化過程：如實(shí)地全盤接收現(xiàn)有數(shù)據(jù)，然后在此基礎(chǔ)上推導(dǎo)出所有隱藏在這些數(shù)據(jù)中的結(jié)構(gòu)。本書將介紹在數(shù)據(jù)挖掘?qū)嵺`中為了發(fā)現(xiàn)和描述數(shù)據(jù)中的結(jié)構(gòu)模式而采用的機(jī)器學(xué)習(xí)工具與技術(shù)。
就像所有新興技術(shù)都會受到商界的強(qiáng)烈關(guān)注一樣，關(guān)于數(shù)據(jù)挖掘應(yīng)用的報道可謂是鋪天蓋地�？鋸埖膱蟮佬�稱通過設(shè)立學(xué)習(xí)算法就能從浩瀚的數(shù)據(jù)汪洋中發(fā)現(xiàn)那些神秘的規(guī)律，其實(shí)機(jī)器學(xué)習(xí)絕沒有什么魔法，也沒有什么隱藏的力量，更沒有什么巫術(shù)，有的只是一些能將有用信息從原始數(shù)據(jù)中提取出來的簡單和實(shí)用的技術(shù)。本書將介紹這些技術(shù)，并展示它們是如何工作的。
在許多應(yīng)用中，機(jī)器學(xué)習(xí)使得從數(shù)據(jù)樣本中獲取結(jié)構(gòu)描述成為可能。這種結(jié)構(gòu)描述可用于預(yù)測、解釋和理解。有些數(shù)據(jù)挖掘應(yīng)用側(cè)重于預(yù)測，即從數(shù)據(jù)所描述的過去預(yù)測將來在新情況下會發(fā)生什么，通常是預(yù)測新的樣本分類。但也許人們更感興趣的是，“學(xué)習(xí)”的結(jié)果是一個可以用來對樣本進(jìn)行分類的真實(shí)結(jié)構(gòu)描述。這種結(jié)構(gòu)描述不僅支持預(yù)測，也支持解釋和理解。根據(jù)經(jīng)驗(yàn)，在絕大多數(shù)數(shù)據(jù)挖掘?qū)嵺`應(yīng)用中，用戶感興趣的莫過于掌握樣本的本質(zhì)。事實(shí)上，這是機(jī)器學(xué)習(xí)優(yōu)于傳統(tǒng)統(tǒng)計模型的一個主要優(yōu)點(diǎn)。
本書詮釋了多種多樣的機(jī)器學(xué)習(xí)方法。其中部分出于方便教學(xué)的目的而僅僅羅列了一些簡單方案，以清楚解釋基本思想如何實(shí)現(xiàn)。其他則更多考慮到具體實(shí)現(xiàn)而列舉了很多應(yīng)用于實(shí)際工作中的真實(shí)系統(tǒng)。在這些方法中，有很多都是近幾年發(fā)展起來的。
我們創(chuàng)建了一套綜合軟件以說明書中的思想。軟件名稱是懷卡托智能分析環(huán)境（Waikato
Environment for Knowledge Analysis），簡稱Weka，它的Java源代碼參見www.cs.waikato.ac.nz/ml/weka。Weka幾乎可以完整地、產(chǎn)業(yè)化地實(shí)現(xiàn)本書中所包含的所有技術(shù)。它包括了機(jī)器學(xué)習(xí)方法的說明性代碼以及具體實(shí)現(xiàn)。針對一些簡單技術(shù)，它提供了清楚而簡潔的實(shí)例，以幫助理解機(jī)器學(xué)習(xí)中的相關(guān)機(jī)理。Weka還提供了一個工作平臺，完整、實(shí)用、高水準(zhǔn)地實(shí)現(xiàn)了很多流行的學(xué)習(xí)方案，這些方案能夠運(yùn)用于實(shí)際的數(shù)據(jù)挖掘項(xiàng)目或?qū)W術(shù)研究。最后，它還包括了一個形如Java類庫的框架，這個框架支持嵌入式機(jī)器學(xué)習(xí)的應(yīng)用乃至新學(xué)習(xí)方案的實(shí)現(xiàn)。
本書旨在介紹用于數(shù)據(jù)挖掘領(lǐng)域的機(jī)器學(xué)習(xí)工具和技術(shù)。讀完本書后，你將對這些技術(shù)有所了解，并能體會到它們的功效和實(shí)用價值。如果你希望用自己的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，用Weka就能輕松做到。但Weka絕不是唯一的選擇，例如，免費(fèi)統(tǒng)計計算環(huán)境R就包含許多機(jī)器學(xué)習(xí)算法。Python編程語言的愛好者可能更喜歡流行的scikit-learn庫。用于分布式計算的現(xiàn)代“大數(shù)據(jù)”框架也支持機(jī)器學(xué)習(xí)，如Apache Spark。在實(shí)際應(yīng)用中，部署機(jī)器學(xué)習(xí)的選擇有很多。本書僅討論基本的學(xué)習(xí)算法，沒有深入研究特定軟件的實(shí)現(xiàn)細(xì)節(jié)，但會在恰當(dāng)?shù)奈恢弥赋鏊�討論的算法可以在Weka軟件的什么位置找到。本書還簡要介紹了其他機(jī)器學(xué)習(xí)軟件，如用于高維數(shù)據(jù)的“深度學(xué)習(xí)”。不過，大多數(shù)具體軟件的信息被歸納到了附錄中。
提供數(shù)據(jù)挖掘案例研究的商業(yè)書籍中往往涉及一些非常實(shí)用的方法，這些方法與當(dāng)前機(jī)器學(xué)習(xí)教材中出現(xiàn)的更理論化、更原則化的方法之間存在鴻溝，本書跨越了這個鴻溝。這個鴻溝相當(dāng)大，為了讓機(jī)器學(xué)習(xí)技術(shù)應(yīng)用得到成果，需要理解它們是如何工作的。這不是一種可以盲目應(yīng)用而后便期待好結(jié)果出現(xiàn)的技術(shù)。不同的問題需要用不同的技術(shù)解決，但是根據(jù)實(shí)際問題來選擇合適的技術(shù)并非易事，你需要知道到底有多少種可能的解決方案。本書所論及的技術(shù)范圍相當(dāng)廣泛，并不囿于某種特定的商業(yè)軟件或方案。書中給出了大量實(shí)例，但是展示實(shí)例所采用的數(shù)據(jù)集卻小得足以讓你搞清楚實(shí)例的整個過程。真實(shí)的數(shù)據(jù)集太大，不能做到這一點(diǎn)（而且真實(shí)數(shù)據(jù)集的獲取常受限于商業(yè)機(jī)密）。本書所選擇的