本書以分類問題(模式識別、判別分析)為背景,介紹求解分類問題的支持向量機的基本理論、方法和應(yīng)用,重點內(nèi)容是支持向量機的理論基礎(chǔ)和模型、分類問題的支持向量回歸機求解途徑、中心支持向量分類機、推理型支持向量分類機及支持向量分類機的應(yīng)用。
本書可作為理工類、管理類等專業(yè)的高年級本科生、研究生的教材和教師的教學(xué)參考書,也可供有關(guān)領(lǐng)域的科技人員閱讀參考。
支持向量機(Support Vector Machine,SVM)是基于統(tǒng)計學(xué)習(xí)理論、借助最優(yōu)化方法來解決機器學(xué)習(xí)問題的新工具。它由科爾特斯(Cortes)和瓦普尼克(Vapnik)于1995年首先提出,并已成為近年來機器學(xué)習(xí)研究的一項重大成果。目前對支持向量機的研究主要集中在對其本身性質(zhì)的研究和完善及加大應(yīng)用研究的深度和廣度兩個方面。本書以解決分類問題為目標(biāo),從理論和模型的完善及應(yīng)用兩個方面,對支持向量分類機(Support Vector Classifier Machine,SVC)進行了較深入的研究和探討,以做到理論和實踐的結(jié)合。
以下是本書討論的主要問題。
(1)在深入研究現(xiàn)有支持向量分類機和支持向量回歸機(Support Vector Regression Machine,SVR)的基礎(chǔ)上,把分類問題看作特殊的回歸問題來處理,通過引入不同的范數(shù)及不同的損失函數(shù),構(gòu)建求解分類問題的支持向量回歸機新模型,并對引入高斯損失函數(shù)得到的新模型給出求解的簡便方法——簡化的序列最小最優(yōu)化算法。另外,針對多類分類問題提出了新的多類分類模型,數(shù)值試驗表明該模型的魯棒性和有效性,從而給出求解分類問題的支持向量機的新思路和新途徑。
(2)馮(Fung)和曼格薩(Mangasarian)從直觀上提出了中心支持向量分類機。本書通過理論推導(dǎo)和分析構(gòu)造出中心支持向量分類機的原始優(yōu)化問題,從不同的途徑給出了中心支持向量分類機。在此基礎(chǔ)上,首次給出了稀疏的中心支持向量分類機和加權(quán)的中心支持向量分類機。對含有不確定信息的分類問題,通過引入概率變量,構(gòu)建了不確定中心支持向量分類機,從而實現(xiàn)對中心支持向量分類機理論的推廣完善和創(chuàng)新。
(3)瓦普尼克提出了推理型支持向量分類機,其優(yōu)化問題的求解比較困難。本書將其原始最優(yōu)化問題變?yōu)闊o約束問題,并對其進行光滑化,從而構(gòu)建了改進的推理型支持向量機和加權(quán)的推理型支持向量機,并成功地將新模型應(yīng)用到網(wǎng)絡(luò)入侵檢測中,給出了網(wǎng)絡(luò)入侵檢測的新方法,使推理型支持向量機的理論和應(yīng)用研究有了新的突破。
(4)首次將支持向量分類機應(yīng)用到海水工廠化養(yǎng)殖中的環(huán)境監(jiān)測問題。對河北省唐山市、秦皇島市沿海的養(yǎng)殖工廠隨機采集魚類生長環(huán)境數(shù)據(jù),進行檢測和監(jiān)控實驗,取得了較好的應(yīng)用效果,在切實解決實際問題的同時,進一步拓寬了支持向量機的應(yīng)用領(lǐng)域。例如,本書給出支持向量分類機在棚栽植物生長環(huán)境監(jiān)測中的應(yīng)用,在地源熱泵系統(tǒng)混合防凍劑、制冷劑配比中的應(yīng)用,在義務(wù)教育學(xué)校均衡發(fā)展評價中的應(yīng)用,在教師教育師資隊伍量化評價中的應(yīng)用,以及在商務(wù)決策管理的量化評價與調(diào)整中的應(yīng)用等。本書構(gòu)建的各種新的支持向量分類機,較一般支持向量分類機有明顯的優(yōu)勢和良好性能,主要體現(xiàn)在有的模型求解算法簡便、有的模型測試精度高、有的模型解決實際問題時針對性強,這均在數(shù)值試驗和實際應(yīng)用中得到證實。
本書得以出版,要特別感謝我的導(dǎo)師中國農(nóng)業(yè)大學(xué)鄧乃揚教授和我的同學(xué)中國科學(xué)院大學(xué)田英杰教授的指導(dǎo),也特別感謝唐山師范學(xué)院的資助。
由于本人水平有限,書中難免有疏漏之處,敬請讀者批評指正。
閻滿富,男,漢族,博士,教授。歷任唐山師范?茖W(xué)校數(shù)學(xué)系副主任、主任、副校長等職。現(xiàn)任唐山師范學(xué)院副院長。1991年被評為河北省優(yōu)秀教師,1999年榮獲曾憲梓教育基金會“高等師范院校優(yōu)秀教師獎”。在《中國高等教育》、《中國高教研究》、《工程數(shù)學(xué)學(xué)報》、《系統(tǒng)工程》等核心期刊上發(fā)表教育管理和學(xué)術(shù)論文30余篇,其中被國際三大檢索刊物收錄三篇。主編專著、教材和教學(xué)輔助用書12部,其中主編教育部確定的全國通用教材一部。獲河北省教學(xué)成果二、三等獎各一項。參與國家自然科學(xué)基金項目研究一項,主研項目“基于SVM的海水工廠化養(yǎng)殖環(huán)境監(jiān)測智能信息系統(tǒng)”被中國科學(xué)院專家鑒定為國際先進水平,并獲唐山市人民政府科技進步二等獎。
第1章 緒 論
1.1 機器學(xué)習(xí)
1.2 統(tǒng)計學(xué)習(xí)理論
1.3 支持向量機基本思想
1.4 支持向量機的研究現(xiàn)狀
1.5 本書研究的主要內(nèi)容和結(jié)構(gòu)
第2章 支持向量機的理論基礎(chǔ)和模型
2.1 支持向量機的優(yōu)化理論基礎(chǔ)
2.2 支持向量分類機的各種模型
2.3 支持向量回歸機的各種模型
2.4 小結(jié)
第3章 分類問題的支持向量回歸機求解途徑
3.1 一般形式的支持向量回歸機模型
3.2 使用高斯損失函數(shù)的支持向量回歸機模型
3.3 求解分類問題的支持向量回歸機模型
3.4 簡化的SMO算法
3.5 求解分類問題的支持向量回歸機線性規(guī)劃模型
3.6 求解多類分類問題的支持向量回歸機線性規(guī)劃模型
3.7 數(shù)值試驗
3.8 小結(jié)
第4 章 中心支持向量分類機
4.1 基本思想
4.2 加權(quán)的中心支持向量分類機
4.3 多類問題分類模型
4.4 不確定中心支持向量分類機
4.5 小結(jié)
第5 章 推理型支持向量分類機
5.1 原始最優(yōu)化問題及其對偶問題
5.2 改進的推理型支持向量機
5.3 網(wǎng)絡(luò)入侵檢測的新方法
5.4 小結(jié)
第6 章 基于支持向量機的海水工廠化養(yǎng)殖環(huán)境監(jiān)測
6.1 海水養(yǎng)殖問題研究的背景和意義
6.2 支持向量機應(yīng)用于海水養(yǎng)殖問題的提出
6.3 支持向量機在大菱鲆養(yǎng)殖中的應(yīng)用
6.4 小結(jié)
第7 章 支持向量機在其他領(lǐng)域的應(yīng)用
7.1 在地源熱泵系統(tǒng)中的應(yīng)用
7.2 在教師教育師資隊伍評價中的應(yīng)用
7.3 在義務(wù)教育學(xué)校均衡發(fā)展評價中的應(yīng)用
7.4 在商務(wù)采購決策管理中的應(yīng)用
7.5 在棚栽植物生長環(huán)境監(jiān)測中的應(yīng)用
參考文獻
附 錄
附錄 A 基礎(chǔ)知識
附錄B 希爾伯特空間
附錄C 概 率
附錄D 鳶尾屬植物數(shù)據(jù)集
附錄E 最優(yōu)化理論基礎(chǔ)