久久国产成人精品麻豆,免费黄片。

《普通高等教育"十二五"規(guī)劃教材:線性代數(shù)(理工類)》主要討論了矩陣?yán)碚撓嚓P(guān)知識(shí)、特征值與奇異值分析、主成分分析及神經(jīng)網(wǎng)絡(luò)分析方法、次成分分析及神經(jīng)網(wǎng)絡(luò)分析方法、子空間跟蹤及神經(jīng)網(wǎng)絡(luò)分析方法、總體最小二乘方法、特征提取方法應(yīng)用等。全書內(nèi)容新穎，不但包含信息特征提取與優(yōu)化的若干方法，而且對(duì)這些迭代方法的神經(jīng)網(wǎng)絡(luò)算法的性能分析方法也進(jìn)行了較為詳細(xì)的分析，反映了國(guó)內(nèi)外信息處理和神經(jīng)網(wǎng)絡(luò)領(lǐng)域在該方向上研究和應(yīng)用的最新進(jìn)展。
《普通高等教育"十二五"規(guī)劃教材:線性代數(shù)(理工類)》適合作為電子、通信、自動(dòng)控制、計(jì)算機(jī)、系統(tǒng)工程、模式識(shí)別和信號(hào)處理等信息科學(xué)與技術(shù)學(xué)科高年級(jí)本科生和研究生教材，也可供相關(guān)專業(yè)研究人員和工程技術(shù)人員參考。

更多科學(xué)出版社服務(wù)，請(qǐng)掃碼獲取。

第一章緒論
1.1 特征信息提取
復(fù)雜系統(tǒng)輸出信號(hào)中包含著豐富的反映系統(tǒng)本質(zhì)屬性的特征信息，如何描述并提取這些特征信息，進(jìn)一步如何應(yīng)用這些特征信息？這些問題引起了信息領(lǐng)域?qū)W者的廣泛關(guān)注，新技術(shù)、新算法不斷出現(xiàn)，形成了信號(hào)處理、數(shù)據(jù)分析和神經(jīng)網(wǎng)絡(luò)領(lǐng)域非�；钴S的研究熱點(diǎn)。經(jīng)過這些年的發(fā)展，特征信息提取技術(shù)形成了主成分分析、次成分分析、子空間跟蹤和獨(dú)立成分分析等不同的研究方向，這幾個(gè)研究方向之間既有聯(lián)系，又有相對(duì)的獨(dú)立性。
1.1.1 主/次成分分析與子空間跟蹤
主成分（principalcomponent，PC）是指信號(hào)有最大偏差的方向，只利用數(shù)據(jù)向量的K個(gè)主分量進(jìn)行的數(shù)據(jù)或者信號(hào)分析稱為主成分分析（principalcomponentanalysis，PCA）。次成分（minorcomponent，MC）是指信號(hào)有最小偏差的方向，基于次成分的信號(hào)分析、系統(tǒng)分析或者模式分析則統(tǒng)稱為次成分分析（minorcomponentanalysis，MCA）。主成分分析在數(shù)據(jù)或圖像壓縮、多重信號(hào)分類、波達(dá)方向估計(jì)、通信技術(shù)等領(lǐng)域得到廣泛應(yīng)用，而次成分分析也已經(jīng)應(yīng)用在總體最小二乘（totalleastsquare，TLS）、運(yùn)動(dòng)目標(biāo)識(shí)別、曲線與曲面匹配、數(shù)字成形束、頻域估計(jì)和故障診斷等領(lǐng)域。通常主/次成分分析都是單維的，而實(shí)際中主成分或次成分以多維為主。與數(shù)據(jù)向量的自相關(guān)矩陣r個(gè)最小特征值對(duì)應(yīng)的特征向量被稱為次成分。與數(shù)據(jù)向量的自相關(guān)矩陣的r個(gè)最大特征值對(duì)應(yīng)的特征向量被稱為主成分，這里r是主成分或次成分的個(gè)數(shù)。在一些實(shí)際應(yīng)用中，有時(shí)并非要得到多個(gè)主成分或者次成分，而只要求跟蹤由特征成分張成的子空間。這里將主成分張成的子空間稱為主子空間（principalsubspace，PS），而將由次成分張成的子空間稱為次子空間（minorsubspace，MS）。一個(gè)對(duì)稱矩陣的主成分和次成分分析器可以分別收斂到主成分和次成分。類似地，一個(gè)對(duì)稱矩陣的主子空間和次子空間分析器可以分別收斂到一個(gè)主子空間和次子空間。主子空間是由一個(gè)高維向量序列的自相關(guān)矩陣的主特征值相關(guān)的所有特征向量張成的一個(gè)子空間，而與該高維向量序列的自相關(guān)矩陣的次特征值相關(guān)的所有特征向量所張成而形成的子空間被稱為次子空間。主子空間有時(shí)也稱為信號(hào)子空間，而次子空間也稱為噪聲子空間。主子空間分析（principalsubspaceanalysis，PSA）為許多信息處理領(lǐng)域，如特征提取和數(shù)據(jù)壓縮等提供了有效的方法。在許多實(shí)時(shí)信號(hào)處理領(lǐng)域，如自適應(yīng)方向波達(dá)方向估計(jì)、自適應(yīng)信號(hào)處理中的總體最小二乘的自適應(yīng)解、曲線與曲面匹配等應(yīng)用中，次子空間分析（minorsubspaceanalysis，MSA）是一個(gè)主要的需求。
通過數(shù)學(xué)分析，可以得出結(jié)論：所謂數(shù)據(jù)的主成分就是數(shù)據(jù)向量自相關(guān)矩陣的最大特征值所對(duì)應(yīng)的特征向量，而數(shù)據(jù)的次成分是數(shù)據(jù)向量自相關(guān)矩陣的最小特征值所對(duì)應(yīng)的特征向量。這樣通過數(shù)學(xué)上相關(guān)矩陣特征值處理或數(shù)據(jù)矩陣奇異值處理可以得到主成分或次成分。相關(guān)矩陣特征值或數(shù)據(jù)矩陣奇異值處理的方法是基于數(shù)據(jù)的集中處理，本質(zhì)上是一種批處理算法，無法實(shí)時(shí)應(yīng)用，而且對(duì)于維數(shù)大的數(shù)據(jù)來說，其計(jì)算復(fù)雜度是相當(dāng)大的，也容易出現(xiàn)數(shù)據(jù)不穩(wěn)定的情況。這樣尋求可以實(shí)時(shí)處理、迭代運(yùn)算、數(shù)值穩(wěn)定、算法簡(jiǎn)單的主成分分析、次成分分析方法或者子空間跟蹤是近20年來國(guó)際上自動(dòng)控制、信號(hào)處理和神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)研究熱點(diǎn)，受到廣泛關(guān)注。
1.1.2 主/次成分神經(jīng)網(wǎng)絡(luò)分析算法
為了實(shí)現(xiàn)特征信息的在線迭代與自適應(yīng)提取，大量的迭代及自適應(yīng)算法被提出，主/次成分分析或者主/次子空間跟蹤迭代求取算法包括逆迭代、常規(guī)的和逆Chebyshev迭代、Rayleigh商迭代、神經(jīng)網(wǎng)絡(luò)等方法。其中神經(jīng)網(wǎng)絡(luò)方法是一種有效的迭代求取算法，尤其是求取主/次成分的單層神經(jīng)網(wǎng)絡(luò)及其Hebbian型算法由于其算法的簡(jiǎn)單性和有效性受到人們的高度重視，得到迅速發(fā)展，成為自適應(yīng)主/次成分分析的主流算法。在該類神經(jīng)網(wǎng)絡(luò)算法的研究中，新算法不斷出現(xiàn)，算法的性能也得到深入透徹的研究。芬蘭學(xué)者Oja［1］和華裔學(xué)者Xu［2］等是該領(lǐng)域的開創(chuàng)者，他們的工作為該領(lǐng)域的發(fā)展奠定了良好的基礎(chǔ)。
早在1979年，Thompson［3］就提出了估計(jì)與樣本協(xié)方差矩陣最小特征值對(duì)應(yīng)的特征向量的最小均方（LMS）型自適應(yīng)方法，并結(jié)合Pisarenko譜估計(jì)子提供了角度/頻率的自適應(yīng)跟蹤算法。其后，許多學(xué)者開展了特征向量及其子空間跟蹤算法的研究［4］更多的是跟蹤信號(hào)子空間算法的研究，有的同時(shí)更新特征值和特征向量，有的是采用，矩陣?yán)碚撚?jì)算如經(jīng)典的特征值分解/奇異值分解的批處理方法，有的采用優(yōu)化理論來解決子空間跟蹤問題［5］。
在主子空間神經(jīng)網(wǎng)絡(luò)跟蹤研究領(lǐng)域，基于啟發(fā)式推理的算法，如Oja算法［6］、對(duì)稱誤差修正算法［7］和對(duì)稱后向傳播算法［8］等相繼被提出。分析表明，這幾個(gè)算法本質(zhì)上是相同的，被通稱為Oja算法。后來，最小均方誤差重構(gòu)算法（LMSER）被提出［9］，在該算法中著名的梯度搜索概念用來最小化一個(gè)均方誤差。不像Oja算法，該算法是全局收斂的，因?yàn)橹挥兄髯涌臻g實(shí)現(xiàn)均方誤差的全局最小而均方誤差的其他平穩(wěn)點(diǎn)都是鞍點(diǎn)�；谠摼秸`差，投影近似子空間跟蹤算法（PAST）［10］、共軛梯度算法［11］、高斯牛頓方法［12］等算法被提出。近來，一個(gè)新穎的信息準(zhǔn)則（NIC）被提出，基于該準(zhǔn)則，一種新穎的梯度算法和遞歸類主子空間跟蹤算法被提出［13］。后來，基于NIC準(zhǔn)則和加權(quán)矩陣，一個(gè)快速提取多個(gè)主成分的梯度算法和遞歸類算法被提出［14］。
20世紀(jì)90年代以來，基于反饋神經(jīng)網(wǎng)絡(luò)模型進(jìn)行次子空間跟蹤受到高度關(guān)注，相繼有多個(gè)次子空間神經(jīng)網(wǎng)絡(luò)跟蹤算法被提出來［15～22］。使用膨脹方法，Luo等［15］提出了一個(gè)次子空間分析算法，該算法在運(yùn)行過程中不需要任何標(biāo)準(zhǔn)化操作；Douglas等［16］提出了一個(gè)自穩(wěn)定的次子空間分析算法，該算法不需要周期性的標(biāo)準(zhǔn)化操作，也沒有矩陣的逆運(yùn)算；Chiang等［17］顯示出一個(gè)學(xué)習(xí)算法采用合適的初始化而不是膨脹方法，就可以并行抽取多個(gè)次成分�；谝粋€(gè)信息準(zhǔn)則，Ouyang等［4］提出了一個(gè)自適應(yīng)次成分跟蹤器，該算法可以自動(dòng)發(fā)現(xiàn)次子空間而不需要采用膨脹方法。近年來，F(xiàn)eng等［19］提出了一個(gè)OJAm算法，將該算法推廣到用來跟蹤多個(gè)次成分或次子空間，使相應(yīng)的狀態(tài)矩陣收斂到次子空間的列正交基。最近，性能更為優(yōu)良的次成分及子空間跟蹤算法［23～25］被提出來，該領(lǐng)域新算法仍然在不斷發(fā)展中。
1.1.3 該領(lǐng)域目前的研究熱點(diǎn)
1.神經(jīng)網(wǎng)絡(luò)主/次成分分析算法的收斂性與穩(wěn)定性分析
對(duì)迭代或神經(jīng)網(wǎng)絡(luò)算法進(jìn)行收斂性和穩(wěn)定性分析是主/次成分分析領(lǐng)域十多年來的研究熱點(diǎn)。算法收斂性與穩(wěn)定性的直接研究和分析是一個(gè)非常難的課題，傳統(tǒng)上這些算法的收斂性是通過某種確定性的連續(xù)時(shí)間系統(tǒng)（deterministiccontinuoustime，DCT）來間接分析的。由隨機(jī)系統(tǒng)描述的特征提取神經(jīng)網(wǎng)絡(luò)算法可以由相應(yīng)的確定性連續(xù)時(shí)間系統(tǒng)來表示，這種表示需要許多假設(shè)性條件，其中之一是要求學(xué)習(xí)因子收斂到零，這在很多實(shí)際應(yīng)用是一個(gè)強(qiáng)加的不合理的要求。通過DCT系統(tǒng)證明已經(jīng)收斂的算法，是否存在發(fā)散或不穩(wěn)定的可能？2002年意大利學(xué)者Cirrincione等對(duì)一些次成分分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行了研究［20］，首次根據(jù)黎曼度量來分類次成分分析線性核，并通過誤差損失退化的分析證明了在接近收斂的時(shí)候算法的不同行為。同時(shí)，對(duì)算法進(jìn)行了直接的隨機(jī)離散時(shí)間系統(tǒng)（stochasticdiscretetime，SDT）分析，發(fā)現(xiàn)了突然發(fā)散、動(dòng)態(tài)發(fā)散和數(shù)值發(fā)散，這一發(fā)現(xiàn)推動(dòng)了該領(lǐng)域的研究。然而，DCT和SDT雖然可以分析得出算法是否收斂與穩(wěn)定，卻不能求出具體收斂與穩(wěn)定的充分條件或邊界條件。西班牙學(xué)者Zufiria［26］提出一種確定性的離散時(shí)間系統(tǒng)（deterministicdiscretetime，DDT）來間接解釋由隨機(jī)離散時(shí)間系統(tǒng)描述的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的動(dòng)力學(xué)系統(tǒng)，DDT刻畫的是核節(jié)點(diǎn)的平均進(jìn)化行為，保持了原網(wǎng)絡(luò)的離散時(shí)間形式，要求學(xué)習(xí)因子保持常數(shù)，得到的是該類學(xué)習(xí)算法的更真實(shí)的動(dòng)態(tài)行為。在此基礎(chǔ)上，近年來我國(guó)學(xué)者Yi等［27］研究團(tuán)隊(duì)對(duì)DDT方法進(jìn)行了深入研究和推廣，研究了幾乎所有現(xiàn)有的主/次成分分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，推導(dǎo)了一系列算法各自收斂和穩(wěn)定的成分條件及邊界條件，大大推進(jìn)了次成分分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法性能的研究，形成了從2005～2009年國(guó)際上神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)學(xué)術(shù)研究熱點(diǎn)。
2.神經(jīng)網(wǎng)絡(luò)主/次成分分析自穩(wěn)定算法
一個(gè)神經(jīng)網(wǎng)絡(luò)主/次成分分析方法以及主/次子空間跟蹤算法如果在算法迭代更新過程中，神經(jīng)網(wǎng)絡(luò)的權(quán)向量或權(quán)矩陣的模值隨著時(shí)間的進(jìn)行發(fā)散到無窮，則不利于算法的實(shí)際應(yīng)用。解決的途徑有兩個(gè)，一是在迭代更新過程中每步或者定期將權(quán)向量或權(quán)矩陣的模值實(shí)行規(guī)范化處理，使其模值長(zhǎng)度等于1；另一種探索權(quán)向量模值自穩(wěn)定的算法［16，19，21］，無論初始權(quán)向量模值大小，使算法在更新過程中權(quán)向量或權(quán)矩陣的模值自動(dòng)收斂于某一固定值或者為1。為了克服神經(jīng)網(wǎng)絡(luò)算法在迭代過程中權(quán)向量模值發(fā)散問題，尋求權(quán)向量模值自穩(wěn)定的主/次成分神經(jīng)網(wǎng)絡(luò)算法是該領(lǐng)域一個(gè)研究熱點(diǎn)，在這些自穩(wěn)定的學(xué)習(xí)算法中，神經(jīng)網(wǎng)絡(luò)核的權(quán)向量保證收斂到一個(gè)規(guī)范化的主/次成分或者神經(jīng)網(wǎng)絡(luò)核的權(quán)矩陣保證收斂到一個(gè)規(guī)范化的主/次子空間。當(dāng)前，自穩(wěn)定特性已經(jīng)成為神經(jīng)網(wǎng)絡(luò)主/次成分分析方法及主/次子空間跟蹤算法的一個(gè)必備的特性。
3.統(tǒng)一或雙目的主/次成分分析自穩(wěn)定算法
最初的主/次成分分析算法以及主/次子空間分析是各自獨(dú)立發(fā)展的，大量的算法被提出來，并得到廣泛的應(yīng)用。主成分與次成分算法之間存在怎樣的關(guān)系？一個(gè)自然的想法是在一個(gè)主成分分析（或者主子空間跟蹤）算法中，通過改變相關(guān)矩陣的符號(hào)或者取原矩陣的逆矩陣，或者僅僅改變學(xué)習(xí)因子的符號(hào)便可以實(shí)現(xiàn)次成分分析（或者次子空間跟蹤），反過來也一樣。實(shí)踐證明這樣的變換常常不成立，要么不能實(shí)現(xiàn)另一種成分分析或者子空間跟蹤，要么雖然可以實(shí)現(xiàn)預(yù)期的功能但是算法更新過程中，神經(jīng)網(wǎng)絡(luò)的權(quán)向量或者權(quán)矩陣由收斂變成發(fā)散。在文獻(xiàn)［28］，［29］中，Chen等提出了主成分分析/主子空間分析和次成分分析/次子空間分析之間的一種轉(zhuǎn)換機(jī)制，分析顯示通過這種轉(zhuǎn)換機(jī)制，每一個(gè)主成分分析算法都配有一個(gè)次成分分析算法，反過來也一樣。這樣基本解決了上述問題，通過這一轉(zhuǎn)換機(jī)制，導(dǎo)出的雙目算法具有不同的算法結(jié)構(gòu)形式。那么，是否有一個(gè)統(tǒng)一的神經(jīng)網(wǎng)絡(luò)算法，該算法僅僅通過改變同一學(xué)習(xí)規(guī)則中的符號(hào)就能夠進(jìn)行主成分分析與次成分分析或者主/次子空間跟蹤，無疑這樣的算法更具有現(xiàn)實(shí)意義，可以減少硬件設(shè)施的復(fù)雜性和成本。近十多年來，尋求統(tǒng)一或雙目的主/次成分分析（或者主/次子空間分析）算法是該領(lǐng)域的一個(gè)研究熱點(diǎn)［29～31］。
1.2 特征提取與子空間跟蹤基礎(chǔ)
由次成分張成的子空間稱為次子空間，而由主成分張成的子空間稱為主子空間，單維主成分分析或單維次成分分析可以認(rèn)為是主子空間跟蹤或次子空間跟蹤的特殊形式。在主成分或次成分神經(jīng)網(wǎng)絡(luò)領(lǐng)域，芬蘭學(xué)者Oja等作出了開創(chuàng)性的工作。為了對(duì)次成分、主成分、次子空間以及主子空間及其應(yīng)用有一個(gè)清晰的理解，下面從子空間的角度對(duì)這些概念及其數(shù)學(xué)描述與物理意義進(jìn)行介紹［5］。

你還可能感興趣

我要評(píng)論