隨著社交網(wǎng)絡(luò)的快速發(fā)展和廣泛使用,越來越多的圖像和視頻涌現(xiàn)到網(wǎng)絡(luò)上,與文本信息一起構(gòu)成社交媒體內(nèi)容的主要組成部分。相對(duì)于較短的文本信息而言,圖像在視覺感知上具有更強(qiáng)的沖擊力,能提供更為生動(dòng)的描述。圖像不僅在情感層面上影響人,也能夠展現(xiàn)隱藏在背后的用戶情感,因而圖像情感分析成為新的研究熱點(diǎn)。
人們通過視覺系統(tǒng)獲取圖像并做出感知回應(yīng)。眼睛有著接收及分析視像的不同能力,從而組成知覺,以辨認(rèn)物象的外貌和所處的空間(距離),以及該物在外形和空間上的改變。腦部將眼睛接收到的物象信息,分析出4類主要資料,就是有關(guān)物象的空間、色彩、形狀及動(dòng)態(tài)。有了這些數(shù)據(jù),人們可辨認(rèn)外物和對(duì)外物做出及時(shí)和適當(dāng)?shù)姆磻?yīng)。圖像信息經(jīng)過視覺感知系統(tǒng)傳遞到大腦,大腦通過圖像的分析和理解獲得對(duì)周圍世界感知的信息和知識(shí),整個(gè)過程是非常復(fù)雜的。一圖勝千言,通過視覺感知系統(tǒng),人可以輕易地感知圖像并對(duì)感覺進(jìn)行評(píng)價(jià),但換做計(jì)算機(jī),是否可以輕易地做出與人相似的感知結(jié)果呢?這一研究一直是一個(gè)挑戰(zhàn)。
興起于日本的感性工學(xué),是一種將人的感知和計(jì)算機(jī)應(yīng)用結(jié)合起來的方法,在歐美國家也將其稱為情感計(jì)算方法。感性工學(xué)以消費(fèi)者的情感反應(yīng)與認(rèn)知作為研究基礎(chǔ),通過統(tǒng)計(jì)分析及計(jì)算機(jī)技術(shù)的運(yùn)作,構(gòu)建出符合消費(fèi)者感覺意象的產(chǎn)品。在過去的30年里,感性工學(xué)已經(jīng)從初的汽車設(shè)計(jì)拓展到各種產(chǎn)品設(shè)計(jì)領(lǐng)域并設(shè)計(jì)出一大批非常成功的產(chǎn)品,如電子產(chǎn)品、機(jī)械設(shè)備、日常用品和服裝等。近年來,其研究內(nèi)容又在不斷擴(kuò)大,不僅從有形產(chǎn)品的研究領(lǐng)域擴(kuò)展到人機(jī)交互界面、網(wǎng)站界面設(shè)計(jì)、軟件設(shè)計(jì)及機(jī)器人工學(xué)的研究,也從工學(xué)應(yīng)用層面擴(kuò)展到人的腦機(jī)能、知覺認(rèn)知等方面,進(jìn)而研究使人產(chǎn)生直覺感受(包括快感、感情等)的生理機(jī)能。
情感計(jì)算是關(guān)于情感、情感產(chǎn)生及影響情感方面的計(jì)算,其目的是賦予計(jì)算機(jī)識(shí)別、理解、表達(dá)和生成各種情感特征的能力,終使計(jì)算機(jī)像人一樣能進(jìn)行自然、親切和生動(dòng)的交互。情感計(jì)算研究的重點(diǎn)就是通過各種傳感器獲取由人的情感所引起的生理及行為特征信號(hào),建立情感模型,從而創(chuàng)建具有感知、識(shí)別和理解人類情感的能力,并針對(duì)用戶的情感做出智能、靈敏和友好反應(yīng)的個(gè)人計(jì)算機(jī)系統(tǒng),從而縮短人機(jī)之間的距離,營造真正和諧的人機(jī)
環(huán)境。
圖像情感,指的是圖像本身所蘊(yùn)含的、所能引發(fā)的人的情感狀態(tài)。圖像是客觀和主觀的結(jié)合體,圖像不僅是客觀事物的生動(dòng)描述,也能激發(fā)人們看到圖像時(shí)所產(chǎn)生的情感。作為人類表達(dá)情感與想法的主要途徑之一,圖像情感在實(shí)際生活中有著很多重要的應(yīng)用。例如,人們?cè)谛蕾p美景、美圖時(shí),希望能配上一段合適的音樂;或者用戶在選擇家里繪畫裝飾時(shí),可以基于用戶情感的個(gè)性化推薦合適的畫作。
那么如何讓計(jì)算機(jī)更好地理解圖片中的情感呢,視覺情感又是一個(gè)什么問題呢?人類的情感變化又受什么視覺因素影響呢?帶著上述問題,本書圍繞圖像的視覺感知和情感建模進(jìn)行撰寫,從圖像與視覺感知、圖像與情感、圖像情感建模方法和圖像情感應(yīng)用幾個(gè)方面展開。
本書著重反映了圖像視覺感知情感分析中的兩個(gè)熱點(diǎn)研究問題:圖像的美學(xué)情感建模和圖像的視覺復(fù)雜度感知建模,書中的許多內(nèi)容是作者的研究成果,部分研究成果尚未正式發(fā)表。借本書出版之際,我要特別感謝我的博士生導(dǎo)師淺野晃教授(日本關(guān)西大學(xué))、栗田多喜夫教授(日本廣島大學(xué))和淺野村木千惠教授(日本北海道教育大學(xué)),以及我的師兄李亮副教授(日本立命館大學(xué)),他們不僅在學(xué)術(shù)上給予了我嚴(yán)謹(jǐn)和悉心的指導(dǎo),也在我的工作及生活上給了很大的幫助,在這里謹(jǐn)向他們表示誠摯的謝意。同時(shí),我也特別感謝山西大學(xué)大數(shù)據(jù)科學(xué)與產(chǎn)業(yè)研究院院長錢宇華教授、我的團(tuán)隊(duì)成員白茹意老師和賈春花老師、我的碩士生及其他同事們,在他們的鼓勵(lì)和幫助下,我順利地完成了本書的撰寫工作。
本書的出版得到了國家自然科學(xué)基金項(xiàng)目(No.61603228)、山西省回國留學(xué)人員科研教研資助項(xiàng)目(No.HGKY2019001)、山西省面上青年基金項(xiàng)目(No.201901D211171)、山西省高等學(xué)?萍紕(chuàng)新項(xiàng)目(No. 2020L0036)及山西省研究生教育創(chuàng)新計(jì)劃項(xiàng)目(No.2021YJJG006)的資助,在此一并表示感謝。
由于筆者時(shí)間有限,書中錯(cuò)誤和不妥在所難免,懇請(qǐng)同行和廣大讀者批評(píng)指正。