第一部分 背景與理論
第1章 背景與意義 2
1.1 國(guó)家重視課堂學(xué)習(xí)行為分析的引領(lǐng)作用 2
1.1.1 課堂學(xué)習(xí)行為分析是落實(shí)個(gè)性化培養(yǎng)的重要舉措 2
1.1.2 課堂學(xué)習(xí)行為分析是加快教育新基建的重要舉措 3
1.1.3 課堂學(xué)習(xí)行為分析是促進(jìn)教育“以人為本”發(fā)展的重要舉措 4
1.1.4 其他國(guó)家在“人工智能+教育”領(lǐng)域的行動(dòng)計(jì)劃 5
1.2 要解決的問(wèn)題 6
1.3　國(guó)內(nèi)外的研究現(xiàn)狀 9
1.3.1 課堂學(xué)習(xí)行為的視覺(jué)感知 9
1.3.2 分析國(guó)內(nèi)外的研究現(xiàn)狀 10
1.4　視覺(jué)感知原理 19
1.4.1 計(jì)算機(jī)視覺(jué)驅(qū)動(dòng)的行為感知基礎(chǔ) 19
1.4.2 課堂學(xué)習(xí)行為的理解與認(rèn)知 21
1.4.3 課堂學(xué)習(xí)行為的智能評(píng)測(cè) 21
1.5　總體研究框架 22
參考文獻(xiàn) 23
第2章 學(xué)習(xí)者興趣建模理論模型 31
2.1　興趣概念的界定與分類 31
2.1.1 興趣的概念界定 31
2.1.2 不同角度的分類 32
2.2　興趣的獲取方式與表示方法 33
2.2.1 興趣的獲取方式 33
2.2.2 興趣的表示方法 33
2.3　學(xué)習(xí)者興趣建模 34
2.3.1 學(xué)習(xí)者興趣模型的概念框架 34
2.3.2 學(xué)習(xí)者興趣模型的表示方法 37
2.4　學(xué)習(xí)者興趣模型量化指標(biāo)分析 38
2.4.1 課堂注意力量化指標(biāo) 38
2.4.2 課堂參與度量化指標(biāo) 40
2.4.3 學(xué)習(xí)情感的量化指標(biāo) 42
2.5　學(xué)習(xí)者興趣模型量化分析技術(shù) 43
2.5.1 興趣量化指標(biāo)的采集方法 44
2.5.2 單維度的興趣指標(biāo)量化技術(shù) 48
參考文獻(xiàn) 52
第二部分 關(guān)鍵技術(shù)
第3章 課堂學(xué)習(xí)行為數(shù)據(jù)集構(gòu)建 56
3.1　頭部姿態(tài)的數(shù)據(jù)集 56
3.1.1 采集場(chǎng)景設(shè)計(jì)與布置 57
3.1.2 方案規(guī)劃與數(shù)據(jù)采集 60
3.1.3 數(shù)據(jù)后處理及數(shù)據(jù)庫(kù)設(shè)計(jì) 61
3.2　人體姿態(tài)的數(shù)據(jù)集 63
3.3　已有的數(shù)據(jù)集 64
3.3.1 面部表情圖像數(shù)據(jù)集 64
3.3.2 視線估計(jì)數(shù)據(jù)集的介紹 66
3.3.3 頭部姿態(tài)數(shù)據(jù)集的介紹 68
3.3.4 人體姿態(tài)數(shù)據(jù)集的介紹 70
3.4 參考鼠標(biāo)軌跡數(shù)據(jù)的面部表情圖像標(biāo)注 71
3.4.1 攝像頭和鼠標(biāo)軌跡數(shù)據(jù)的采集與處理 71
3.4.2 標(biāo)注方法的選擇與數(shù)據(jù)標(biāo)準(zhǔn)的一致性檢驗(yàn) 74
3.5　數(shù)據(jù)集建立小結(jié) 79
參考文獻(xiàn) 79
第4章 面部表情識(shí)別方法 82
4.1　基礎(chǔ) 82
4.1.1 人工神經(jīng)網(wǎng)絡(luò) 82
4.1.2 卷積神經(jīng)網(wǎng)絡(luò) 86
4.1.3 圖卷積神經(jīng)網(wǎng)絡(luò) 88
4.1.4 標(biāo)簽分布學(xué)習(xí)技術(shù) 91
4.2 基于高斯先驗(yàn)分布的表情識(shí)別方法 92
4.2.1 情感標(biāo)簽分布設(shè)計(jì) 93
4.2.3 基于標(biāo)簽分布學(xué)習(xí)的表情識(shí)別模型構(gòu)建 96
4.3 基于圖卷積網(wǎng)絡(luò)與K近鄰圖的面部表情識(shí)別 99
4.3.1 面部表情特性的挖掘 99
4.3.2 基于圖卷積網(wǎng)絡(luò)與K近鄰圖的情感標(biāo)簽分布構(gòu)建 102
4.3.3 K近鄰圖的情感標(biāo)簽分布構(gòu)建 105
4.3.4 情感標(biāo)簽分布建模與優(yōu)化 106
4.4　建議及對(duì)未來(lái)的思考 108
參考文獻(xiàn) 109
第5章 視線估計(jì)方法 111
5.1　基礎(chǔ) 111
5.2 基于復(fù)合損失卷積神經(jīng)網(wǎng)絡(luò)的視線估計(jì)方法 112
5.3　基于頭戴式設(shè)備的視線估計(jì) 115
5.3.1 校準(zhǔn)數(shù)據(jù)的準(zhǔn)備 117
5.3.2 HMD的自標(biāo)定 118
5.3.3 3D的PoR估計(jì) 120
5.4　建議及對(duì)未來(lái)的思考 121
參考文獻(xiàn) 122
第6章 頭部姿態(tài)估計(jì)方法 123
6.1　基礎(chǔ) 123
6.1.1 頭部姿態(tài)低容忍性分析 123
6.1.2 精細(xì)化頭部姿態(tài)標(biāo)簽設(shè)計(jì) 124
6.1.3 姿態(tài)表示差異性分析 125
6.1.4 基于矩陣費(fèi)雪分布的旋轉(zhuǎn)矩陣參數(shù)化 127
6.1.5 標(biāo)簽平滑正則化技術(shù) 129
6.2　各向異性的分布學(xué)習(xí) 130
6.2.1 頭部姿態(tài)的兩個(gè)觀察及驗(yàn)證 130
6.2.2 各向異性的姿態(tài)分布模型構(gòu)建 133
6.2.3 基于極大后驗(yàn)估計(jì)的損失函數(shù)推導(dǎo) 134
6.2.4 基于空間權(quán)重的網(wǎng)絡(luò)架構(gòu) 135
6.3　基于三元組架構(gòu)的頭部姿態(tài)估計(jì) 137
6.3.1 三元組網(wǎng)絡(luò)架構(gòu) 137
6.3.2 頭部姿態(tài)精細(xì)化估計(jì) 138
6.3.3 基于三元組架構(gòu)的精細(xì)化頭部姿態(tài)估計(jì)模型 139
6.3.4 損失函數(shù)和模型優(yōu)化 140
6.4 基于矩陣費(fèi)雪分布的頭部姿態(tài)估計(jì)方法 141
6.4.1 矩陣費(fèi)雪分布模塊構(gòu)建 141
6.4.2 模型架構(gòu)設(shè)計(jì) 142
6.4.3 損失函數(shù)和模型優(yōu)化 143
6.5 建議及對(duì)未來(lái)的思考 144
參考文獻(xiàn) 145
第7章 人體姿態(tài)估計(jì)方法 146
7.1　基礎(chǔ) 146
7.1.1 基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)方法介紹 146
7.1.2 目標(biāo)檢測(cè) 148
7.1.3 非極大值抑制 150
7.1.4 HRNet網(wǎng)絡(luò)框架 151
7.1.5 姿態(tài)估計(jì)回歸方式 152
7.2　基于骨骼線索感知的HPE模型構(gòu)建 153
7.2.1 基于骨骼線索感知的高斯坐標(biāo)編碼 153
7.2.2 面向姿態(tài)估計(jì)的EHPE模型構(gòu)建 158
7.3　基于像素表征學(xué)習(xí)的CHRNet網(wǎng)絡(luò)設(shè)計(jì) 161
7.3.1 前背景權(quán)重組件 161
7.3.2 AF1-measure評(píng)估策略 162
7.3.3 CHRNet網(wǎng)絡(luò)架構(gòu) 163
7.4　建議及對(duì)未來(lái)的思考 163
參考文獻(xiàn) 164
第三部分 應(yīng)用與未來(lái)趨勢(shì)
第8章 課堂學(xué)習(xí)行為的多模態(tài)融合 168
8.1　過(guò)程性的融合 168
8.1.1 多模態(tài)數(shù)據(jù)融合的層次 168
8.1.2 過(guò)程性融合的關(guān)鍵問(wèn)題 169
8.2　決策性融合 172
8.3　混合性的融合 174
8.3.1 分層信息融合方法 175
8.3.2 混合性融合 176
參考文獻(xiàn) 177
第9章 應(yīng)用與未來(lái)趨勢(shì) 178
9.1　應(yīng)用1：智慧教室中的學(xué)生興趣模型應(yīng)用實(shí)例分析 178
9.1.1 《酸堿鹽》案例基本信息 178
9.1.2 學(xué)習(xí)行為數(shù)據(jù)采集 180
9.1.3 學(xué)生的課堂興趣量化分析 182
9.2　應(yīng)用2：基于鼠標(biāo)軌跡和面部表情的投入度分析 182
9.3　應(yīng)用3：基于關(guān)鍵點(diǎn)位置信息的學(xué)習(xí)者課堂狀態(tài)分析機(jī)制 185
9.3.1 學(xué)習(xí)者行為識(shí)別路線 186
9.3.2 學(xué)習(xí)行為分析指標(biāo) 188
9.3.3 學(xué)習(xí)者行為狀態(tài)判別系統(tǒng)構(gòu)建 189
9.4　應(yīng)用4：基于頭部姿態(tài)的學(xué)習(xí)者注意力感知與分析 190
9.4.1 實(shí)驗(yàn)數(shù)據(jù)采集 191
9.4.2 學(xué)習(xí)者注意力感知分析 192
9.5 未來(lái)趨勢(shì) 195
后記 197