本書圍繞面向深度神經(jīng)網(wǎng)絡(luò)的增廣二階優(yōu)化器展開研究，在二階優(yōu)化器的基礎(chǔ)上，通過結(jié)合三次正則項，構(gòu)建能利用高階梯度信息的損失函數(shù)；為了避免計算完整的海森矩陣和進一步加速迭代收斂過程，提出了各類矩陣更新和動量加速規(guī)則，從而得到性能更優(yōu)的增廣二階優(yōu)化器。同時，面向有能耗約束和嵌入式硬件設(shè)備實施的深度估計應(yīng)用，本書分別提出了投影增廣二階優(yōu)化器和近端增廣二階優(yōu)化器。