第一章緒論

1.1選題背景

漢字是漢語書寫用的文字，狹義指以正楷作為標準寫法的漢字。因形狀方正，漢字有“方塊字”之稱。從結構上來看，漢字字體規(guī)整，每個字占據(jù)幾乎同樣的空間。由表意象形字根如金、木、水、火、土等，像積木一樣組合而成。漢字包括獨體字和合體字，獨體字不能分割，合體字由部件組合構成，占漢字數(shù)量的90%以上。漢字的部件包括獨體字、偏旁部首和其他不成字部件。漢字的合體結構有12種，分為：左右、上下、左中右、上中下、左上包、右上包、左三包、左下包、上三包、下三包、全包圍和鑲嵌結構。

筆畫是漢字的最小構成單位，指一次連續(xù)寫成的線條。筆畫分為橫、豎、撇、捺、點、提等31個基本種類。書寫漢字時，筆畫出現(xiàn)的先后順序，即“筆順”，是比較固定的，其基本規(guī)則是，先橫后豎，先撇后捺，從上到下，從左到右，先外后內，先外后內再封口，先中間后兩邊。筆畫的數(shù)目、形狀、空間組合關系等因素構成了漢字形體區(qū)別特征，這是文字形體的一個基本屬性。

在漢語國際教育逐步推廣的背景下，漢語教學往往把培養(yǎng)留學生的交際能力放在首位，同時使其具備運用漢語進行聽說讀寫的能力，其中的讀和寫會涉及漢字。從書寫元素看，在組成常用漢字的筆畫中，橫、豎、撇、點、捺、提的使用頻率為77.82%，而書寫元素的重復率、結構單位的相似度越高,結構方式的一致性越大,漢字形體所提供的區(qū)分度就越小，書寫的錯誤率也就會越高。所以，筆畫的書寫錯誤將直接導致部件乃至整字的錯誤。

對于留學生書寫漢字最早采用紙筆的傳統(tǒng)模式進行采集和記錄，授課教師通過課上實時觀察進行指導或課后收取紙質作業(yè)進行評判教學。然而，在傳統(tǒng)的課堂教學中，教師即便積極觀察，也很難全面了解到學生在課堂上的學習情況，尤其是漢字書寫的具體情況，更難以對每個學生的漢字書寫過程進行及時指導。不僅如此，在課后作業(yè)的評改中，傳統(tǒng)紙筆的記錄方式難以讓教師直觀了解學生漢字書寫的動態(tài)過程，因而無法全面知曉學生在課后的漢字掌握情況。同時，通過教師在批改中批注給學生的反饋糾正，如漢字書寫的示范，學生也無法去準確地了解筆畫的書寫順序和特點，只能看到一個完成版的“畫像”。

在將學生書寫的漢字記錄輸入計算機的時候，早期研究者將紙版記錄通過照相、掃描等方式轉為數(shù)字圖像文件，并保存在計算機中。后來，有學者使用攝像機對學生的書寫過程進行實時拍攝，將形成的視頻文件保存于計算機中。該方法可以較完整地記錄學生的書寫過程，但不足之處在于視頻文件往往容量較大，不利于保存和傳輸。

數(shù)字墨水的出現(xiàn)，有效地解決了這些不足，它利用手寫板、數(shù)碼筆等筆式輸入設備書寫文字，書寫軌跡通過定時采樣輸入計算機中。

近些年不少學者在漢字智能教學方面一直在不停探索[7-9]，開發(fā)出了一些可以應用于實際的漢字教學軟件系統(tǒng)[10-14]。常見的練字系統(tǒng)通常采用的是漢字處理機制，即用戶輸入一個漢字，軟件系統(tǒng)對用戶輸入的每一筆或對整字進行處理反饋。

隨著數(shù)據(jù)采集設備的升級和大數(shù)據(jù)量處理的需要，數(shù)字墨水數(shù)據(jù)批量采集和處理分析的處理流程和練字系統(tǒng)有較大不同。因此，本書提出的漢字書寫的分析系統(tǒng)總體來說，首先使用數(shù)據(jù)采集設備批量采集數(shù)字墨水數(shù)據(jù)后輸入計算機系統(tǒng)，再對筆畫數(shù)據(jù)進行單字分割和漢字識別提取出書寫字，在模板庫中檢索出對應的模板字，再將書寫字與模板字進行筆畫匹配，進行人機交互校正后，根據(jù)匹配結果進行分析、檢測書寫錯誤，如圖1所示。

對以西文為母語的留學生來說，尤其是初學者，對于漢字的結構特征和書寫習慣不熟悉不了解，把漢字當作符號進行勾畫，畫出來的字千差萬別，這屬于系統(tǒng)前階段的錯誤。而漢字教學經常是重理據(jù)而輕字形，導致一些中高級階段的留學生仍有很多書寫錯誤，從而影響整體的漢語水平。因此，對于書寫錯誤的研究，尤其是筆畫錯誤的研究很有必要。

1.2研究問題

在對留學生數(shù)字墨水漢字書寫錯誤的研究中，雖然前人已經做了大量的工作和嘗試，但仍存在一些需要優(yōu)化和急需解決的問題，在單字分割、漢字識別、筆畫匹配、人機交互校正和錯誤提取等方面都有一些需要優(yōu)化的地方。本書研究的問題涵蓋以下內容。

（1）針對數(shù)字墨水漢字的自動分割技術。在數(shù)字墨水的計算技術中，墨水的分割技術非常重要，是數(shù)字墨水的結構化編輯和識別的基礎。它包括自動分割、分割結果的可視化和校正。自動分割指從原始筆跡中快速準確地提取單字、文本行和文本段。在中文數(shù)字墨水文本的分割技術中，由于文本行和文本段之間一般有天然的間隔，分割處理中對于行提取和段提取相對容易。本書將研究重點放在單字提取上，重點研究單字提取方法、單字提取結果的可視化方法及針對單字提取結果的交互式校正方法。

（2）存在書寫錯誤的留學生手寫漢字的識別。漢字的識別是書寫漢字智能分析的基礎，雖然中文漢字識別技術已經實現(xiàn)了較高的識別率，但現(xiàn)有的方法從特征提取到分類器的訓練，從訓練樣本到測試數(shù)據(jù)，大都以中文母語者為研究對象。而留學生所寫的漢字和母語者在筆畫結構特征和書寫習慣上有很多不同[16]，特別是當出現(xiàn)書寫的錯誤的情況時，漢字結構特征的改變會增加識別的難度。因此，需要提出針對留學生書寫特點和存在書寫錯誤的手寫漢字的識別方法。

（3）面向書寫錯誤提取的筆畫匹配方法。筆畫匹配是書寫錯誤分析的主流方法和前提條件，基于模板字的筆畫匹配本身可看作一種組合優(yōu)化問題。留學生書寫質量的千差萬別使得問題的規(guī)模和復雜程度增大，尤其是存在書寫錯誤的筆畫，無論是整個筆畫錯誤還是筆畫局部錯誤，都使得筆畫匹配問題不僅僅是一種組合優(yōu)化問題，還需要考慮問題所處理數(shù)據(jù)的級別。因此，需要提出自適應的筆畫匹配方法，使得匹配結果對于不同類型的書寫錯誤都有較好的針對性。

（4）針對筆畫匹配結果的可視化及人機交互校正方法。由于系統(tǒng)自動方法難以得到完全正確的數(shù)據(jù)結果，所以作為評價所提方法性能的必要條件，需要進行人機交互校正得到正確的數(shù)據(jù)進行對比實驗。有效的人機交互方法，可以減少時間成本，提高效率。人機交互之前，需要針對筆畫匹配結果進行可視化表示，才能使校正者進行視覺感知，完成校正。有效的可視化方法可以減輕認知負擔，同時準確表示需要顯示的信息。因此，需要設計針對筆畫匹配結果的可視化方法并在此基礎上進行人機交互校正。

（5）留學生書寫筆畫錯誤提取的方法。在漢語教學研究中，針對漢字書寫錯誤研究，前人做出了大量的工作。然而，研究對象多以中文母語者為主，與之相比留學生的書寫習慣和特點差異較大；此外，研究對于書寫錯誤的分類大都以專家系統(tǒng)為主的經驗規(guī)則展開，方法的主觀性及書寫數(shù)據(jù)的隨意性的矛盾使提取結果難以穩(wěn)定。因此，需要從書寫數(shù)據(jù)本身出發(fā)，通過動態(tài)生成的筆畫匹配結果提取筆畫錯誤。

1.3本書工作

本書針對上述問題，做了以下的工作。

（1）面向中文數(shù)字墨水文本的單字提取技術。從分割算法、可視化方法和交互校正三個方面對數(shù)字墨水的單字提取問題進行討論，針對中文數(shù)字墨水文本中單字特點，提出了遞歸分割方法；針對單字提取結果中的錯誤類型，提出了面向錯誤分類的分割方法；針對單字提取結果的重疊問題，提出了自適應可視化方法；為提高校正提取結果的效率，提出了單字提取結果的可信度評價指標和基于可信度的可視化方法；通過分析用戶的校正意圖并結合可視化的圖形，提出了以可視化圖形為參考對象和輔助工具，符合用戶意圖的交互式校正方法。

（2）采用書寫層次模型的漢字識別方法及其改進方法。本書針對留學生書寫習慣及特點，從筆畫、部件結構及整字筆畫名稱序列等書寫元素出發(fā)，根據(jù)不同層次結構特點進行優(yōu)化，進而識別漢字。首先以整字中心線為依據(jù)將書寫字的部件結構按上下、左右及其他進行分類；根據(jù)部件分類結果對在候選字庫中進行篩選；再通過7900余份手寫數(shù)據(jù)訓練了一個基于隱馬爾可夫模型的筆畫分類器；接著使用這個分類器將書寫漢字中每個筆畫進行識別，根據(jù)書寫時序信息組成筆畫名稱序列；最后在篩選庫中根據(jù)筆畫名稱序列進行二次篩選，給出識別備選字。此外，書中還進一步改進了筆畫分類器，采用隱條件隨機場模型進一步提升了識別率。