今日頭條
官方微信
官方抖音
資訊頻道 如何讓計(jì)算機(jī)認(rèn)識(shí)人、認(rèn)識(shí)字、認(rèn)識(shí)圖,而且不會(huì)認(rèn)錯(cuò),這個(gè)中華文化在現(xiàn)代新技術(shù)條件下傳承發(fā)展的難關(guān),被清華大學(xué)丁曉青教授帶領(lǐng)的智能圖文信息處理研究室攻克了。他們賦予了計(jì)算機(jī)與人相似的“識(shí)圖認(rèn)字”能力與“視覺(jué)感知”功能,成為世界這一領(lǐng)域的領(lǐng)跑者。
攀登智能文字識(shí)別之巔
2008年,有一套大型出版物問(wèn)世:總計(jì)19億漢字,全套132卷,這就是《人民日?qǐng)?bào)圖文電子版縮印本(1946—2006)》。它的文字量遠(yuǎn)遠(yuǎn)超過(guò)約8.9億字的《四庫(kù)全書(shū)》,而電子版卻凝縮在19張DVD光盤中。這是由青蘋果數(shù)據(jù)中心應(yīng)用丁曉青教授自主研發(fā)的“THOCR基于識(shí)別的原文重現(xiàn)系統(tǒng)”歷時(shí)5年制作完成的。
丁曉青拿出其中一本告訴記者:“它是經(jīng)版面分析、識(shí)別、理解,最后自動(dòng)精確重構(gòu)為原式原樣的標(biāo)準(zhǔn)格式電子出版物,實(shí)現(xiàn)了文本和版面數(shù)據(jù)的雙平臺(tái)閱讀、檢索、下載和打印功能。”青蘋果數(shù)據(jù)中心在清華大學(xué)文字識(shí)別技術(shù)的支持下,已經(jīng)完成幾百種報(bào)紙、文獻(xiàn)、雜志的數(shù)字化,覆蓋中日韓文,達(dá)3500億萬(wàn)字。
上世紀(jì)80年代,漢字能否進(jìn)入計(jì)算機(jī)成為關(guān)乎中華文化傳承的大問(wèn)題。“當(dāng)時(shí)形勢(shì)非常嚴(yán)峻,如果不能實(shí)現(xiàn)這個(gè)突破,就只能使用拼音。我們中華民族的五千年文明,難道要在計(jì)算機(jī)時(shí)代敗下陣來(lái)?”責(zé)任心的驅(qū)使,讓丁曉青走進(jìn)了文字識(shí)別這一領(lǐng)域,一干就是20多年。
漢文字識(shí)別之難,莫過(guò)于讓計(jì)算機(jī)認(rèn)字,而且保證它不會(huì)認(rèn)錯(cuò)字。當(dāng)時(shí)的研究者往往采用提取漢字筆劃的結(jié)構(gòu)識(shí)別方法,但是,筆劃提取和結(jié)構(gòu)描述十分困難,有限筆劃和特征的漢字描述,無(wú)法獲得必要的識(shí)別信息量。字型一旦出現(xiàn)細(xì)微差別,固執(zhí)的計(jì)算機(jī)就會(huì)翻臉不認(rèn)“字”。
在經(jīng)歷了拆筆劃識(shí)別算法等嘗試后,丁曉青獨(dú)辟蹊徑,提出模式識(shí)別信息熵理論,最早成功解決了多字體印刷漢字識(shí)別這一難題。簡(jiǎn)單地說(shuō),就是讓計(jì)算機(jī)通過(guò)圖像來(lái)進(jìn)行“全局性”認(rèn)字,就和我們認(rèn)字往往憑借視覺(jué)的感知一樣,讓計(jì)算機(jī)也懂得通過(guò)對(duì)文字整體結(jié)構(gòu)的判斷來(lái)認(rèn)字。多字體印刷漢字識(shí)別系統(tǒng)獲1992年國(guó)家科技進(jìn)步獎(jiǎng)三等獎(jiǎng)。
隨后,他們研發(fā)了高性能的綜合集成(印刷、脫機(jī)手寫和聯(lián)機(jī)手寫)漢字識(shí)別系統(tǒng),獲1998年國(guó)家科技進(jìn)步二等獎(jiǎng),居于國(guó)際領(lǐng)先水平。難度最大的手寫文檔——如手寫報(bào)表、支票、信封地址,以及數(shù)碼相機(jī)拍攝的文字,都可以被計(jì)算機(jī)成功識(shí)別。高性能東方文字(中日韓)文檔智能全信息數(shù)字化系統(tǒng),獲2003年國(guó)家科技進(jìn)步二等獎(jiǎng),在國(guó)際競(jìng)標(biāo)中奪標(biāo),授權(quán)美國(guó)微軟公司推廣使用。
丁曉青總是說(shuō),科研成果不應(yīng)束之高閣,而應(yīng)在實(shí)際應(yīng)用中大顯身手。自1992年以來(lái),他們的研究成果迅速產(chǎn)業(yè)化。TH-OCR系列軟件產(chǎn)品已在自主版權(quán)軟件出口、增值稅發(fā)票防偽識(shí)別、電子出版物制作上發(fā)揮著重要的作用。其中,防偽稅控識(shí)別系統(tǒng)應(yīng)用于全國(guó)數(shù)萬(wàn)稅務(wù)局、50萬(wàn)企業(yè)用戶,有效防止了稅收流失。
神奇的人臉識(shí)別認(rèn)證
在丁曉青的工作室,她展示了主動(dòng)視頻人臉檢測(cè)—跟蹤—識(shí)別監(jiān)控系統(tǒng)。當(dāng)攝像頭對(duì)準(zhǔn)記者的時(shí)候,屏幕上會(huì)出現(xiàn)“stranger”(陌生人)的提示;當(dāng)對(duì)準(zhǔn)丁教授時(shí),屏幕上出現(xiàn)她的名字和基本信息。
人臉識(shí)別系統(tǒng)是這個(gè)團(tuán)隊(duì)多年的心血結(jié)晶。它能適應(yīng)人臉姿態(tài)、表情、飾物變化,包括人臉檢測(cè)、眼睛定位、姿態(tài)估計(jì)、活體檢測(cè)、三維人臉識(shí)別和人體跟蹤。2005年6月,集成了丁曉青研發(fā)的TH-FaceID人臉驗(yàn)證系統(tǒng)的“旅客自助查驗(yàn)通道”在世界第一大陸路口岸深圳羅湖口岸投入使用。目前,深圳、珠海、北京、上海、廣州等地的邊檢口岸共已開(kāi)通了400多條自助通道,驗(yàn)放旅客超過(guò)2.5億人次,通過(guò)率98%,通關(guān)時(shí)間小于5秒/人。此舉節(jié)省了大量的人力物力,實(shí)現(xiàn)了旅客通關(guān)的自動(dòng)化、電子化和人性化,是世界人臉識(shí)別技術(shù)大規(guī)模成功應(yīng)用的范例。
目前,我國(guó)在人臉識(shí)別領(lǐng)域的研究已達(dá)到了國(guó)際領(lǐng)先水平。在2004年國(guó)際模式識(shí)別會(huì)議組織的國(guó)際高水平人臉驗(yàn)證國(guó)際評(píng)測(cè)中,清華大學(xué)研發(fā)的TH-FaceID,以全部三項(xiàng)評(píng)測(cè)均第一,測(cè)試誤差低于第二50%的極大優(yōu)勢(shì),獲“全面性能最優(yōu)成就”獎(jiǎng)。他們研制的人臉識(shí)別系統(tǒng)參加國(guó)際工業(yè)界最權(quán)威的人臉識(shí)別測(cè)試FRVT2006,也取得了國(guó)際領(lǐng)先的成績(jī),是全部性能優(yōu)于人眼認(rèn)證的領(lǐng)先算法。
說(shuō)到人臉識(shí)別技術(shù)的應(yīng)用,丁曉青說(shuō):“凡是需要身份認(rèn)證的地方都可以利用該技術(shù)。人臉識(shí)別技術(shù)可以代替用賬號(hào)、密碼登錄計(jì)算機(jī)的方式,用戶只需在開(kāi)機(jī)后看一下攝像頭,經(jīng)識(shí)別認(rèn)證就能成功登錄了;過(guò)海關(guān)不再需要專人來(lái)查驗(yàn)護(hù)照,只要刷一下卡,看一下攝像頭就可以了;另外還可以利用人臉識(shí)別技術(shù)查身份證的真?zhèn)巍⑾右煞覆樵儭⒐矆?chǎng)所敏感人物監(jiān)控。”
人臉識(shí)別遠(yuǎn)程監(jiān)控報(bào)警系統(tǒng)等已經(jīng)成功應(yīng)用于北京、天津、石家莊等地鐵路公安系統(tǒng)、ATM機(jī)監(jiān)控系統(tǒng)、北京和西藏等機(jī)場(chǎng)、安全系統(tǒng)、技防系統(tǒng)以及2010年上海世博會(huì)籌備工作,即便被識(shí)別者采用了戴眼鏡、貼胡須等易容手段,系統(tǒng)也能準(zhǔn)確地判定識(shí)別。
首創(chuàng)多民族文字識(shí)別系統(tǒng)
我國(guó)的少數(shù)民族文字字形不規(guī)則、連筆書(shū)寫,文檔的切分識(shí)別遇到極大困難。據(jù)丁曉青介紹,少數(shù)民族文字信息化的困難主要集中在利用智能化模式識(shí)別技術(shù)解決文字和文檔自動(dòng)計(jì)算機(jī)輸入問(wèn)題。讓電腦認(rèn)識(shí)少數(shù)民族文字,通過(guò)掃描儀把大量的蒙文、藏文、維文等民族文字輸入電腦,變成可以任意編輯、多次復(fù)制和能在網(wǎng)絡(luò)上快速傳播的電子文檔,這是少數(shù)民族文字實(shí)現(xiàn)信息化的關(guān)鍵。
這有相當(dāng)大的難度。由于民族文字信息化基礎(chǔ)薄弱,有的民族文字的基本字符集合和字符編碼標(biāo)準(zhǔn)尚不完善,相關(guān)語(yǔ)言資源庫(kù)較為匱乏,在收集用于訓(xùn)練識(shí)別器的字符樣本、用于測(cè)試的標(biāo)準(zhǔn)實(shí)際文檔樣本庫(kù)、以及用于建立語(yǔ)言模型的語(yǔ)料庫(kù)、詞典庫(kù)方面都要付出更多努力。
歷時(shí)8年,歷盡艱辛。在丁曉青團(tuán)隊(duì)的努力下,計(jì)算機(jī)終于能夠認(rèn)出在我們看來(lái)像“天書(shū)”一般的少數(shù)民族文字。丁曉青提出的蒙藏維哈柯朝多民族語(yǔ)言的、基于不同字符基元的切分和基元統(tǒng)計(jì)識(shí)別方法,解決了困難的多民族文檔識(shí)別問(wèn)題,實(shí)現(xiàn)了統(tǒng)一支持漢、英、日、韓、阿、蒙、藏、維、哈、柯、朝等主要文字文檔識(shí)別綜合系統(tǒng)。他們研制的“統(tǒng)一平臺(tái)民族文字(蒙藏維哈柯朝)文檔識(shí)別系統(tǒng)”獲2008年“錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)獎(jiǎng)”一等獎(jiǎng)——中文信息處理領(lǐng)域最高科技獎(jiǎng)。該系統(tǒng)實(shí)現(xiàn)了將蒙古文等六種少數(shù)民族文字的紙質(zhì)出版物轉(zhuǎn)換成電子出版物,文檔識(shí)別綜合集成在統(tǒng)一的平臺(tái)系統(tǒng)中,不再依靠人工錄入,印刷文檔的掃描圖像就會(huì)自動(dòng)生成可編輯檢索的電子文檔。
目前,這一系統(tǒng)已在北京、西藏、新疆、內(nèi)蒙古、甘肅、四川、青海、云南等地推廣應(yīng)用。它對(duì)于促進(jìn)少數(shù)民族的文化交流,促進(jìn)我國(guó)少數(shù)民族地區(qū)的信息化建設(shè)以及促進(jìn)我國(guó)與阿拉伯國(guó)家的合作、交流,都具有重要意義。
北京市公安局海淀分局備案號(hào)：11010802023656號(hào)