一臺傳統(tǒng)的相機

追光逐電，見所未見

定格轉(zhuǎn)瞬即逝的物體

應用于多個典型場景

清晰記錄高鐵運行過程

實時預警電力設備放電

清楚觀測高超聲速氣流

……

北大超高速脈沖相機

驚艷亮相國家“十三五”科技創(chuàng)新成就展

中共、、軍委主席10月26日下午在參觀國家“十三五”科技創(chuàng)新成就展時強調(diào)，堅定創(chuàng)新自信緊抓創(chuàng)新機遇，加快實現(xiàn)高水平科技自立自強。

“當前，我國已經(jīng)開啟全面建設社會主義現(xiàn)代化國家新征程，科技創(chuàng)新在黨和國家發(fā)展全局中具有十分重要的地位和作用，全國廣大科技工作者要面向世界科技前沿、面向經(jīng)濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康，堅定創(chuàng)新自信，緊抓創(chuàng)新機遇，勇攀科技高峰，破解發(fā)展難題，自覺肩負起光榮歷史使命，加快實現(xiàn)高水平科技自立自強，為建設世界科技強國、實現(xiàn)中華民族偉大復興作出新的更大貢獻。

北大計算機學院

黃鐵軍教授團隊牽頭完成

重大原始創(chuàng)新項目

脈沖視覺模型

打破現(xiàn)有用圖像記錄視覺信息的基本方式

而是把一組光子變成一個比特

把一個光的變化過程直接轉(zhuǎn)成一個比特流

實現(xiàn)了超高速攝像

百萬像素超高速脈沖相機

高速攝像服務國計民生

“追光逐電”一直是黃鐵軍教授團隊追逐的目標，如何讓飛速即逝的物體能夠定格并清晰地展示出來，這是目前困擾視覺芯片和系統(tǒng)行業(yè)應用的難點和痛點。

超高速脈沖相機了圖像和視覺的固有思維，具有高速、實時、智能的特點，在高鐵實時監(jiān)測、高頻電弧放電檢測、六馬赫風洞觀測等場景中均有典型應用。

應用于高鐵

每秒4萬幀的超高速記錄

實現(xiàn)高鐵運行實時檢測

保證高鐵安全穩(wěn)定運行

中國目前擁有世界上大的高速鐵路網(wǎng)，時速300公里的線路總里程超1.5萬公里，占世界2/3以上，未來高鐵速度更快，保證高鐵安全穩(wěn)定運行特別重要。傳統(tǒng)視頻系統(tǒng)幀率低，無法實現(xiàn)高鐵運行實時檢測。超高速脈沖相機可實現(xiàn)每秒4萬幀的超高速記錄，同時清晰記錄高鐵運行過程，實時分析識別受電弓、路基、隧道等可能出現(xiàn)的異常情況。超高速脈沖相機拍攝兩列高鐵會車，相對速度700公里/小時，慢放后畫面細節(jié)清晰可見。

隨著高鐵列車速度提升，弓網(wǎng)沖擊振動加劇，對電弧的高效準確檢測和電弧類型分析識別，是判斷高鐵安全狀況的重要指標。

應用于電力行業(yè)

每秒記錄20,000次放電

完整記錄每秒18次電弧放電全過程

電力設備檢測實時預警

電網(wǎng)是一個國家的經(jīng)濟命脈，安全穩(wěn)定運行關乎國計民生。電力系統(tǒng)絕緣事故影響范圍廣，經(jīng)濟損失巨大。因此，對電力設備放電檢測有著非常重要的現(xiàn)實意義。傳統(tǒng)的放電檢測方法易受到工作現(xiàn)場強電磁干擾且靈敏度不高，超高速脈沖相機具有高速全時成像的特點，可以完整記錄所有電弧的放電全過程，實時預警。

實驗裝置中探針每秒放電18次，傳統(tǒng)相機只捕捉到10次放電且不完整。超高速脈沖相機每秒內(nèi)記錄了兩萬次，完整記錄了18次電弧放電全過程。

應用于科研觀測

六馬赫（7350公里/小時）高超聲速靜風洞

清晰觀測高超聲速流動結(jié)構

全流場的流動顯示記錄

北京大學六馬赫（7350公里/小時）高超聲速靜風洞是目前大的暫沖式高超聲速靜風洞，可以模擬高超聲速飛行器真實飛行噪音環(huán)境，也具有表面壓力分布測量、PIV測試等能力。超高速脈沖相機可以清晰地觀測到高超聲速流動結(jié)構，進行全流場的流動顯示記錄，對開展復雜模型的空氣動力學試驗研究觀測有著重要的意義。

慢放畫面顯示了超高速氣流中，不同密度空氣相互作用產(chǎn)生激波，互相碰撞后逐漸消散。

重新“發(fā)明相機”的創(chuàng)新飛躍

“照相術的產(chǎn)生經(jīng)歷了漫長的歷史。”黃鐵軍介紹說，1827年，法國人約瑟夫·尼埃普斯采用他發(fā)明的“日光蝕刻法”，在白蠟板上敷上一層薄瀝青，然后利用陽光和原始鏡頭，曝光時間8小時，拍攝下了窗外的景色，這是人類的張照片。1839年，法國人L.J.M.達蓋爾發(fā)明銀版攝影法：鍍銀銅板暴露在碘或溴蒸汽里，產(chǎn)生一層均勻的鹵化銀感光表面，曝光需要半個小時左右，受到不同光強照射的鹵化銀分解程度不同，利用水銀蒸汽對曝光的銀鹽涂面進行顯影。1888年，美國柯達公司生產(chǎn)出了新型感光材料“膠卷”：將溴化銀感光材料附著在塑料片上作為載體，曝光時間縮短到秒級別甚至毫秒級。

銀版照相法拍攝的一位程序員Ada Lovelace，攝于1845年

如果說膠卷的誕生是照相法“化學時代”中具有里程碑意義的飛躍，那么20世紀20年代電視的發(fā)明及普及代表了視覺成像的“電子時代”，21世紀初期數(shù)碼相機的誕生的是“數(shù)字時代”，2010年以后智能手機中照相機的普及則代表的是“智能時代”。

盡管技術不斷翻新，但其實只是剪掉了膠片這個“小辮子”，并未改變采用圖像和視頻記錄光這種基本方式。圖像意味著曝光這段時間光的變化過程“坍塌”為靜止畫面，而視頻也只是每秒數(shù)十幅靜態(tài)圖像，無法記錄速度高于幀率的物理現(xiàn)象，也不能做到連續(xù)成像，兩幀圖像曝光之間的間隔時段甚至*丟失。

“這些問題在膠片時代是沒法解決的，但在電子時代、數(shù)字時代和智能時代是*可以解決的，只是人們都被化學時代形成的圖像和視頻思維定式禁錮住了，‘心中的辮子’已經(jīng)成為禁錮視覺技術創(chuàng)新的瓶頸。”

黃鐵軍教授團隊的重大原始創(chuàng)新項目“超高速脈沖相機”就是要*剪去“心中的辮子”，圖像和視覺的固有思維。

脈沖相機模擬靈長類視網(wǎng)膜編碼原理，每個像素獨立將光信號轉(zhuǎn)換成比特流，準確、完整記錄光的時空變化過程，了沿用近兩個世紀的圖像和視頻概念，有望從源頭重塑包括采集、表示、編碼、檢測、跟蹤和識別在內(nèi)的整個視覺信息處理體系。

超高速脈沖相機的技術原理：從光子流到比特流

在探索視覺信息處理新路徑的過程中，黃鐵軍教授團隊與北京大學生命科學學院和醫(yī)學部深度合作，項目團隊已經(jīng)研制出超高速脈沖視覺感知芯片、相機和系統(tǒng)，兩款超高速脈沖視覺感知芯片和相機的空間分辨率分別為10萬像素（400*250）和100萬像素（1000*1000），時域采樣率為4萬赫茲，打破了“幀率天花板”，比傳統(tǒng)視頻快千倍，實現(xiàn)了超高速連續(xù)成像和高速目標實時檢測跟蹤識別。目前，整套項目已經(jīng)收獲了26項知識產(chǎn)權，其中包括2款芯片、2項軟件著作權和中美日韓等國。

獲得中美日韓等國家和歐洲的

盡管技術原理具有性突破，超高速脈沖相機的研發(fā)卻無需“另起爐灶”，它的“高性能”建立在“高成熟”光電器件基礎上，能夠適應多種光照環(huán)境，更加適合機器視覺任務的實時化、全天候、多環(huán)境應用，在成熟的CMOS圖像傳感芯片生產(chǎn)線即可生產(chǎn)。

“脈沖視覺技術在視覺領域圖像和視頻，類似移動通信領域CDMAGSM，未來有可能會引發(fā)視頻和視覺產(chǎn)業(yè)的重新洗牌。”

讓脈沖相機飛入尋常百姓家

在黃鐵軍的心目中，希望讓這項含金量*的重大原始創(chuàng)新項目落地應用，將所有相機都替換成脈沖相機，讓所有視覺應用走向光速，讓高速攝像飛入尋常百姓家，創(chuàng)造更多的社會和經(jīng)濟價值。

“首先，我們要形成脈沖相機技術知識產(chǎn)權和標準體系。脈沖視覺模型、芯片和基于該體系的脈沖視覺算法是全新視覺技術體系，發(fā)揮器件、芯片、算法、應用多個層面的先發(fā)優(yōu)勢，加快形成脈沖相機知識產(chǎn)權和標準體系，培養(yǎng)一批專門人才，帶動行業(yè)發(fā)展，建立中國的視覺技術流派和產(chǎn)業(yè)體系。”

“第二，破解傳統(tǒng)高速相機困局，開辟新的應用場景，創(chuàng)造新的產(chǎn)業(yè)增長點。超高速脈沖視覺芯片具有低功耗、低冗余、高時間分辨率的特性，適應多種光照環(huán)境等特性，使得它在工業(yè)制造、國防、交通、體育等眾多行業(yè)展現(xiàn)出應用潛力，有望創(chuàng)造新的應用場景，上下游相關產(chǎn)業(yè)也將受帶動效應迎來多輪增長。”

“第三，項目將帶動半導體等相關產(chǎn)業(yè)發(fā)展。超高速脈沖視覺芯片采用成熟集成電路工藝就能生產(chǎn)，‘點石成金’般實現(xiàn)高速視覺，對所有視頻和視覺應用都將帶來深刻影響，應用推廣將為半導體產(chǎn)業(yè)帶來強大需求，帶動相關產(chǎn)業(yè)發(fā)展。”

為了推動北大人的科研原始創(chuàng)新項目盡快服務國家重大戰(zhàn)略，早日實現(xiàn)這些社會和經(jīng)濟價值，推進產(chǎn)學研深度融合發(fā)展，10月20日，北京大學和北大科技成果轉(zhuǎn)化基金聯(lián)合孵化的脈沖視覺（北京）科技有限公司正式注冊成立，同時啟動了超高速脈沖相機的產(chǎn)業(yè)化進程。

北京大學科技成果轉(zhuǎn)化基金是由北京大學、北京市科技創(chuàng)新基金以及其他多家投資機構共同發(fā)起設立的北京大學支科技成果轉(zhuǎn)化基金。作為耐心資本，基金將聚焦“硬技術”領域，以原始創(chuàng)新為主要投資階段，致力于推動科技成果轉(zhuǎn)化，助力國家創(chuàng)新能力提升。

國家“十三五”科技創(chuàng)新成就展

北京大學“超高速脈沖相機”項目展臺

黃鐵軍由衷地表示：

面壁十年圖破壁，不做加法做減法，回到問題源頭，才能實現(xiàn)更大突破。

數(shù)碼相機剪掉了物理膠片的“辮子”，但沒剪掉“心中的膠片”。脈沖相機沿用近兩個世紀的圖像和視頻思維定勢，完成數(shù)碼相機尚未完成的數(shù)字化革命，釋放出光電器件和芯片的高速能力，點石成金，追光逐電，開創(chuàng)視覺技術全新天地，這從一個側(cè)面詮釋了“北大是常為新的”。