? ? ? ?本文內容選自清華大學電子工程系王生進教授于清華人工智能論壇上所做的題為《腦電識別與腦機交互》的演講。他認為人類正處于人工智能的啟蒙階段，腦機交互，是人機交互的重要方向。探索人腦，發(fā)現(xiàn)感知認知機理，解明推理決策過程，實現(xiàn)自我意識，這是人工智能未來研究的重要方面。

? ? ? 演講全文如下：

? ? ? ?各位來賓、各位專家，大家下午好。很高興主辦方能給我們提供這樣一個機會，讓我們一同開啟探討人工智能未來發(fā)展之路。剛才張院士的報告非常精彩，張院士把人工智能的過去、現(xiàn)在和未來做了一個全面的概述，高屋建瓴。下面我講的是一個人工智能應用的具體技術——腦電識別和腦機交互。

? ? ? ?我來自清華電子系智能圖文信息處理研究室，我們研究室的主任是丁曉青教授。我們研究室在過去近20年的時間中一直從事人工智能領域計算機視覺和模式識別方面的研究，并取得了一些成果。比如說我們的TH-OCR，就是剛才薛校長提到的一個文字識別的技術，已授權于微軟，并在微軟office2003里得到使用。我們人臉識別現(xiàn)在的技術水平，在LFW庫上實現(xiàn)超過99%的識別準確率，不僅在一些國際競賽當中也取得了不錯的成績，也在實際當中得到了應用。我們的人臉識別技術應用在深圳口岸的自助通關。以往海關通關都是要經過人來看證件，然后比對通關的人。因為深圳羅湖口岸是香港通關口岸，人非常多，在比對準確率和勞動強度上有很大的負擔。希望能夠通過機器代替人工去確認通關的人。目前的通關系統(tǒng)里采用了指紋和人臉識別，人臉識別采用清華大學我們的技術，指紋采用中科院的技術。另外我們構建的時空信息行人再識別數(shù)據(jù)庫，下載量高達3700次，相關的成果也將發(fā)表在今年6月份的PAMI上。

? ? ? ?剛才張院士在人工智能方面介紹了非常多非常好的內容。人工智能是一門研究模擬人腦智能，實現(xiàn)機器智能的一門科學，它是讓機器既能代替人類做繁重繁瑣的蠻力計算（工作），又能使得機器獨立思考，甚至在某些功能上能夠超越人類。通過信號識別（圖像、語音、腦電波等）、邏輯判斷、自然語言處理，感知和反饋，體現(xiàn)人工智能的含義。我們人類正處于人工智能的啟蒙階段，探索人腦，發(fā)現(xiàn)感知認知機理，解明推理決策過程，實現(xiàn)自我意識，也是我們人工智能未來研究的重要方面。

? ? ? ?今天我要講的是關于腦電識別和腦機交互。關于腦機交互的問題也有很多的研究報道，腦機交互是人機交互的重要方向。在科幻方面有著相關的前瞻性預言。我們發(fā)現(xiàn)之前科幻電影里面出現(xiàn)的一些場景，到現(xiàn)在都變成了現(xiàn)實。比如科幻電影《我的個神啊》，在這個影片中，外星球不再是通過語言進行交流，而是直接通過腦波交互讀取思維。而現(xiàn)實中心智模型構建讓腦波交互成為可能，在人工智能領域將得到更深層次的應用，心智模型植入機器系統(tǒng)，將成為人工智能的一個基礎載體。搭載了心智模型的機器人，將使人類和機器人之間的交互更趨智能化和人性化。人機交互因人類需求升級而發(fā)展。

? ? ? ?下面介紹一下關于腦電識別和腦機交互的相關情況。從世界范圍內來說，關于人腦和類腦的研究已經引起了高度重視，《科學》雜志2013年的時提出了6個值得關注的科學領域，人腦連接組計劃就是其中之一。這個計劃主要目的是通過使用不同的人腦分析技術，來研究活體人腦功能。另外歐盟也已啟動人腦工程項目，歐盟在2013年的時候宣布“未來和新興技術旗艦項目”，，石墨烯和人腦工程兩個項目都成功入選。人腦工程，是希望能夠用計算機模擬的方法來研究人類大腦是如何工作的，這個研究有望促進人工智能、機器人和神經形態(tài)計算系統(tǒng)的發(fā)展。

? ? ? ?奧巴馬政府宣布了一項致力于對人腦進行繪圖的研究計劃。NIH（美國國家衛(wèi)生研究院）希望這個項目能夠讓研究人員探索腦細胞間的協(xié)作方式，對于治愈老年癡呆癥等一些其他的疾病能夠提供幫助。DARPA（國防部先進研究項目局）希望能夠開發(fā)出記錄和分析腦功能的方法，未來能夠對遭遇腦損傷及創(chuàng)傷后壓力的軍人提供治療。NSF（美國國家科學基金會）則希望了解神經網絡的運作模式，并借此開發(fā)出能夠處理海量信息的數(shù)據(jù)處理模型，就是模擬人腦。剛才張院士也提到，利用人腦處理數(shù)據(jù)非常快，它希望能夠解決這樣一個工作機理。二十一世紀是腦科學與人工智能相結合的世紀。現(xiàn)在各國政府都已經在這方面投入了很大的人力和財力來從事這方面的研究，都將其列為未來研究的重大課題。

? ? ? ?從目前的研究情況來看。腦功能的研究手段可分為三大類：一，侵入式，就是把電極植入到腦內，來形成皮質腦電圖（ECoG)）。第二，非侵入式，這鐘侵入式需要很龐大的設備，比如說MEG（腦磁信號）設備，這個設備體量是非常大的。還有一種非侵入式，就是利用腦電信號（EEG），EEG信號的特點是設備非常小，可以做成一個便攜式裝置，甚至非常便宜，實用性很好。它應該是未來腦機交互的一個應用的趨勢，它的工作原理主要是視覺驅動電勢，我們通常叫VEP和ERP。

? ? ? ?從研究的目的劃分也有三大類，第一就是疾病的診斷和診治，第二是感知認知，也即人工智能的研究，第三是腦機交互的研究，就是人不用通過手，也不用通過語言，只要通過大腦的想象來和機器進行交互。這種需求是存在的，比如說癱瘓的病人或者是手腳及語言有障礙的人，或者是老年人等。只能靠想象，包括靠思維能夠驅動機器的情況，這個是非常難的，不僅在這個地方，我們可以看到美軍在戰(zhàn)場上也在研究利用腦電去做目標的探測，以提高目標探測的準確性。

? ? ? ?腦電信號（EEG）直接反映人腦活動和認知特性，可以做情緒的監(jiān)測、疾病的檢測、腦機的交互。在應用領域和前景上是非常廣闊的，比如說在人工智能領域，它可以探索人腦活動和認知規(guī)律，在腦機交互上也可以幫助殘疾人來控制輪椅等設備，目標檢測上可以借助腦電信號提高目標檢測的性能。在情緒監(jiān)測上可以感知工作狀態(tài)、壓力和焦慮等等。另外就是在一些EEG研究上，利用EEG和對視覺的刺激上，可以研究人對視覺感知的特點，來啟發(fā)視覺研究等等。應用的前景廣闊。但也存在很多問題，主要有以下幾點：

? ? ? ?1、腦電信號的識別性能非常低。因為我們知道腦電信號信噪比是非常低的，因此準確率很難達到像剛才張院士提到的人臉或者貓臉識別的準確率。因此它的準確率和它的計算復雜度都難以滿足實際應用的需求。比如說需要15個循環(huán)識別才能達到97%的準確率。

? ? ? ?2、針對腦電信號多通道、強噪聲特點的有效降噪方法和分類理論尚不完善。

? ? ? ?3、從理論上解決通道鑒別性分析的現(xiàn)有分類模型和相關通道選擇問題的思路尚不十分有效。

? ? ? ?4、現(xiàn)有腦機接口系統(tǒng)模式單一（范式還比較單一）。

? ? ? ?科學問題和亟需要突破的技術。針對我前面提到的問題，我們提出三項需要解決的科學問題：

? ? ? ?1、在研究當中需要發(fā)現(xiàn)新的視覺驅動與腦電信號的相關性。即低信噪比腦電信號下的高準確識別理論。

? ? ? ?2、尋找和探索更有效的基于思維的腦機交互范式。

? ? ? ?3、采用腦電的信號處理和腦機交互的方式探索基于人的視覺感知機理的計算機型

? ? ? ?對于這三個科學問題需要解決的三個關鍵技術如下：

? ? ? ?1、低信噪比腦電信號高準確率識別方法。

? ? ? ?2、面向多種范式的思維腦控技術。重點研究就是VEP，現(xiàn)在一個比較有效的就是SSVEP，這是清華生醫(yī)提出來的。還有運動想象腦控技術和方法，以及更多的范式的研究，希望能夠發(fā)現(xiàn)。

? ? ? ?3、基于腦電信號的有效視覺特性分析。給你看什么東西，人類會有什么樣的反應，這個反應通過腦電的識別，希望能夠發(fā)現(xiàn)這種反應，把這種特點找到，把這種規(guī)律找到，用于我們的人工智能研究。

? ? ? ?腦電信號分析研究對本領域未來的主要有以下幾個方面：

? ? ? ?1、結合信號處理、機器學習、統(tǒng)計學習理論，實行強干擾、極低信噪比下的高準確度腦電信號識別理論。

? ? ? ?2、利用VEP、ERP范式，探索和掌握通用環(huán)境下穩(wěn)定的基于思維腦電的腦機接口方法。

? ? ? ?3、通過探索人腦視覺感知的工作機理，改進視覺認知計算模型，啟發(fā)人工智能與計算機視覺研究和發(fā)展。

? ? ? ?目前的一些研究的情況。這個方面國外發(fā)展較快，美國在這方面處于領先地位。剛才我提到利用腦電信號做目標探測以提高目標探測的性能。這個就是DARPA開發(fā)的CT2WS系統(tǒng)，利用腦電波識別和認知的范圍來進行戰(zhàn)場目標檢測，主要是通過腦電波的圖像篩選來把戰(zhàn)場的虛警目標信號能夠快速地篩選掉。因為我們知道目前的模式識別，做圖像的目標探測其實是虛警率非常高的，特別是在戰(zhàn)場環(huán)境非常惡劣，目標并不明顯的情況下，任何一個算法，人工智能的算法或者是模式識別算法，拿到戰(zhàn)場，虛景都是非常高的，虛景高了以后，不可能每個虛景目標都打一個炮彈，這個時候利用腦電的識別，這個腦電的識別其實用的就是P300范式，可以用非常快的速度把虛景信號讓人去看，人在無意識當中就能產生一種腦電波，這種腦電波對于真正目標信號和非目標信號能夠產生一種有差別的信號模式。

? ? ? ?腦電識別可以通過這樣一種腦電波的差別來把這些虛景里面的真正目標提取出來，把這些真正的虛景剔掉，這樣就提高了目標識別的準確率。給人看的速度是非常快的，在幾十毫秒，這時的腦電是人的一種本能的反應。主要目的是提高戰(zhàn)場上戰(zhàn)士的目標探測準確率，這就是人機結合的方式。這個例子，是明尼蘇達大學研究，利用腦電波掃描系統(tǒng)，網上也有相應的視頻，有機會大家可以去網站上看一下這個視頻，控制得還是相當不錯的。

? ? ? ?哈佛大學實現(xiàn)了利用腦電波控制老鼠的運動。實驗人員在老鼠上做的實驗，是希望通過這樣一種方式使他們的病人恢復運動的機能，使截肢的人能夠更好控制假肢，也是帶著這樣一個傳感器，但是這個傳感器是非常小型化的傳感器，所以非常實用。另外還有一個就是美國科羅拉多州的一個人（Easton LaChappelle）開發(fā)了腦電波控制的機械手臂（Anthromod）。它的目的也是幫助殘疾人士能夠完成最基本的動作，這個人不僅獲得了國際科學工程大賽的二等獎，更是收到了NASA的Offer，以及美國奧巴馬總統(tǒng)的接見。這是國外的情況。我們國內也有很多這樣成果。

? ? ? ?我們這個組在腦電信號識別和腦機交互方面做的成果和國外有所差別。我們聚焦的傳感器不是像剛才戴的這種電極帽的形式，電極帽的形式在科學研究里面適用，電極帽的通道非常多（64導或者128導），但是我們考慮到今后能夠真正用到普通的生活當中，電極帽的方式不是很方便，我們希望能夠有一個非常簡便的儀器，我們聚焦的是干電極式腦電信號以及腦機交互的研究。我們建立這樣一個研究室，也收集了很多的腦電信號。首先在這個領域，第一個要解決的問題就是低信噪比問題，因為腦電信號信噪非常差，怎么樣通過降噪、預處理等等，能夠把噪聲抑制掉，能夠把真正的腦電信號提取出來，是關鍵課題。這樣我們才能進行后面的腦電識別。我們所做的第一個工作就是降噪、信號處理。

? ? ? ?第二個要做的工作，我們戴的電極帽也好，還是干電極也好，通道是很多的，比如現(xiàn)在14個通道，電極帽最少是64通道或者128通道，在這些通道里面，哪些通道是有效的？哪些通道是無效的，甚至哪些通道是其反作用的，我們必須把它了解清楚。我們做了一些通道選擇方法的研究，在通道里面找出最有效的通道，在什么樣的范式下，哪些通道最有效，我們在這方面做了一些研究工作，我們就利用這樣的一個識別的方法去做腦機的交互。第一個做的是利用P300的范式去做腦機交互的打字。P300的范式就是偶然發(fā)生的這樣一個視覺事件，在300毫秒以后能夠產生一個特殊的腦電信號這樣一個范式。利用這樣一種范式就可以做一些工作，P300打字就是這樣一個研究，比如說它可以顯示這么多的字母。當你看到你要打的字母亮起來的時候，你的腦電在你看到這個字母的時候，這個腦電信號是有差別的。通過這樣一個方式最后打出這樣的字。我們可以通過腦電控制一些運動。比如說我們做運動想象，就是通過腦電的方式控制屏幕上的鼠標，這是通過運動想象去控制。我們做了一個腦控機器人系統(tǒng)，我們希望通過腦電的識別和腦機交互的方式，能夠去讓機器人知道，比如說我的殘疾人想要去做什么，讓機器人去拿一個東西，我首先要讓機器人知道我想要去拿什么，然后驅動機器人走到這個物體前面，我再讓機器人認識它要拿的東西，然后再把它拿回來，這個系統(tǒng)正在開發(fā)。可以看一下中間的過程。

? ? ? ?這完全是通過腦電來控制機器人。這是現(xiàn)場腦電信號，我們從里面去分析腦電信號的作用。訓練過程我們要讓腦電系統(tǒng)能夠知道我要選擇哪個東西，這個是通過視覺，同樣，這個用的還是P300的模式，就是你選這個物體，當它亮起的時候，你的腦電信號和暗下去時的腦電信號是不一樣的，當它亮起的時候，我們這個時候可以識別出它的信號，這個時候我們知道你選的是這樣一個杯子，由于信號非常低，至少要進行15次的循環(huán)才能達到97%的準確率。測試的時候也是同樣的方式，輪回地閃爍，當你要選擇的物體亮起的時候，腦電信號仍然是有區(qū)別的，我們通過分類器可以把信號區(qū)別出來。這個是驅動機器人的行走，機器人行走有這么多個方向，中間的符號是讓機器人去取這個東西。經過這樣的訓練就可以驅動這個機器人運動。

? ? ? ?這個工作就是腦電信號來告訴他要取什么。走了幾步以后還沒有到的話就要繼續(xù)走。剛才我們講因為要循環(huán)很多次，所以時間比較長。走到這個地方以后再去選擇拐彎的信號，通過腦電識別，然后它就可以轉身，然后走向要取的物體方向，走路的過程就是腦電在驅動。走到這個地方以后，應該擺出東西，通過剛才介紹的圖像識別的方式去認出那個東西，但是后面我們還沒有做到那一步，所以只能這一步先到這兒。

? ? ? ?腦電信號分析是腦機接口的基礎和關鍵，它可以提供一種直接的人機交互方式，這一方式是依靠人的腦波信號，把它識別翻譯成對機器的指令，腦電識別和腦機交互將會對人機交互方式產生革命性的影響。腦電信號分析是人工智能研究的一個重要部分，通過腦電識別，我們可以探索人腦，發(fā)現(xiàn)感知認知機理，解明邏輯推理過程，提供有效的人工智能研究手段和技術途徑，二十一世紀是腦電識別和腦機交互的世紀。這是我們團隊部分腦電方面的研究成員照片。

? ? ? ?以上就是我的報告，謝謝大家的聆聽。