前沿拓展：

本文根據中天微資深設計經理、智能語音平臺負責人勞懋元，在「智東西公開課」的超級公開課中天微專場第1講《輕量級的RISC架構如何實現端測智能語音應用》 上的系統講解整理而來。

從2015年起，智能語音芯片已經演進了三代。時至今日，CPU+DSP+NPU架構逐漸成為智能語音專用芯片未來的趨勢。但中天微探索出通過輕量級的RISC架構來實現端側的智能語音應用。為了解決RISC在做一些人工智能或者深度神經網絡應用時存在的算力不足的缺陷，中天微提出融入DSP的并行計算能力，即在一個短流水級的CPU基礎上，把DSP 128位寬的SIMD并行處理能力融進來，使得新款CPU能夠被應用在智能語音等輕量級人工智能上。這是一個有些另類的創新路徑，中天微也希冀得到更大范圍的認可和采用，從而更快地搭建起以智能語音為核心的人工智能生態。

主講環節

勞懋元：今天主要從四個方面來分享：首先，從對市場的觀察和理解切入，之后會慢慢深入到對智能語音芯片的理解以及我們所取得的一些成績；其次，從技術原理本身出發，RISC中的一些細分，以及在重的架構和輕的架構之間如何去取舍；最后分享一下智能語音TURNKEY方案。

從市場的角度來看，談到智能音箱，時間點要回溯到2015年下半年。當時Amazon推出了第一款智能音箱Echo，從此拉開了整個智能音箱的序幕。當時間過渡到2016年，智能音箱有了進一步的發展，第二大勢力Google就出現了，推出了Google Home。市場資料表明，到目前為止，國外市場上，Amazon和Google基本上是七三開的兩強局面。相對來說，國內在技術研發上會稍微滯后一些。整體爆發出現在2017年，俗稱“百箱大戰”，幾十將近一百個智能音箱紛紛出現。到今年上半年，阿里巴巴推出了一款新的比較小巧的智能音箱，叫做天貓方糖，直接把智能音箱的價格殺到了89元的低價區間。同樣，大家也能看到，小米也有類似低價的智能音箱出現。從2018年開始，整個市場的趨勢不是以量取勝，而是逐漸開始低價滲透，以及開始比拼各家生態的打造。從最新的市場統計來看，目前全球范圍主要有四家，分別是Amazon、Google、阿里巴巴以及小米。

看完智能音箱的發展史，我想跟大家探討一些問題：

第一，相比于傳統音箱，智能音箱還是音箱嗎？還是更準確地說是人工智能助手，或者是未來智能家庭的總控，亦或者是互聯網企業稱之為的流量入口？

第二，智能音箱是否代表著整個智能語音未來的市場？是不是也會像手機、平板或者PC這種單一品項的一種狀態？

我認為不是的。智能語音其實是一種交互方式，可以被應用在各種類型的設備當中。從我個人對市場的判斷來說，它才是一個真正意義上的超級大餅，會涉及到更多的細分領域。因此，對智能語音這項技術的研究以及成熟方案的推動是非常有意義的。這也是中天微從2016年年初就建立團隊投入資源，并且持續兩年半的時間一直在做這件事情的初衷。

接下來跟大家分享一些除了智能音箱，其他搭載著智能語音功能的產品。首先是家電，不管是大家電還是小家電都會帶有語音功能，比如空調、微波爐或者油煙機等產品也陸續出現。今年上半年，阿里巴巴也推出了真正遠場智能語音的電視機；第二，在兒童玩具市場上，不管是兒童故事機或者是一些稱之為兒童陪伴型的機器人玩具，我們也能看到智能語音交互的方式。它讓孩子與玩具之間有一個非常好的互動；第三，在穿戴式設備上，比如兒童手表、智能手表等都加裝了語音交互功能，使得小孩子用語音操作變得更加方便；第四，一些母嬰類的攝像頭上也加裝了這樣的功能。

除了以上四個之外，還有很多領域正在做進一步的嘗試，去創造一些新的場景，以及在怎樣的一個場景之下會使用到智能語音交互的方式，我們可以期待和預期到在未來會有更多的一些產品出現。這也是我前面說的超級大餅。

簡單總結一下，智能語音是一種嶄新的人機交互方式，更貼近于人類自然的一種交流方式，會帶來一場可以稱之為交互方式的升級，亦或者是產品的升級，并且波及到的產品領域和范圍，將會遠遠超過之前所有的產品。

現在從技術的角度來展開一下，先回顧一下幾個技術點。

首先是RISC，精簡指令集計算機的縮寫。既然有一個叫做精簡指令集，對應的一定有一個叫做復雜指令集。比較廣為人知的如Intel或者AMD x86型CPU都是復雜指令集的，而中天微的C-SKY CPU或者ARM CPU都是精簡指令集的CPU。

RISC誕生于上世紀80年代，從名字可以看出，既然叫精簡指令集，那么指令數量就比較少。它的特點是指令的格式、執行周期是一致的，一般都采用流水線技術；從存儲架構上來說，一般會用馮諾依曼架構。馮諾依曼架構可以簡單理解為，它會把程序段跟數據段都存在同一個地方，本身的計算核心是算術邏輯單元ALU。有幾個比較知名的地方，首先是斯坦福大學，另外一個是加州大學伯克利分校，他們在RISC方面有著非常大的貢獻。特別值得提到的是加州大學伯克利分校，有一位非常著名的教授叫做David Patterson。他是RISC體系的創始者，在上世紀80年代就已經在做RISC項目。最近非常火熱的RISC-V是在2010年開始研發的新項目，希望能夠做成一個開源的指令體系，背后也有非常多國內外一些大企業在積極推動。中天微最近也發布了第一款基于RISC-V指令集的CPU核。另外，大家比較熟悉的還有MIPS、 IBM的Power PC。

講完RISC，我們再來聊一下DSP。很多電子專業畢業的人，在學生時代都學過一門課叫做DSP——數字信號處理。該技術也是誕生于上世紀80年代。數字信號處理的特點是把自然界的模擬信號轉成數字信號，再通過專門的數字信號處理器去進行一些復雜的處理。因此，它的出現主要是針對一些快速實時性數字信號的處理。同樣，它也是采用流水線技術，強調計算能力，所以會使用一些如SIMD這樣的存儲技術，會用哈佛結構把數據和程序分開。在這個領域中，大家比較熟悉的可能是德州儀器、Freescale以及Motorola等這些企業，現在能提供DSP IP的也有兩家，一家是CEVA，一家是Tensilica。

相對于前兩者來說，NPU（神經網絡處理器）是一個比較新的概念。AI也是這兩年突然變得非常火熱，很多人開始去研究神經網絡，甚至去設計神經網絡處理器。我們也非常幸運能夠處在這樣的一個時代，剛好趕上了神經網絡發展這一波浪潮。神經網絡處理器到目前為止，還沒有一個非常準確的定義，包括體系架構或者指令架構，目前來說是百花齊放，沒有一個統一的標準。大家比較熟悉的，如Google和NVIDIA。Google推出了TPU，NVIDIA一直把GPU技術用在神經網絡的一些訓練以及推斷上。國內現在比較出名的有寒武紀，麒麟970中也用了寒武紀的NPU；還有地平線，在智能駕駛，語音方面也有非常獨到的成績。因此，目前國內從事神經網絡以及相關技術研究的企業也是非常的多，NPU最終會變成一個什么樣的統一標準，大家可以拭目以待。

接下來我們簡單地用一張表格從體系架構、存儲架構、計算核心以及今天將要講的神經網絡算力和神經網絡能效五個維度來對比一下這三種技術。可以看到傳統的RISC或者DSP在處理神經網絡相關的應用時都會表現出一些缺陷和不足。這也是為什么我們要去研究神經網絡，根據神經網絡的特點去定制研發新的CPU的原因。在這里，我想跟大家分享一下，在如今這個時代，在要去做一些神經網絡或者人工智能相關應用時，出發點應該是從算法和應用出發去理解，這才是一個真正的以軟件驅動硬件，以算法驅動硬件的時代。另外，RISC、DSP、NPU各有優缺點，只有把它們各取所長、優化整合才能發揮出最大的效率。

前面可能講得會比較理論一些，接下來就結合實際的芯片產品來做分析。

智能語音芯片，從產品的出現到現在，我認為可以分為三代：第一代要追溯到2015年，也就是Amazon剛發布Echo以及Google剛發布Google Home時用的芯片，上圖中也羅列出來了，包括TI多媒體處理器以及Marvell的一款處理器，基本上是CPU搭配DSP的架構。CPU一般是ARM Cortex A系列的產品。而對于DSP來說，由于TI在DSP上有非常深的積累，它會把自己C64系列的DSP放在里面，而Marvell當時用的應該是芯原的ZSP系列。同時，它們都沒有集成WI-FI和藍牙；從麥克風接口的角度來說，當時也不具備。另外，由于它們之前都是用在多媒體應用領域，所以里面有GPU硬件單元?；仡櫮莻€時代，當時是沒有一顆真正針對智能語音的芯片，主要是因為當時這個東西很新，很多技術都是不成熟和不完善的，很多問題大家都沒有徹底地去理解，因此拿一顆在以往的產品上已經被成熟應用的芯片直接過來做相應的開發。我認為，當時選擇芯片的標準就是能用就行，只要能夠把它想要跑的一些應用軟件程序都能跑起來，就可以了。

我認為，第二代芯片出現在2017年。對于第二代芯片，大家看到的基本上都是一個多核的CPU架構，此時國內的一些芯片類企業也提供了自己相應的產品，比如全志科技、臺灣的聯發科以及晶晨半導體等。這里所列的幾顆芯片都是目前在智能音箱產品當中被應用的解決方案，對比前面一代，可以看到它把DSP去掉了，取而代之的是一個比較強的多核架構。

另外，在麥克風的接口上也加入了一些處理，聯發科甚至把無線連接的部分WI-FI和藍牙也放了進來。之所以要在麥克風陣列中做一些處理，是因為目前在實際的產品端，已經被證明遠場的智能語音交互必須用到多麥克風陣列。相比之下，傳統的芯片在音頻麥克風接口上來說，要么是量不夠，要么所支持的麥克風類型不夠。大家都知道，麥克風也要分為很多種，包括模擬麥克風、數字麥克風、傳統的柱狀體麥克風以及現在比較流行的MEMS麥克風。Amazon的Echo是一個7+1的麥克風陣列，目前主流的一些音響類產品也是六個麥克風或者四個麥克風，最少也要兩個麥克風。因此對于這些芯片在接口問題上就提出了新的要求。而他們也首先把麥克風接口的問題解決了，但是這樣來看，其實還是一個比較偏向于AP級的芯片方案。這樣帶來的問題可能是，它的處理能力以及存儲能力并沒有問題，而在成本以及功耗上就會有一定的局限性。假設我們要把這樣的芯片應用到一些不插電，僅利用電池供電的一些低功耗嵌入式產品當中，它就存在著非常大的阻力。

接下來是我所定義的第三代芯片，也就是真正的智能語音芯片開始出現了。

目前來說，上圖列出的是目前已知的三款，第一款是瑞芯微的RK3308。相比第二代芯片，RK3308加入了一個新的功能，就是語音檢測VAD，是用純硬件的方式去實現的，技術點在智能語音交互當中是非常關鍵，特別是對于低功耗待機情況下的語音監聽是非常重要的特點。

第二款是杭州國芯的GX8010。GX8010比較復雜一些，有一個CA7的CPU，有一個Hifi-4的DSP，以及國芯自己的NPU。這是第一次在芯片中出現了NPU。另外，它也繼承了第二代芯片的特點，把麥克風的接口以及VAD的功能也加了進來。

另外還有一家是北京的云知聲。云知聲最近也一直在做市場的推廣，讓更多的人知道他有一顆“雨燕”芯片，里面也是由一個CPU+DSP+自定義的NPU的架構。因此，從2018年開始，有更多企業開始認真地深入地去思考智能語音。這也就是前面我講到的那幾個點，由于它里面會涉及到人工智能的一些算法，而NPU被引入進來彌補CPU或者DSP在神經網絡計算方面算力不足和能效比較低的缺點，我相信這也會逐漸成為未來的趨勢。其實NPU技術在圖像類和視覺類很早就已經被應用起來了，但是應用在智能語音是2018年才起來。

接下來，我想介紹一下中天微在這方面的一個創新點。前面也提到，中天微是一家作為RISC指令集架構CPU的企業，RISC在做一些人工智能或者深度神經網絡應用時會存在一些算力不足的缺陷，如何解決這個問題？我們的一個創新點在于把DSP的一些并行計算能力融入進來?？梢岳斫鉃?，在一個短流水級的CPU基礎上，把DSP 128位寬的SIMD并行處理能力融進來，使得新的CPU能夠被應用在一些輕量級的人工智能上。比如，語音就是一個非常好的切入點，一些簡單的圖像處理也可以在該架構上被運行起來。除了最基本的核，我們在上層的配套方面，比如開發工具、基礎的算法庫，以及中間件或者應用層的配套上，也都有一個完整的生態。

最右邊的兩張圖是做了非常直觀的對比，上面一張圖是一些通用的DSP計算函數效率的對比，實際的測試結果已經是我們友商的3倍到24倍；下面這張圖更多的是聚焦在神經網絡相關的一些基本函數的執行效率上，也可以看到已經達到了友商的2.8倍-21.6倍，即CK805的核目前已經能夠去取代一些重量級的DSP。相對于普通RISC架構的MCU核，它的算力已經有了非常大的提升，同時這個核也是智能語音平臺的基礎所在。

進入這部分探討之前，我先拋三個問題：

1.如果現在你是一個設計者，要去做智能語音應用，如何去選擇你的處理器的核心部分？直接去選用一個高性能核，還是去選擇一個多核的架構？

2.對應的存儲需要多大，是否一定要去搭配一個DDR去實現？

3.圖像顯示是不是也是必須的？

在直接給出答案之前，我想先解釋一些事情。首先，這是一個應用和算法決定硬件的案例，智能語音本質是一種人機交互的方式，相當于我們最開始在PC時代用的是鍵盤和鼠標；到了手機時代，逐漸開始使用觸摸屏；而下一個時代的交互方式我們有理由相信是智能語音，因為說話是人類最自然的一種交互方式。很多人都說智能語音是AI，我對這句話是持保留態度的。之所以會跟AI掛上鉤，是因為智能語音用到了一些神經網絡的技術，特別是在語音的喚醒和識別算法中，逐漸有更多神經網絡的算法融入其中。

2012年左右，深度學習迎來了一波技術上的升級爆發，用神經網絡去做語音識別和喚醒時，其整體識別率突然出現了突破性的增長，這也奠定了智能語音產業化和商業化的基石，現在，在信號處理部分也有一種趨勢，把神經網絡的技術也融進去，能夠得到更好的應對復雜場景的能力。

其中最重要的一點是算法，算法包含了兩部分：

第一部分是語音信號處理。語音信號處理，指的是需要把你說的話非常清晰地提煉出來給到機器，具體包含去噪(NS)、去回聲（AEC）、波束成形（BF）、自動增益控制（AGC）以及以軟件斷點檢測（VAD）。這快相對會比較傳統一些，因為它在很多聲學的產品當中很早就已經被應用起來了；

第二部分是語音喚醒和識別，也是智能語音的核心所在。它能夠讓機器真正聽懂人說的話，而解決這個事情也會碰到很多問題，主要存在以下幾個難點：

第一，它需要的是遠場的處理。先解釋一下遠場，有遠場就一定有近場。之前手機上出現的，比如蘋果的siri這樣的語音助手，拿著手機并按住去錄音，讓機器能夠識別聽懂你說的話，一般來說距離在十公分左右的場景，我們稱之為近場；而遠場更加類似于人與人之間的交流方式，距離在5米左右，要在這樣距離的場景下把話聽清楚，就是遠場語音要解決的問題，這就涉及到了多麥克風陣列。

第二，傳統處理器架構的神經網絡算力不夠以及執行效率非常低。即便是8核的多核架構的芯片，甚至每個核的主頻都是在1G赫茲以上的強CPU，也會出現執行效率非常低的問題。

第三，語音本身雖然看起來很簡單，但實際上是非常復雜的，在不同的場景會發生不同的變化。人類的耳朵是一個非常先進的系統，不管是在安靜的場景下，或者是非常復雜嘈雜的環境下，都能夠非常快速地做出自適應，并且能夠去聽懂目標對你說的話。而機器不一樣，機器是非常死板的，在安靜條件下或者在嘈雜環境下，即便是同一套硬件，用同樣的算法，也會得到不同的效果。這是一個非常難的地方，也是為什么神經網絡技術會被逐漸用到智能語音應用中的原因。

最后一個難點，它跟以往的產品有一個不同的地方，即完整的智能語音是需要云端一起來協作的。以大家非常熟悉的智能音箱為例，比如天貓精靈，當你說，“你好，天貓”這句話時，天貓精靈對這句話的識別是在設備端上解決的，并沒有把這句話傳到云端上，當你接下去問的問題較為復雜時，比如“我想聽周杰倫的歌”，“今天天氣怎么樣？”這些比較復雜一點的問題，都會被傳到云端，然后在云端的識別引擎上去做深度的語義識別，提取出說話者表達的真正含義，再去調動對應的服務。因此，真正完整的智能語音，一定是云端一體合作的結果。

右下角這張圖闡述了真正智能語音的含義，分為四步。一般來說，第一步和第二步都會在端設備上去做，而第三步和第四步都是要放在云上去做。目前有一個很顯著的問題，很多產品開發者是比較欠缺在云端聯云的開發能力。

接下來我們回過頭來再看剛才提的三個問題。

對于第一個問題，類似于智能音箱產品，我稱之為是比較重一點的產品，由于要跑安卓或者Linux操作系統，以及大量APP，選擇高性能多核是合理的，并且可以以高頻換算力的方式去滿足神經網絡的需求。類似于故事機的低功耗低成本嵌入式產品，一般跑的是實時RTOS操作系統，而本身用的處理器是MCU級別的處理器，在這個核的基礎上去升級智能語音是有可能的。但是，它的主頻比較低，且強調低功耗，我認為 MCU級別的核配上NPU或者是一些專門的算法加速電路，就能提供核心性能。

第二個問題是回答存儲的問題。既然我們選了一個比較輕的核，那么與之搭配的往往是SRAM/PSRAM/SDRAM這些功耗比較低，速率比、帶寬也比較低的存儲介質。從我們實際的算法評估上來看，當語音算法需求做到定點化之后，它的峰值帶寬是可以控制在100MB/s的量級的。

第三個問題是關于圖像的問題。先說智能音箱，目前有一種趨勢，從去年下半年到今年上半年，已經有帶屏的智能音箱產品出來，國外的Amazon和Google也有類似的產品。當產品在被人使用的過程中，會逐漸地發現在某一些的應用場景，不能僅是滿足于聽到。為了有更好的用戶體驗，還希望能夠同時看到，比如購物，你可以對智能音箱說“天貓精靈，我想買一件襯衫”，但是這時你一定是希望能夠看到這件襯衫的顏色以及款式，從而更好地去做判斷。有了這樣的場景需求，才會出現需要圖像顯示去平衡的要求。對于更多的嵌入式產品來說，我們認為也可以做適當的輕量化，首先我們不需要放GPU，可能只是去支持一個簡單的屏顯就可以了。

綜合以上三點，就是所謂的“核之輕”、“存儲之輕”以及“顯示之輕”。這也是中天微做智能語音平臺和智能語音解決方案的出發點之一。

這張圖是專門的智能語音芯片與傳統的應用處理器之間的對比。上面也提到了，我們是用一個短流水技術的MCU級別CPU來實現的，Memory上我們用SDRAM取代DDR；在硬件加速上，為了更好地解決神經網絡算力不夠的問題，我們要增加不少的硬件加速，這里可以以硬件加速的方式實現，也可以以NPU的方式去實現。從本質上來講都是為了解決同一個問題，就是神經網絡的加速。

首先，神經網絡中主要存在大量矩陣運算，矩陣運算就牽涉到乘累加，這恰恰又是RISC或者DSP的痛點之一。在RISC和DSP中的乘累加單元非常少，一般也就是1到2個，因此首先要增加乘累加的能力，其次是在神經網絡中會用到很多的非線性函數，對于CPU或者DSP處理來說也是非常消耗資源的；

其次，信號處理部分的主要運算也集中在FFT和FIR濾波上，也完全可以用硬件去做加速；

再有，是在IO接口方面，前面也提到這是一個麥克風陣列，同時麥克風也有很多類型，必須在接口上面做充分的支持。

最后，還需要考慮是否添加Codec，從而更好地去支持麥克風陣列，傳統的芯片在接口方面也是比較欠缺的。

基于以上幾個特點，我們最終得到的效果主要體現在功耗上。因為本身是一個非常輕量級的架構，得到的效果就是實測結果。圖上可以看到我們的動態功耗是在150mW，相比于之前的第一代和第二代芯片以及大部分第三代芯片已經是有了非常顯著的提升。從成本的角度來說，也會是這些芯片的1/2。

當大家把整個智能語音的本質理解清楚之后，特別是能充分理解清楚算法的具體計算之后，你就會有信心去相信一個非常輕量級的架構，是完全能夠去應對端側的智能語音。所以稱之為小身材也有大能量，即便是一個輕架構亦可以AI。

接下來將為大家介紹智能語音的TURNKEY?，F在我們可以先假設自己是一個產品開發者，這時你一定會煩惱很多問題，包括“怎么解決麥克風陣列問題”、“如何選擇麥克風”、“需要什么算法”、“算法資源從什么地方獲得”等等一系列的問題，都會讓你非常的苦惱，感覺無從下手。

要把智能語音這件事情做好，離不開三方面的因素：

第一，需要一個很好的硬件載體，會涉及到芯片公司；

第二，由于核心是算法，所以又會涉及到算法公司；

第三，需要上云端操作，又會涉及到互聯網公司。

只有有機地整合這三大塊，你才能夠真正地把智能語音做到產品化。

通過過去兩年半的研發和積累，中天微想要帶給大家的是一套解決方案，我們稱這個平臺為“云音”。我們希望它以一站式的方式，讓大家以最快速度為自己的產品賦予智能語音交互的能力。“云音”包含了CPU、芯片、算法以及上云的所有配套開發工具。通過這樣的方式，搭配麥克風陣列和無線連接，你就可以非?？焖俚卮罱ǔ鲆徽字悄苷Z音產品。

對于“云音”平臺，我們定位為以下三點：

第一，它是為服務于我們自己的CPU研發而開發的。正是由于發現了這個問題的本質，我們才推出了CK805這樣一個混合型的CPU，而這個平臺就是我們CPU在人工智能領域生態的拓展之一；

第二，它是一個非常完整的云端一體的解決方案，重點面向的是低功耗設備，這主要是因為我們技術路線上選擇的是一個輕量級的架構；

第三，我引用了馬總提到的一個概念，叫做“普惠”，我們希望提供給業界合作伙伴的是一種普惠的智能語音解決方案。

最后這張圖是實際成果的展示。現階段我們也能提供一套完整的開發套件給大家，包含芯片以及麥克風模組等整個開發的平臺。同時，我們也非常有勇氣展示給大家我們實驗室中實測的數據。這是在跑雙麥算法時，它實際的運行功耗是166毫瓦。通過這些，我們想要證明利用輕量級的RISC架構實現端測的智能語音應用是完全可行的。

在這里總結一下我個人做了兩年半的心得?，F在很多人試圖去混淆智能語音的概念，他們認為智能語音本身沒有那么復雜，比如可能認為在芯片上通過提升頻率和提升整個處理單元的主頻，就可以把語音算法集成進去，并快速地形成一個產品。我個人對這樣的方式是持保留態度的，這就顯示出你并沒有真正地去讀懂智能語音這件事情。實際上，智能語音中涉及到的一些算法和計算，是值得用一個專用的方式去解決的，而不是僅僅使用非常簡單的一種插件的方式就能夠被賦予到已有的產品中。對于判斷最終語音交互的方式非常簡單，就是人的直接感受。人感受的好與壞，直接能夠決定這個產品的成功與否，因此簡單地在已有的東西上去增加語音算法，并不是一個很好的解決方案。

往期課件

「智東西公開課」專注于新興技術應用案例講解，旗下有「超級公開課」和「主題系列課」兩條產品線。

「主題系列課」已經陸續推出「智能家居系列課」、「自動駕駛系列課」和「AI芯片系列課」；

「超級公開課」側重邀請在全行業或者垂直領域有巨大影響力的大公司、上市公司或獨角獸進行專場講解，目前已先后推出大疆、亞馬遜、NVIDIA、優必選、京東、海爾、中天微、IBM、騰訊共計22場企業專場講解。

如需獲取往期課件，可以搜索關注“智東西公開課”服務號，回復“課件”自行選擇下載。

拓展知識：