基於Cyclone II FPGA開發平台實現語音識別算法程序的設計

SOPC可編程片上系統是一種獨特的嵌入式微處理系統。首先，它是SoC，即由單個芯片完成整個系統的主要邏輯功能；其次，它是可編程系統，以FPGA為硬件基礎，具有靈活的設計方式，可裁減、可擴充、可升級，並具備軟硬件系統在線可編程的能力。

本系統採用了Altera公司的CycloneIIFPGA開發平台和相應的開發工具QuartusII進行系統硬件部分的開發；利用NiosIIIDE實現了語音識別算法的編譯、鏈接、調試和運行；同時還應用了Altera公司獨具特色的C2H加速工具，實現了語音算法程序的硬件加速，使系統性能得到了明顯的提升。

此次設計採用了二維條形碼進行語音特徵的存儲，一方面是考慮到二維條形碼的成本很低，市場應用潛力巨大；另一方面，正因為在個人證件上擁有了二維條形碼，系統可以脱離數據庫的支持，變得更加靈活實用。

系統結構

本設計採用SOPC的可編程設計思想，以CycloneII中實現的NiosII處理器為核心，系統架構如圖1所示。

圖1系統結構框圖

中心處理模塊可以接收其他模塊的數據，並進行處理，再將處理結果送到外部設備進行顯示和報告。語音採集模塊在用户註冊和認證時採集用户口令（即語音），其中包含A/D採樣、量化、編碼等，並會將數字形式的數據送到中心處理模塊等待處理。系統以串口掃描槍做為條碼掃描設備，用於讀取個人證件上嵌入聲紋特徵的二維條形碼中的數據，這些數據是在用户註冊時生成的。

本設計將SOPC設計與二維條形碼數據存儲相結合，不僅發揮了各自的特點，而且擴寬了應用領域。

系統工作流程分為註冊和驗證兩個階段。註冊過程需要採集同一用户的多個語音，通過註冊算法生成個人的生物特徵，將其嵌入到二維條碼中，再打印條碼到此用户的個人證件上。這樣的證件具備了唯一、不易複製等特點，從而提高了證件的安全性能。對證件進行驗證時，先用條碼掃描設備讀取條碼中的特徵數據，然後現場採集證件持有人的語音，進行比對，給出驗證結果。

硬件的具體實現

本設計以32位NiosII軟核處理器為系統的核心部分，負責執行指令和數據運算。各種IP都可以通過SOPCBuilder連接到Avalon總線上，其中包含用户自定義的外設。用户外設的編寫需要符合Avalon總線的規範。

系統硬件結構如圖2所示，包括CPU、UART、LCD、三態橋、片外存儲器控制，以及各種輸入/輸出控制，這些IP都可以直接複用。這樣的系統設計方法不僅模塊化，而且大大縮短了系統設計週期。FFT運算模塊不僅可以直接使用IP，還可以用C2H加速工具來提高系統性能。在此次設計中，FFT、DCT以及數據量較大的循環運算都採用C2H完成了硬件加速，效果較為明顯。

圖2系統硬件結構

NiosII軟核處理器

NiosII是32位軟核處理器，具有較高的性能。本設計在Altera的CycloneII上實現了處理器的配置，可以通過添加用户自定義指令來增強系統設計性能，同時可以添加多個片內存儲器來提高數據的處理能力。

串口通信

本設計用到的掃描槍通過串口（UART）連接到開發平台上，目的是對二維條形碼中包含語音特徵的數據進行讀取，通過Avalon總線將數據傳送到相應的片外存儲器中等待處理。

TImer

本設計利用SOPCBuilder工具將兩個TImer掛到Avalon總線上。其中一個設置為在IDE中運行C程序時的系統時鐘，另外一個用作計時器。算法程序中設置了多個時間戳（TImestamp），相鄰兩個時間戳內程序段的運行時間可以用這兩個時間戳的差值來表示。時間戳的設置對程序運行沒有影響。設置計時器的最終目的是：將完全的軟件實現與用C2H加速後的程序運行時間進行比較。

語音採集和語音報告驗證結果

系統中，語音採集和語音報告驗證結果部分均由Wolfson公司的WM8731L完成。WM8731L可以獨立於NiosII軟核處理器單獨工作，其控制模塊可按照I2C總線的時序編寫。WM8731L內部含有A/D、D/A模塊，同時具備較高的採樣率和量化精度。本設計採用了8kHz的採樣率，16位的量化精度。

在語音採集部分，由於A/D是串行數據輸出，因此編寫了串行到並行數據轉換以及寫SRAM控制的Verilog模塊。語音報告結果部分通過GPIO與CPU進行數據、地址通信，將不同的語音按照不同的驗證結果播放出來，這些語音的數據已經事先燒寫進FLASH中。GPIO的控制可以通過NiosIDE來完成。類似地，播放語音部分由於從FLASH讀出的數據是並行的，因此編寫了並行到串行數據轉換的Verilog模塊。

加速模塊

首先，在NiosIDE下運行算法C語言程序，利用計時器找出程序運行的瓶頸環節。而後對瓶頸部分利用C2H工具進行硬件加速，從而提高系統性能。這部分主要包括FFT運算加速和循環運算加速模塊。

軟件流程

個人證件的驗證流程如圖3所示。驗證分為兩個基本過程，首先要讀取條碼中的數據，即用户登錄；然後採集用户語音，即用户身份輸入。經過特徵比對，給出驗證結果，由此可以説明用户現場所持證件是否屬於其個人。

圖3驗證過程軟件流程圖

C2H硬件加速

NiosIIC2H加速器可以將ANSIC源程序代碼轉換成用户自定義的硬件加速模塊。利用C2H工具，開發人員首先在AlteraNiosII處理器中開發和調試C語言算法，而後將分析出的C程序瓶頸代碼轉換成硬件加速模塊。硬件加速模塊被掛到Avalon總線上，作為用户外設來使用。由此實現了從軟件運行算法到硬件加速處理的轉換過程。需要注意的是，並不是所有的C代碼都可以轉換成硬件加速模塊。C2H編譯器的特點如下：

①支持大部分的ANSIC代碼和C語言結構，如指針、堆棧、結構體、全局和局部變量、循環、函數調用等；

②C2H編譯器可以將C語言的語法成分映射為硬件結構，而且用户可以控制這些硬件加速結構；

③由於IDE6.0整合了C2H工具，用户無需學習新的開發環境；

④C2H可以利用SOPCBuilder將加速好的硬件結構自動連接到Avalon總線上，無需用户手動處理；

⑤C2H可以產生硬件結構、資源利用率等詳細報告。

本設計中規定用户採集語音的時長約為1s，內容為“你好”。在這樣的條件下，利用計時器計算從預處理到給出識別結果的程序運行時間。系統時鐘頻率設置為50MHz。通過試驗，得出運行時間約為5s，這顯然不能滿足實際需求。對實驗結果進行分析，發現程序運行耗時主要集中在預處理和特徵提取這部分，將其稱為“前端”。經過分析前端的代碼運行情況，設計師發現程序運行時間較長的主要原因是該部分包含了大量的矩陣運算和循環運算。下一步工作就是分析程序的運行瓶頸。經過分析研究發現，本設計算法中的瓶頸主要集中在加窗、FFT和DCT等部分，它們的耗時一般佔到整個程序運行的60%以上。若將這些環節加速成功，性能將有較大提升。

圖4中顯示了在SOPCBuilder中向Avalon總線加載C2H加速器和片內RAM的情況。圖中顯示了兩個加速器：accelerator_c2h_fft_fft和accelerator_c2h_fft_ham，分別對應FFT和加窗（漢明窗）的硬件加速運算過程，SOPCBuilder並沒有為這兩個模塊分配基地址。圖4中最下方的4個片內RAM可以起到數據緩存的作用。SinRAM與CosRAM為FFT加速運算提供正弦和餘弦的查找表數據，dataRRAM與dataIRAM分別用於存儲FFT運算後生成數據的實部和虛部。

圖4C2H加速器和添加的片內RAM

gt是設計中同一用户註冊時的3段語音（內容相同）。通過表1可以看出，完全軟件計算時，FFT耗時大約為2s；利用C2H工具加速後，耗時僅約為0.01s，提速效果良好。而後再將算法程序中其它環節進行加速，則設計的整體性能是可以滿足實際需求的。因此，C2H對運行在SOPC系統上軟件算法的加速處理是十分有效的。

結語

本文闡述了一種基於FPGA平台的應用設計實例，不僅能充分體現SOPC設計理念，而且與生物特徵技術有機結合，發揮了二者的優勢，具有廣闊的應用前景。另外，本設計採用了Altera的C2H加速工具對軟件算法進行硬件加速，實驗結果表明利用這種方法進行設計效果明顯。由於使用C2H工具對算法有一定的限制，因此某些情況下，用户自定義指令和用户外設仍然是不可或缺的設計方法。這幾種設計手段的有機結合是FPGA設計的主要方向。

責任編輯：gt