實訓臺面向人工智能相關專業(yè),集成了計算機視覺系統(tǒng)、語音處理系統(tǒng)、以及工業(yè)級溫濕度傳感器、報警燈、電磁鎖執(zhí)行器等多種嵌入式應用模塊,通過搭建邊緣計算終端,配合17.3寸邊緣計算顯示單元、人工智能場景應用資源包、虛擬仿真系統(tǒng)、為人工智能專業(yè)相關的應用開發(fā)提供統(tǒng)一的通訊協(xié)議和、接口及AIOT場景。
系統(tǒng)預裝Ubuntu18.04操作系統(tǒng),所有環(huán)境代碼庫文件均已安裝,開機即用。基于多維度學習實踐平臺,由淺入深循序漸進,采用Python語言進行課程資源的開發(fā),適用于Python編程、OpenCV、機器學習、深度學習、數(shù)字圖像處理、計算機視覺、語音識別、嵌入式系統(tǒng)及應用等課程的教學和實踐。
系統(tǒng)由邊緣計算網(wǎng)關、邊緣顯示屏幕、AI視覺攝像頭、智能節(jié)點模塊、溫濕度傳感器、PWM可控風扇、鼠標鍵盤、報警燈等設備構成。
? ? ? ?1.邊緣計算網(wǎng)關
(1)極小空間占用
JETSON NANO 模組僅有 70 X 45 毫米是體積非常小的JETSON設備。為多個行業(yè)(從智慧城市到機器人)以提供強大支持。
(2)更大限度提高性能
JETSON NANO 提供 472 GFLOP。 它可以并行運行多個神經(jīng)網(wǎng)絡,同時外理多個高分辨率傳感器,非常適合入門級網(wǎng)絡硬盤錄像機(NVR)家用機器人以及具備全面分析功能的智能網(wǎng)關等應用。
(3)優(yōu)化能效
JETSON NANO 為您節(jié)約時間和精力,助力您實現(xiàn)邊緣創(chuàng)新。體驗功能強大且高效的 AI、計算機視覺和高性能計算,功耗僅為 5至10 瓦。
? ? 2.邊緣顯示屏幕
采用HDMI高清IPS屏,畫面穩(wěn)定顏色純真顯示,給你強烈的視覺震撼。
? ? (1)IP65級防塵防水。純平面板正面防水,可有效阻止水滴及灰塵侵入機。
? ? (2)節(jié)能低耗 循環(huán)散熱。24小時全天候運行不到1度電,支持通電開機,具365*24小時全天穩(wěn)定運作能力,適用于工業(yè)場所。
? ? (3)1670萬色色彩飽滿真實。原裝IPS面板 呈現(xiàn)真實色彩
? ? (4)十點電容觸摸。高速傳輸、觸控靈敏、穩(wěn)定性高、觸摸靈敏速度快,滿足高效工作需求。
? ? 3.麥克風陣列
? ? ?麥克風陣列可以實現(xiàn)聲源定位(分辨率是1)并對語義進行解析,結合揚聲器可以進行語音播報。支持二次開發(fā),提供詳細開發(fā)教程資料和使用應用例程如TTS文字轉語音、會議定向錄音、實時翻譯和語音機器人控制等。同時支持接入訊飛語音云服務,可實現(xiàn)發(fā)音糾正、聲紋識別等豐富強大功能。可應用在語音智能家居、會議錄音、實時翻譯、機器人交互、口音矯正、交通工具智能座艙等領域。
? ? ??4.工業(yè)攝像機
深度體感攝像頭是VR/AR、機器人和無人駕駛最核心的技術支撐之一,而深度攝像頭就是這類硬件的眼睛。只有機器對“看到的”東西,定位定姿精度更高時,才能更好地識別和做出判斷,從而提升機器的可用性和產品化速度。利用雙目立體視覺成像原理實現(xiàn)三維定位,即可進行手勢、肢體動作的綜。
5.異構網(wǎng)關
智能異構網(wǎng)無線網(wǎng)關與網(wǎng)絡中間件為數(shù)據(jù)通訊的關鍵模塊,核心MCU采用基于ARM Cortex-M4內核的32位微控制器STM32F429ZGT6。預留4個通用無線模塊接口,支持Zigbee、Wifi、藍牙、Lora、433等無線模塊進行組合配置,配有1塊3.2寸TFT觸摸顯示屏用于顯示和交互,分辨率為320*240,并板載了TTL串口、232串口、USB轉串口、以太網(wǎng)口等多種通信接口。
利用STM32F429其強大處理能力及其自適應實時存儲器加速器功能,使得智能異構無線網(wǎng)關能實時處理應用層設置的聯(lián)動信息,將不同聯(lián)動內容分地址存儲,互不干擾,從而實現(xiàn)多種異構網(wǎng)絡數(shù)據(jù)的匯聚與轉發(fā)。
另外板載了1個802.11 b/g/n的模組作為網(wǎng)絡中間件,主頻高達580MHz,輸距離可達280米。它帶有Wifi功能和以太網(wǎng)接口,支持透明傳輸、串口指令、HTTPd Client等多種工作模式,支持網(wǎng)頁配置、串口AT指令、網(wǎng)路AT指令配置等,其Wifi支持AP、STA、AP+STA配網(wǎng)模式。網(wǎng)絡中間件能實現(xiàn)UART、Wifi、以太網(wǎng)三者間的數(shù)據(jù)互傳。
6.智能節(jié)點
無線工業(yè)節(jié)點的核心MCU采用基于ARM Cortex-M3內核的32位微控制器STM32F103ZET6,M3位于屏幕下面;配有1塊3.2寸TFT觸摸顯示屏用于顯示和交互,分辨率為320*240。對外提供多種可編程的硬件接口,包括485、CAN、ADC、SPI、PWM、GPIO、UART、IIC等。預留了通用雙排防反插接口,支持Zigbee、Wifi、Lora、433等無線模塊的自由切換。此外,智能節(jié)點與AIOT虛擬仿真設備統(tǒng)一協(xié)議互聯(lián)互通。
?
1.硬件設計采用立式臺體結構,一體化設計,結合15.6寸邊緣計算顯示單元,方便教學
2.邊緣計算終端預裝Ubuntu18.04操作系統(tǒng)及環(huán)境代碼庫文件。支持鍵盤、鼠標,并集成15.6寸邊緣計算顯示單元,上電即用,用戶無需配置任何外設;
3.安裝面板采用插接式設計,所有組件均需支持自由插拔,并預留USB、網(wǎng)口等接口,用戶可根據(jù)需要自行拓展其他組件;
4.滿足Python編程、機器學習、深度學習、數(shù)字圖像處理、計算機視覺、語音識別、嵌入式系統(tǒng)及應用等課程或知識點的教學;
? ? ? 5.平臺集成工業(yè)攝像機、麥克風陣列,配合提供的算法源代碼,可完成包括人臉檢測、車牌識別、垃圾分類、目標檢測、語音喚醒、語音識別、語音合成、智慧交互音箱、語音控制等實驗實訓。兼容Caffe/TensorFlow/MXNet訓練模型和API,可以讓學生對機器視覺的流程、處理方式等有更好的了解,熟悉相關算法,了解實際應用場景,貼近工程化應用。
? ? ??6.結合AIOT虛擬仿真系統(tǒng),可完成AIOT工程應用實現(xiàn)。完成人臉識別門禁系統(tǒng)(真實人臉識別通過后,根據(jù)應用協(xié)議,虛擬仿真系統(tǒng)中,電磁鎖3D動畫打開)、語音交互控制系統(tǒng)等。
虛擬仿真系統(tǒng)中的每個實驗過程均采用3D模型進行實驗,通過更好的沉浸式體驗,避免用戶操作真實性的問題。使用戶在實驗、AIOT工程布線、開發(fā)應用等真實場景中,得心應手。傳感器模型在發(fā)送虛擬數(shù)據(jù)或接收真實數(shù)據(jù)時,傳感器模型根據(jù)虛擬數(shù)據(jù)的設定或真實數(shù)據(jù)的接收,產生對應的動畫效果,從而使實驗更加生動,形象。虛擬仿真系統(tǒng)中的每個場景應用均采用3D場景中拖拽控件,同時支持線路(電源、仿真器、傳感器接線等)動態(tài)驗證,輕松掌握工業(yè)級傳感器接線技術。
? 一、臺體結構
▲安裝面板采用插接式設計,所有組件均需支持自由插拔,并預留USB、網(wǎng)口等接口,用戶可根據(jù)需要自行拓展其他組件;
形態(tài):一體化桌面式操作臺
材質:金屬鋼結構板材,表面烤漆
尺寸:長≧480mm,高≧620mm,底寬≧200mm。
?
二、邊緣計算網(wǎng)關
CPU:四核ARMA57@143 GHZ
GPU:128核Maxwell
AI算力:473GFLOPS
顯存:4GB 64位LPDDR425.6 GB/s
▲存儲:16GB eMMC
視頻編碼器:4K @30|4x 1080p @3019x 720p @30(H.264/H.265)
視頻解碼器:4K @6012x4K @3018x1080p @30118x 720p @30(H.264/H.265)
攝像頭接口:2個MIPI CSI-2DPHY通道;
連接:千兆以太網(wǎng),M.2 KeyE
顯示:HDMI和DP
USB:4個USB 3.0、USB 2.0 Micro-B
▲網(wǎng)絡:支持USB高速網(wǎng)卡,支持M.2雙頻高速網(wǎng)卡
其他:GPIO、12C、12S、SPI、UART
規(guī)格尺寸:100 mm x80 mm x29 mm
?
? 三、邊緣交互單元
1、工業(yè)顯示屏
屏幕尺寸:15.6寸
分辨率:1920*1080
▲觸控方式:電容觸摸
屏幕比例:16:9
屏幕類型:TFT
功耗:≦20W
亮度:300cd/㎡
對比度:700:1
可視角度:80/80/70/60
工作溫度:-20℃-60-20℃。
凈/毛重:3.0kg/4.0kg
非觸摸屏接口:BNC/VGA/HDMI/AV/USB
觸摸屏接口:VGA/HDMI/AV/USB
?
四、麥克風陣列
麥克風數(shù)量:6個
聲源定位分辨率:1°
拾音距離:10m
多喚醒詞:支持
自定義指令詞:支持
音頻降噪:支持
回聲消除:支持
離線識別:支持
詞條識別限制:詞條數(shù)量不限,字數(shù)限制10個詞
▲Linux開發(fā):提供完整SDK例程,可實現(xiàn)離線命令詞識別,返回識別結果、喚醒角度、音頻等等
windows/linux系統(tǒng)串口控制:可通過串口開啟錄音、獲取喚醒狀態(tài)、設置喚醒詞、獲取喚醒角度
Windows/linux系統(tǒng)直接讀取音頻:支持
▲支持Jetson Nano,提供Jetson Nano的開發(fā)資料和ROS源碼。
?
五、工業(yè)攝像機
傳感器類型:CMOS
幀速:30 FPS
拍照格式:BMPJPG
輸出格式:M-JPEG
閃爍控制:50Hz
調焦范圍:20mm
麥克風:內置麥克風
錄像格式:AVI
分辨率:1920*1080P
接口類型:USB2.0
產品尺寸:70.0*50.7*44.0mm
▲驅動類型:免驅動即插即用。
支持設備:支持主流電腦Windows,2000,XPVista,Win7/8/10Macos,Linux等操作系統(tǒng)。
?
? 六、異構網(wǎng)關(含中間件)
▲處理器:核心MCU采用基于ARM Cortex-M4內核。
▲顯示單元:3.2寸TFT觸摸顯示屏,可提供良好的人機交互界面
無線單元:板載支持ZIGBEE、WIFI、藍牙、LORA、433等無線模塊,匯聚多種異構網(wǎng)絡
板載功能:對外TTL串口、232串口、USB轉串口等多種通信接口。
▲聯(lián)動存儲功能:利用STM32F429其強大處理能力及其自適應實時存儲器加速器功能,使得智能異構無線網(wǎng)關能實時處理應用層設置的聯(lián)動信息,將不同聯(lián)動內容分地址存儲,互不干擾。
▲網(wǎng)關中間件功能:板載802.11 b/g/n的模組,主頻高達580MHz,帶WIFI功能和以太網(wǎng)接口。板載嵌入式工業(yè)級網(wǎng)關中間件模塊,實現(xiàn)UART、Wi-Fi、以太網(wǎng)間的三者互傳功能。
?
? 七、智能節(jié)點
▲雙MCU設計:無線模塊(支持Zigbee、WIFI等)+Cortex-M3核心
▲3.2寸TFT觸摸顯示屏,分辨率320*240,提供良好的人機交互界面;
核心MCU采用Cortex-M3 32位微控制器。
無線節(jié)點配備人機交互界面,顯示屏尺寸3.2寸(截圖證明)
板載功放電路;485、CAN、ADC、IO口、串口接口等。
模塊的自由切換:單排雙列12pin直插接口,
支持zigbee,WIFI,藍牙等無線模塊的自由切換。
無線模塊:標準雙排防反插接口,處理器CC2530
無線模塊協(xié)議:符合IEEE802.15.4 ZigBee標準規(guī)范;
▲AIOT虛擬仿真平臺教學知識點互通:與AIOT虛擬仿真設備統(tǒng)一協(xié)議互聯(lián)互通,AIOT虛擬仿真平臺的虛擬設備能夠完全仿真軟硬件模塊設備,3D仿真效果硬件模塊的外觀、接線端口完全一致;
▲真實傳感器數(shù)據(jù)支持接入虛擬仿真互聯(lián)互通(提供功能講解演示視頻U盤,含視頻播放軟件)
▲虛擬仿真平臺控制可與真實硬件同步實現(xiàn)控制效果(提供功能講解演示視頻U盤,含視頻播放軟件)
?
? 八、AIOT傳感器
1、RS485溫濕度傳感器
材質:外殼采用ABS材質
▲顯示:液晶顯示器實時顯示數(shù)據(jù)
工作電壓:10V-30V DC
最大功耗:0.3W
輸出信號:RS485
響應時間:≤ 15S
溫度長期穩(wěn)定性:≤ 0.1℃/y
濕度長期穩(wěn)定性:≤ 1%RH/y
工作溫度:-40℃ T0 +80℃
溫度分辨率:0.1℃
濕度分辨率:0.1%RH
耗電:≤0.15W(12V DC,25℃)
2、RS485光照傳感器
供電電壓:12VDC~30VDC
感光體:帶濾光片的硅藍光伏探測器;
波長測量范圍:380nm~730nm;
準 確 度:±7%
重復測試:±5%;
溫度特性:±0.5%/℃;
測量范圍:0~200000Lux
輸出形式:485總線信號
?
? 九、AIOT執(zhí)行器
1、風扇
額定電壓:12VDC
轉速:650-1800RPM
軸承:液壓
額定電壓:5VDC
額定電流:0.25A
風壓:1.60mmH20士10%
噪音值:6-28dBA
燈光接口:3-Pin
電源接口:4-Pin
工作電壓:12V
額定電流:600mA
消耗功率:7.5W
插銷伸縮長度:10mm
開鎖時間:1S
款式:立式
顏色:紅色
產品功率:10W
工作電壓:12V
底座:24V圓盤短管
?
十、無線網(wǎng)絡路由器
Wi-Fi協(xié)議:Wi-Fi5
處理器性能:單核580MHz,
2.4GHz最高速率:300Mbps
5GHz最高速率:867Mbps
信號放大器:集成
網(wǎng)口:3個百兆網(wǎng)口
帶機量:64臺
?雙頻合一:支持
第一章 |
機器視覺 |
1.OpenCV |
視頻顯示 |
? |
? |
? |
畫面繪圖 |
? |
? |
? |
圖像變化 |
? |
? |
? |
圖像處理 |
? |
? |
? |
邊緣檢測 |
? |
? |
? |
圖像變換 |
? |
? |
2.通用目標識別 |
顏色識別 |
? |
? |
? |
手寫字識別 |
? |
? |
? |
目標檢測 |
? |
? |
? |
目標識別 |
? |
? |
? |
運動檢測 |
? |
? |
3.人臉識別 |
人臉檢測 |
? |
? |
? |
人臉識別 |
? |
? |
? |
表情識別 |
? |
? |
4.人體識別 |
姿態(tài)識別 |
?
第二章 |
自然語言 |
1.語音處理 |
語言喚醒 |
? |
? |
? |
語音識別 |
? |
? |
? |
語音合成 |
? |
? |
2.文本處理 |
中文分詞 |
? |
? |
? |
詞性標注 |
? |
? |
? |
文本摘要 |
? |
? |
? |
情感分析 |
? |
? |
3.深度學習 |
智能問答 |
? |
? |
? |
智能聊天 |
? |
? |
? |
智能翻譯 |
? |
? |
4.語音云服務 |
語音識別與合成 |
? |
? |
? |
文本相似度 |
? |
? |
? |
文本糾錯 |
? |
? |
? |
智能寫詩 |
?
第三章 |
綜合案例 |
1.垃圾分類系統(tǒng) |
垃圾照片 |
? |
? |
? |
分類提示 |
? |
? |
? |
語音合成播報 |
? |
? |
2.人臉識別系統(tǒng) |
人臉識別 |
? |
? |
? |
識別開鎖真實硬件或虛擬仿真 |
? |
? |
? |
安防報警真實硬件或虛擬仿真 |
? |
? |
3.語音交互音箱 |
喚醒詞喚醒 |
? |
? |
? |
語音識別命令 |
? |
? |
? |
語音控制真實硬件或虛擬仿真 |
? |
? |
? |
語音合成播報結果 |
? ?