美國高通(Qualcomm)今(12)日透過子公司高通技術公司宣佈推出高通視覺智慧平台(Qualcomm Vision Intelligence Platform),搭載了公司首款採用 10 奈米 FinFET 製程技術、專門針對物聯網(IoT)所打造的系統單晶片(SoC)系列。QCS605 和 QCS603 系統單晶片能夠針對廣泛的物聯網應用,為裝置內建的相機處理和機器學習提供強大的運算能力,同時具備出色的功效和散熱效率。此兩款系統單晶片整合了高通技術公司迄今為止最先進的圖像訊號處理器(ISP)和高通人工智慧(AI)引擎,以及包括基於 ARM 的先進多核 CPU、向量處理器和 GPU 在內的異構運算架構。該視覺智慧平台還包括高通技術公司的先進相機處理軟體、機器學習與電腦視覺軟體開發套件(SDK),以及高通技術公司經驗證過的連接和安全技術。該平台經優化後可為工業級與消費級智慧安防相機、運動相機、可穿戴式相機、虛擬實境(VR)360 度與 180 度相機、機器人和智慧螢幕等領域帶來令人振奮的全新可能性。包括科達(KEDACOM)和理光(Ricoh)THETA 正計畫開發基於高通視覺智慧平台的產品。
該視覺智慧平台整合了由多個軟硬體元件組合而成的高通人工智慧引擎(AI Engine),以加速終端裝置人工智慧。高通人工智慧引擎包括高通 Snapdragon 神經處理引擎(NPE)軟體框架(針對採用 TensorFlow、Caffe 和 Caffe2 框架進行的開發,配有分析、優化以及調試的工具)、ONNX(Open Neural Network Exchange)交換格式、Android 神經網路 API 和高通 Hexagon Neural Network Library。以上所有設計旨在支援開發者和 OEM 廠商,使其能夠輕易地將訓練網路接入到此平台。透過高通人工智慧引擎和 Snapdragon 神經處理引擎軟體框架,該視覺智慧平台可為深度神經網路推理提供高達每秒 2.1 萬億次運算(TOPS)的運算性能,與其它領先的替代解決方案相比提升超過兩倍。
該視覺智慧平台可支援高達 4K@60fps 或是 5.7K@30fps 的影片,以及更低解析度的多個並行影像串流。為了提供優異的圖像品質,該平台整合了高通技術公司迄今打造的最強大相機處理器:支援雙 1,600 萬像素感測器的雙 14 位元高通 Spectra 270 ISP,其頂級 ISP 功能演進在過去數代中一直居於 DxOMark 基準測試的領先位置。此外,該視覺智慧平台包括物聯網細分領域所必需的先進視覺處理功能,例如可防止高動態範圍影像出現「疊影」效果的交錯式 HDR(staggered HDR)、先進的電子影像穩定、畸變校正、降噪、色差校正,以及硬體移動補償式時間濾波(MCTF)。
該視覺智慧平台 QCS605 晶片組的異構運算架構,整合八核高通 Kryo 360 CPU、高通 Adreno 615 GPU 和 Hexagon 685 向量處理器。該視覺智慧平台的整合式顯示處理器可為一系列顯示螢幕選項(包括高達 WQHD 解析度的觸控式螢幕)提供硬體加速合成、3D 覆蓋,以及包括 OpenGL、OpenCL 和 Vulkan 在內的主流圖形 API 支援。該架構支援多種高級作業系統,旨在讓開發者和製造商在其解決方案中輕鬆打造差異化特性,例如 VR 360 度攝影機的終端內容拼接,自動機器人導航與避障,以及運動攝影機的影片摘要。
該視覺智慧平台支援具備 MU-MIMO 和雙頻段同步傳輸特性的 2×2 802.11ac Wi-Fi、藍牙(Bluetooth)5.1、高通 3D 音訊套件、高通 Aqstic 音訊技術和高通 aptX 音訊。該平台還具備高通噪音抑制與回音消除技術,以及先進的裝置內建音訊分析與處理特性,支援自然語言處理、音訊語音辨識和語音插播功能,打造可靠的語音介面,甚至在吵鬧或嘈雜的環境,或當使用者遠離裝置時也可實現。
該平台基於硬體的安全特性可通過下列功能支援可靠的物聯網終端,包括硬體可信根的安全啟動、可信執行環境、硬體加密引擎、存儲安全、貫穿生命週期控制的調試安全、金鑰分發和無線協議安全等。
為加速開發並進一步實現產品差異化,製造商可依靠技術廠商組成的生態體系,透過其提供的技術,作為此視覺智慧平台補充的解決方案。上述技術廠商包含了人工智慧公司,像是支援臉部、圖像和物體識別的商湯科技(SenseTime),或是支援如運動和物體偵測、分類與追蹤等各種視覺任務的 Pilot.ai 公司,以及支援先進圖像品質校準服務的公司 MM Solutions 等。
目前,高通 QCS605 和 QCS603 正進行送樣階段,多個 SKU 可以滿足對技術和成本的不同需求。高通技術公司與領先的相機 ODM 廠商華晶科技合作,基於 QCS605 產品的 VR 360 度相機參考設計現已上市,此外也預計將於 2018 年下半年推出基於 QCS603 的工業級安全相機參考設計。