回到頂端
|||

溝通再無困難!Googl研發「手語辨識」演算法 用AI即時翻譯手語

匯流新聞網/紀 沈廷 2019.08.22 17:13

匯流新聞網記者紀沈廷/綜合報導

現在全世界已經有數百萬人用手語來進行交談,手語儼然成為重要的語言表達方式之一;但截至目前為止,可以捕捉手複雜手勢,同時能即時翻譯成口語的相關技術,在研發上仍有限;對此,Google AI研發的一款即時手部追蹤新技術,有望幫助手語及口語族群相互溝通。

過去,如果想讓手語即時翻譯成口語,大部分都得在桌機環境中進行,主要是因為使用手語時,手勢可能會遮到自己的手指、手掌或是手會因為一些原因而抖動;再加上手語的手部動作其實很細微,而且打手語的速度其實並不慢,即使採用多個攝影鏡頭拍攝,但這些辨識對機器視覺來說,還是屬於高強度挑戰,也因此很難在手機或行動裝置中進行追蹤、辨識、分析後進行即時翻譯。

為了突破這個困境,Google AI實驗室便反其道而行,在一定程度上減少了數量,藉此減低機器視覺辨識的周轉時間。他們先放棄讓系統檢測整體手部位置、大小,單純讓系統去捕捉「手掌」,主要是因為手掌大小通常是固定的,而且是方形,能避免系統要處理矩形或其他特殊圖像所帶來的辨識困擾。當識別手掌後,延伸出去的手指就能被個別分析,依照設定的21個座標,進而分析出指關節、指間跟手掌的距離,甚至能根據手掌大小、角度等,來推測出目前手勢的形狀。

為了完成這樣的手指識別,Google AI實驗室必須先用人工方式,一個個將不同手勢、不同照明情況下的3萬張手部圖像都加上這21個座標點,以利後續機器學習。畢竟,所有人工智慧的起點,還是得靠人類自己打下基礎。之後,藉由機器學習,手語動作就能跟已知的手勢相互比對,從字母語數字的手語符號對應到所指語言,而這種方法能讓手語辨識直接在一般手機上運作,而無須非得在桌機環境或雲端環境下進行。

不過,雖然Google AI實驗室的手語辨識技術已經往前跨了一大步,但手語成熟、複雜,是個擁有豐富資訊的系統,加上手語也並非單一隻手的手勢,同時得運用雙手、臉部表情語其他線索來進行溝通,未來若想真正完成手語即時翻譯,恐怕還得搭配強大硬體,才有可能達到目標。

參考來源:TechCrunch、BBC News
照片來源:googleblog

更多匯流新聞網報導:
祂的降臨,是為眾生!京都百年佛寺請出「AI觀音」 當鎮寺之寶

Nike收購人工智慧新創公司 想用AI準確預測「購物行為」

【匯流筆陣】
CNEWS歡迎各界投書,來稿請寄至[email protected],並請附上真實姓名、聯絡方式與職業身份簡介。
CNEWS匯流新聞網:https://cnews.com.tw

【文章轉載請註明出處】

熱門關鍵字:

AI Google 人工智慧

社群留言

台北旅遊新聞

台北旅遊新聞