Block推Dessa全雙工語音AI 純語音訓練模擬真人對話

美國金融科技公司 Block, Inc. 日前宣布推出名為 Dessa 的新型全雙工語音人工智慧模型。這款模型僅透過人類對話進行訓練，旨在達成更自然、更具情感的人機語音互動。

Dessa 的核心優勢在於其「全雙工」（full-duplex）特性，意即它能像人類一樣，在說話的同時也能聆聽對方。該模型直接以語音作為輸入和輸出（audio in, audio out），與傳統語音 AI 先將語音轉換為文字再處理的方式不同。Block 聲明，Dessa 是從零開始、完全透過聆聽真實對話學習，因此能理解對話中的情感、語氣，甚至在適當時機插入回應或發出表示理解的聲音。

根據《Unite.ai》報導，Dessa 在沒有任何文字或預訓練模型的輔助下，學會了何時打斷、何時做出反應，甚至能捕捉情緒、諷刺、笑聲乃至沮喪的嘆息。Block 旗下的 AI 研究實驗室主管 Ragavan Thurairatnam 形容 Dessa 的問世，是語音領域的「GPT3 時刻」。

Dessa 的推論速度比即時通話更快，能有效避免對話中的尷尬停頓。該模型甚至可以在如 MacBook Pro M4 Max 等消費級顯示卡上本地運行。為展示其能力，Block 分享了多段 Dessa 與人類的對話錄音，例如在一段對話中，Dessa 曾誤將對話者稱為巴西足球明星羅納爾多；而在與 OpenAI 的 GPT-Live-1 語音模型對話時，Dessa 則展現出更自然的語音表現，並提及克里斯多福·諾蘭與布萊恩·辛格的電影。

Block 指出，開發 Dessa 是基於對 AI 對話能力的探索、改善人機溝通理解，以及解決語音 AI 安全性的考量。目前的語音 AI 系統常會將語音轉換為文字處理，進而流失聲音所攜帶的豐富情感資訊。目前 Block 已開放 Dessa 的公開等候名單，並提供早期存取權限給 AI 安全研究人員，期盼能進一步推動語音 AI 的發展。