CAC 開放申請「DeepEmo」編輯器試用版,透過語音自動生成 3D 角色表情動畫以減少工時

Photo of author

By 吹著魔笛的浮士德

AI技術與運用

CAC Holdings(4725)的子公司 CAC 宣布,將於 2024 年 12 月 10 日開始提供可從語音自動生成 3D 角色表情動畫的「DeepEmo」編輯器試用版。這款編輯器以 Unity 專案形式提供,AI 會分析對白語音並輸出情感數據,根據這些情感數據自動生成 3D 角色的表情動畫。

image 14 55

官方表示,在遊戲開發等領域中,3D 角色的表情動畫需要動畫師為每個角色手動製作表情,這會產生大量的工作步驟,特別是當遊戲中出現的角色和對白越多,製作成本就越容易增加。

這次 CAC 開發的試用版編輯器,只需要匯入語音數據和情感分析的 CSV 檔案,就能在 Unity 中輕鬆自動生成符合對白和情感的 3D 角色表情動畫。

透過預設的 9 種情感(平常、憤怒、恐懼、厭惡、喜悅、悲傷、信任、興趣、驚訝)所對應的混合變形,可生成配合對白情感且具有口型同步的自然表情動畫。

image 14 56
image 14 57

應用效果

在某大型遊戲開發公司的導入案例中,DeepEmo 在原本需要動畫師每人每天製作約 2 分鐘表情動畫的工作量上,實現了約 95% 的工作量減少。具體來說,為 1,000 分鐘對白製作表情的工作量從原本的 500 人工天大幅減少至約 25 人工天,獲得了「大幅提升表情製作效率,顯著縮短製作時間」的評價。這次提供的試用版編輯器,預計能讓使用者更輕鬆體驗這樣的效果。

DeepEmo 試用版編輯器的開發背景

DeepEmo 是透過深度學習,基於表達情感的語音來推估平常、憤怒、恐懼、厭惡、喜悅、悲傷、信任、興趣、驚訝等 9 種情感的演算法。它能分析錄製的對白語音,生成每 0.32 秒發生一次變化的情感數值。

過去 DeepEmo 將從語音數據分析出的情感數值以 CSV 檔案形式提供給使用者,但這種方式需要使用者自行解讀情感分析數據,而且每家公司都需要建立各自的表情生成系統,回饋反應在實際開發現場導入時門檻較高。

為了解決這些問題並實現更有效率的開發環境,才開發了這款新版的編輯器。

未來發展

CAC 計劃在實際遊戲開發現場活用此編輯器的過程中收集各種開發者的回饋,進行提供符合實際需求的功能強化。未來預計將支援多個 3D 製作平台、與現有產線的連接、實現批次套用表情功能、支援 VRM 格式等,以回應開發現場的多樣需求。

此外,除了遊戲製作之外,也計劃將服務擴展至元宇宙和 VTuber 等使用 3D 角色的數位內容製作領域。希望透過 DeepEmo 提供的情感分析和表現技術,實現人與數位角色之間更豐富的溝通體驗。


吹著魔笛的浮士德
遊戲產業觀察評論家、親子成長的初心者、10 級 Google 地圖嚮導
合作與新聞投稿:[email protected]

追蹤 Instagram:https://lihi3.cc/vlzV5
追蹤 Facebook 專頁:https://www.facebook.com/h9856games