谷歌人工智能研究實驗室 DeepMind 透露，它正在開發一種名爲 V2A 的人工智能工具，它可以爲人工智能生成的視頻創建聲音和對話。V2A 代表視頻轉音頻，它使用基於文本的提示和視頻像素爲視頻生成對話、音樂和音效。

另請閱讀：Google DeepMind 推出 TacticAI：徹底改變足球戰術

據 DeepMind 介紹，生成的音效和音樂與視頻的預期基調和特徵相匹配。DeepMind 進一步解釋說，該技術可以幫助爲 AI 生成的視頻增添更多生命力。

V2A 將音訊與視訊場景相匹配

雖然音訊生成技術並不是什麼新鮮事，但 DeepMind 聲稱其 V2A 工具是同類中的第一個，可以自動將音訊與視訊進行配對。

DeepMind 在部落格文章中寫道：“視頻生成模型正在以令人難以置信的速度前進，但許多當前系統只能生成無聲輸出。”

「透過對視訊、音訊和附加註釋進行訓練，我們的技術學會將特定的音訊事件與各種視覺場景相關聯，同時響應註釋或文字記錄中提供的資訊。”

深心。

該公司補充說，其技術是自動的，而不是需要調整聲音、視訊和時間的耗時的手動對齊。

據 DeepMind 稱，V2A 工具可用於為任何視訊輸出產生無限數量的音軌。積極提示可以「定義為引導產生的輸出朝向所需的聲音，或消極提示引導其遠離不需要的聲音」。

該公司表示：“這種靈活性使用戶可以更好地控制 V2A 的輸出，從而可以快速嘗試不同的音訊輸出並選擇最佳匹配。”

我們正在分享視訊轉音訊 (V2A) 生成技術的進展。 🎥

它可以為與場景聲學相符的無聲剪輯添加聲音，伴隨螢幕上的動作等等。

這裡有 4 個例子——打開你的聲音。 🧵🔊 https://t.co/VHpJ2cBr24 pic.twitter.com/S5m159Ye62

— 谷歌 DeepMind (@GoogleDeepMind) 2024 年 6 月 17 日

Deepmind 不為競爭所動

最新的創新是 DeepMind 希望鞏固其在行業中的主導地位之際推出的。今年早些時候，英國人工智慧語音產生器公司 ElevenLabs 在 B 輪融資中籌集了 8,000 萬美元，實現了一個里程碑，據 Verdict 稱，該公司估值超過 10 億美元。

該公司表示，其用戶已經產生了 100 多年的音訊。它還聲稱目前有 41% 的財富 500 強公司使用其音訊軟體。

另請閱讀：Google DeepMind 與 OpenAI：人工智慧影片生成領域的競賽愈演愈烈

儘管存在這種競爭，DeepMind 仍表示他們並不急於向公眾發布該技術。

該公司表示：“在我們考慮向更廣泛的公眾開放之前，我們的 V2A 技術將經過嚴格的安全評估和測試。”

DeepMind 也表示，V2A 可與 Veo 等影片產生模型配對，有助於創建逼真的音效。

Enacy Mapakame 的 Cryptopolitan 報告