印度人平均花費(fèi)超過(guò)8.5GB的移動(dòng)數(shù)據(jù)，其中大部分用于視頻。去年，YouTube表示，超過(guò)95%的內(nèi)容消費(fèi)是使用區(qū)域語(yǔ)言。因此，自然而然地，人們對(duì)白話視頻產(chǎn)生了濃厚的興趣，但并非所有創(chuàng)作者都知道所有印度語(yǔ)。

一種解決方案是配音。上周，就在Parasite獲得了奧斯卡金像獎(jiǎng)之后，母親瓊斯聲稱配音優(yōu)于翻譯字幕。但是讓我告訴你，這很糟糕。我看過(guò)很多用印地語(yǔ)配音的英語(yǔ)電影，我要么受不了，要么就死于笑?？谛屯酵ǔ２豢捎?，配音似乎很不自然。

[閱讀：新西蘭首位AI警務(wù)人員上班報(bào)告]

現(xiàn)在，來(lái)自印度南部城市海得拉巴的國(guó)際信息技術(shù)學(xué)院的研究人員開(kāi)發(fā)了一種新的AI模型，該模型可以將視頻從一種語(yǔ)言翻譯成語(yǔ)音同步并以另一種語(yǔ)言正確同步。

該小組表示，我們已經(jīng)擁有從視頻中獲取翻譯的文本或語(yǔ)音輸出的技術(shù)。但是，配音過(guò)程中會(huì)丟失視覺(jué)轉(zhuǎn)換(如嘴唇移動(dòng))。為了解決這個(gè)問(wèn)題，印度研究人員開(kāi)發(fā)了一種名為L(zhǎng)ipGAN的新型對(duì)抗性生成網(wǎng)絡(luò)(GAN)。雖然它可以匹配原始視頻中翻譯文本的唇部動(dòng)作，但它也可以校正配音電影中的唇部動(dòng)作。

為了翻譯視頻，該模型使用語(yǔ)音識(shí)別來(lái)轉(zhuǎn)錄視頻中的語(yǔ)音。然后，它使用為印度語(yǔ)言訓(xùn)練的專門模型來(lái)翻譯文本，例如從英語(yǔ)翻譯成印地語(yǔ)。然后語(yǔ)音識(shí)別模型將其轉(zhuǎn)換為語(yǔ)音。語(yǔ)音到語(yǔ)音翻譯再加上LipGAN，構(gòu)成了整個(gè)模型。研究人員指出，他們的翻譯模型比Google Translate更準(zhǔn)確。

IIIT-H研發(fā)部院長(zhǎng)CV Jawahar教授說(shuō)，這項(xiàng)技術(shù)將有助于創(chuàng)建更多以區(qū)域語(yǔ)言編寫(xiě)的內(nèi)容：

從頭開(kāi)始手動(dòng)創(chuàng)建本地語(yǔ)言內(nèi)容，甚至手動(dòng)翻譯和復(fù)制現(xiàn)有視頻都無(wú)法以創(chuàng)建數(shù)字內(nèi)容的速度擴(kuò)展。這就是為什么我們希望它是完全自動(dòng)化的。

麻省理工學(xué)院和其他享有盛譽(yù)的機(jī)構(gòu)針對(duì)各種主題制作了精美的視頻，僅因他們無(wú)法理解口音而無(wú)法為更多的印度觀眾所用。忘了鄉(xiāng)親，連我都不懂!

團(tuán)隊(duì)補(bǔ)充說(shuō)，該模型仍然在視頻中移動(dòng)或多張面孔方面掙扎。除了解決這些問(wèn)題外，團(tuán)隊(duì)還希望在翻譯后改善面部表情。