初創(chuàng)公司Stability AI專(zhuān)注于開(kāi)發(fā)人工智能（AI）產(chǎn)品，最近發(fā)布了一款令人期待的AI模型——Stable Video Diffusion。這款模型的獨(dú)特之處在于，它能夠通過(guò)現(xiàn)有的靜態(tài)圖片生成高質(zhì)量的視頻，是基于之前發(fā)布的Stable Diffusion文本轉(zhuǎn)圖片模型的延伸。目前市面上能夠生成視頻的AI模型相對(duì)較少，因此Stable Video Diffusion引起了廣泛關(guān)注。
然而，需要注意的是，Stable Video Diffusion目前并不對(duì)所有人開(kāi)放。它目前處于Stability AI所謂的“研究預(yù)覽”階段。想要使用這款模型的人必須同意一些使用條款，其中規(guī)定了Stable Video Diffusion的預(yù)期應(yīng)用場(chǎng)景（例如“教育或創(chuàng)意工具”、“設(shè)計(jì)和其他藝術(shù)過(guò)程”等）以及非預(yù)期的場(chǎng)景（例如“對(duì)人或事件的事實(shí)或真實(shí)的表達(dá)”）。
Stable Video Diffusion實(shí)際上由兩個(gè)模型組成：SVD和SVD-XT。SVD可以將靜態(tài)圖片轉(zhuǎn)化為14幀的576×1024像素視頻，而SVD-XT則使用相同的架構(gòu)，但將幀數(shù)提高到24。兩者都能以每秒3到30幀的速度生成視頻。
根據(jù)Stability AI發(fā)布的白皮書(shū)，SVD和SVD-XT最初是在一個(gè)包含數(shù)百萬(wàn)視頻的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，然后在一個(gè)規(guī)模較小的數(shù)據(jù)集上進(jìn)行了“微調(diào)”，這個(gè)數(shù)據(jù)集只有幾十萬(wàn)到一百萬(wàn)左右的視頻片段。雖然這些視頻的來(lái)源并不十分清楚，但白皮書(shū)暗示許多是來(lái)自公開(kāi)的研究數(shù)據(jù)集，因此無(wú)法判斷是否存在版權(quán)問(wèn)題。
盡管Stable Video Diffusion還存在一些局限性，Stability AI對(duì)此也很坦誠(chéng)。例如，這些模型不能生成沒(méi)有運(yùn)動(dòng)或緩慢攝像機(jī)平移的視頻，也不能通過(guò)文本進(jìn)行控制，也不能渲染文字（至少不能清晰地渲染），也不能一致地“正確地”生成人臉和人物。
雖然目前還處于早期階段，但Stability AI指出這些模型非常具有擴(kuò)展性，可以適應(yīng)諸如生成物體的360度視圖等用例。最終，Stability AI的目標(biāo)是將Stable Video Diffusion商業(yè)化，稱(chēng)其在“廣告、教育、娛樂(lè)等領(lǐng)域”都有潛在的應(yīng)用。這一新穎的AI模型無(wú)疑將為視頻生成領(lǐng)域帶來(lái)新的可能性。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請(qǐng)注明出處：http://www.bdzhitong.com/article/597666.html
