18无删减羞羞网站动漫-18未满禁止观看黄瓜视频-18岁以下禁止看很黄的视频-18岁免费网站-特级全黄一级毛片免费-特级全黄

首頁 > 生活分享 > 免費(fèi)教學(xué) > AI首次實(shí)時(shí)生成視頻!尤洋團(tuán)隊(duì)新作,網(wǎng)友:這是新紀(jì)元

AI首次實(shí)時(shí)生成視頻!尤洋團(tuán)隊(duì)新作,網(wǎng)友:這是新紀(jì)元

發(fā)布時(shí)間:2024-06-29 16:41:19來源: 15210273549

這是團(tuán)隊(duì)在Open-Sora上,使用5個(gè)4s(192幀)480p分辨率視頻進(jìn)行的測(cè)試。

新方法名為Pyramid Attention Broadcast(PAB),由新加坡國(guó)立大學(xué)尤洋以及3位學(xué)生推出。

 

具體來說,PAB通過減少冗余注意力計(jì)算,可實(shí)現(xiàn)高達(dá)21.6FPS10.6倍加速,并且不會(huì)犧牲基于DiT的流行視頻生成模型(包括Open-Sora、Open-Sora-Plan和Latte)的質(zhì)量。

作為一種免訓(xùn)練方法,PAB可為將來任何基于DiT的視頻生成模型提供實(shí)時(shí)功能。

看完效果對(duì)比,網(wǎng)友們紛紛驚嘆:

這將是新紀(jì)元。

 

也引來了眾多專業(yè)人士的轉(zhuǎn)發(fā)和點(diǎn)評(píng),如MIT博士Yilun Du表示:

是一個(gè)展示了如何將視頻生成加速到實(shí)時(shí)速度的酷炫工作!可能會(huì)為視頻策略和模擬的現(xiàn)實(shí)世界用例開辟新的領(lǐng)域。

 

那么,新方法具體如何破解實(shí)時(shí)生成視頻這個(gè)難題的呢?

減少冗余注意力計(jì)算

一開始,團(tuán)隊(duì)比較了當(dāng)前擴(kuò)散步驟與前一步驟的注意力輸出差異

這些差異通過均方誤差(MSE)進(jìn)行量化,并對(duì)每個(gè)擴(kuò)散步驟的所有層進(jìn)行平均。

團(tuán)隊(duì)捕捉到兩個(gè)關(guān)鍵信息

  • 隨著時(shí)間推移,注意力差異遵循U形模式,中間70%差異較小
  • 注意力差異的排序為:空間>時(shí)間>交叉

 

具體而言,不同時(shí)間步驟的注意力差異呈現(xiàn)出U形模式,在第一步和最后一步的15%步驟中發(fā)生顯著變化,而中間70%的步驟非常穩(wěn)定,差異很小。

其次,在穩(wěn)定的中間部分,不同類型的注意力表現(xiàn)出差異:空間注意力變化最大,涉及高頻元素,如邊緣和紋理;時(shí)間注意力顯示出與視頻中的運(yùn)動(dòng)和動(dòng)態(tài)相關(guān)的中頻變化;跨模態(tài)注意力最為穩(wěn)定,它將文本與視頻內(nèi)容聯(lián)系起來,類似于反映文本語義的低頻信號(hào)。

對(duì)此,團(tuán)隊(duì)正式提出用PAB來減少不必要的注意力計(jì)算

 

PAB通過根據(jù)每種注意力的差異將注意力輸出到不同的后續(xù)步驟,從而節(jié)省計(jì)算量。

舉個(gè)例子,就像廣播電臺(tái)把一個(gè)信號(hào)發(fā)送給多個(gè)聽眾一樣,如果某個(gè)步驟的注意力結(jié)果在接下來的幾個(gè)步驟中仍然適用,就不需要重新計(jì)算,而是直接使用之前的結(jié)果。

團(tuán)隊(duì)發(fā)現(xiàn),即使沒有后期訓(xùn)練,這種簡(jiǎn)單策略也能實(shí)現(xiàn)高達(dá)35%的加速,并且質(zhì)量損失可以忽略不計(jì)。

為了進(jìn)一步增強(qiáng)PAB,團(tuán)隊(duì)基于動(dòng)態(tài)序列并行(DSP)改進(jìn)了序列并行。

 

序列并行通過在多個(gè)GPU上分割視頻以降低延遲,但DSP帶來的時(shí)間注意力需兩次全對(duì)全通信,導(dǎo)致高通信開銷。

而PAB由于時(shí)間注意力不再需要被計(jì)算,使這些通信開銷減少了50%以上,從而優(yōu)化了實(shí)時(shí)視頻生成的分布式推理效率。

借助并行功能,PAB可實(shí)現(xiàn)高達(dá)21.6FPS10.6倍加速,并且不會(huì)犧牲基于DiT的流行視頻生成模型(包括Open-Sora、Open-Sora-Plan和Latte)的質(zhì)量。

免費(fèi)教學(xué)更多>>

微軟正在Edge中測(cè)試更深入的Copilot集成 蘋果下周新款爆料:iPhoneSE4與iOS18.4要來了 華為手機(jī)新玩法!原生鴻蒙接入 DeepSeek,開啟智能新體驗(yàn) 華為三箭齊發(fā)!鴻蒙4.0+昇騰910B+DeepSeek,中國(guó)科技全面崛起 時(shí)隔2年半!蘋果最便宜平板將登場(chǎng):但請(qǐng)調(diào)低預(yù)期 ipad11入門版要發(fā)布了?處理器和運(yùn)行內(nèi)存升級(jí),其余基本上不變 iPad 11最快3月推出,有望搭載A17 Pro芯片并支持AI功能 “筆記本電腦性價(jià)比:花更少的錢,買更值的體驗(yàn)!” 三星新專利曝光:智能戒指將實(shí)現(xiàn)多設(shè)備交互,劍指蘋果 三星 Galaxy S25 評(píng)測(cè):沒有驚喜,但很有趣 聯(lián)想問天 WA7880a G3:多元算力 高效節(jié)能鑄就智算底座 新能源=電動(dòng)車?吉利官宣2款甲醇與汽油靈活配比的“超醇電混”車即將殺到 新能源電改將落地,多光伏組件廠商準(zhǔn)備漲價(jià) 上汽集團(tuán)2025年1月銷量實(shí)現(xiàn)“開門紅”,終端交付35.3萬輛 零跑汽車的今生前世:從零開始,一場(chǎng)技術(shù)狂人的造車夢(mèng) 配備8295芯片,五座布局,零跑C10實(shí)力評(píng)測(cè) 2025年零跑汽車要大展身手了,計(jì)劃推出 6 款新車 小鵬汽車2025年推高階自駕,未來出行新選擇 小鵬汽車2025年底將推真L3級(jí)別軟件和硬件冗余能力的自動(dòng)駕駛 試駕2024款理想L8:為全家人打造智能移動(dòng)家 蔚來螢火蟲純電小車內(nèi)飾曝光,配置豐富且注重操控與安全 特斯拉、蔚小理等爭(zhēng)著推的免息購車,我研究透了 2024年度智能駕駛系統(tǒng)Top5:誰才是真正的「老司機(jī)」? 深藍(lán)S07對(duì)比比亞迪宋PLUS DM-i:全面解析智能駕駛差異 深藍(lán)發(fā)布全場(chǎng)景智駕方案,攜手華為讓智能駕駛進(jìn)入普及階段 深藍(lán)汽車與華為簽署全面深化業(yè)務(wù)合作 全場(chǎng)景智能駕駛解決方案發(fā)布 從電商之都到AI新貴:為什么很多前沿事物都誕生在杭州? 南極電商:受春節(jié)假期和物流因素影響,日均數(shù)據(jù)有所回落 2025直播電商:風(fēng)口之上,駛向何方? 第五消費(fèi)時(shí)代,拼多多、小紅書等企業(yè)崛起探秘
主站蜘蛛池模板: 污网站视频在线观看 | 国产91激情对白露脸全程 | 伊人网综合网 | 国产三级视频在线 | 亚洲一区二区三区久久精品 | 黄色在线视频观看 | 九九精品免视看国产成人 | 亚洲成年人免费网站 | 四虎在线观看视频 | 国产精品午夜国产小视频 | 亚洲伦乱 | 日韩欧美成人免费中文字幕 | 久操导航| 国产精品成人免费 | 亚州视频一区二区 | 四虎影视永久在线观看 | 中文字幕在线观看国产 | 在线 你懂的 | 亚洲国产美女视频 | 亚洲国产精选 | 草草视频免费看 | 亚洲欧洲国产精品你懂的 | 国产综合在线观看 | 99热官网| 欧美日韩亚洲二区在线 | 经典三级一区二区三区视频 | 91香蕉在线观看 | 国语自产免费精品视频一区二区 | 亚洲人成网站在线观看90影院 | 国产亚洲精品美女久久久久 | 五月桃花网婷婷亚洲综合 | 五月激激激综合网色播免费 | 国产三级在线免费 | 黄色片的网站 | 色综合久久久久综合体桃花网 | 污污的视频在线看 | www四虎影院 | 四虎影视永久在线观看 | 四虎影视在线永久免费看黄 | 久久综合视频网 | 日本国产欧美色综合 |