日前，4K修復(fù)版《大鬧天宮》，亮相第十二屆北京國(guó)際電影節(jié)“修復(fù)經(jīng)典”單元。本次展映的版本由西瓜視頻聯(lián)合火山引擎共同修復(fù)，是該片首次經(jīng)由AI技術(shù)實(shí)現(xiàn)4K分辨率級(jí)別復(fù)原，也是4K修復(fù)版本首次亮相大熒幕。
(資料圖片)
近幾年，老片修復(fù)成為了視聽(tīng)產(chǎn)業(yè)技術(shù)應(yīng)用的重要方向之一。
一方面，老片修復(fù)讓經(jīng)典回歸，響應(yīng)了文化自信的內(nèi)容需求，是助力文化經(jīng)典的代際傳承的有效路徑。但與此同步的是，老片修復(fù)所涉及的音視頻等技術(shù)，根本上也與未來(lái)視聽(tīng)內(nèi)容創(chuàng)制、視聽(tīng)內(nèi)容工業(yè)領(lǐng)域相關(guān)技術(shù)的發(fā)展高度相關(guān)，并從一定程度上，從成本、人力、流程等多個(gè)維度，推動(dòng)視聽(tīng)內(nèi)容行業(yè)適應(yīng)新世代視聽(tīng)需求，不斷探索技術(shù)賦能內(nèi)容的上限。
無(wú)論是從視聽(tīng)內(nèi)容行業(yè)自身發(fā)展，以及視聽(tīng)內(nèi)容作為更多行業(yè)的標(biāo)配來(lái)看，在追求創(chuàng)制效率、挖掘視聽(tīng)內(nèi)容高質(zhì)量長(zhǎng)尾、更沉浸交互的視聽(tīng)體驗(yàn)等要求成為多方共識(shí)的當(dāng)下，對(duì)這一上限的探索所帶來(lái)的價(jià)值，將是多樣的。
實(shí)際上，除了讓《大鬧天宮》這樣的經(jīng)典電影回歸大銀幕，老片修復(fù)已成為當(dāng)前成為視頻平臺(tái)內(nèi)容來(lái)源之一，另外，老片修復(fù)相關(guān)的技術(shù)，也已應(yīng)用到了其他主流使用場(chǎng)景。
根據(jù)官方消息，基于字節(jié)跳動(dòng)音視頻技術(shù)實(shí)踐打磨的火山引擎視頻點(diǎn)播與智能處理產(chǎn)品，已經(jīng)形成了畫(huà)質(zhì)提升全鏈路解決方案，在——老片修復(fù)、低質(zhì)增強(qiáng)、極致高清這一三大主流需求場(chǎng)景，并支持行業(yè)客戶應(yīng)用。
客觀而言，在各類(lèi)概念的影響下，視聽(tīng)內(nèi)容行業(yè)在創(chuàng)制層面，對(duì)技術(shù)的接受度也越來(lái)越高，技術(shù)的使用也越來(lái)越下沉到視聽(tīng)制作的各個(gè)環(huán)節(jié)，但相對(duì)而言，規(guī)?；⒘鞒袒募夹g(shù)應(yīng)用上，本土相關(guān)的技術(shù)解決方案仍然相對(duì)較少。
從這一維度，火山引擎的優(yōu)勢(shì)除了技術(shù)，還在于同屬于字節(jié)跳動(dòng)旗下抖音與西瓜視頻高度協(xié)同的視聽(tīng)內(nèi)容生態(tài)，為火山引擎在技術(shù)研發(fā)與應(yīng)用提供了充足的探索空間和規(guī)?；瘜?shí)踐的機(jī)會(huì)。讓火山引擎面向行業(yè)更廣泛地應(yīng)用成為可能。
極具代表性的《大鬧天宮》
火山引擎聯(lián)手西瓜視頻
2021年10月，西瓜視頻聯(lián)合火山引擎在北京舉辦“重修舊好”經(jīng)典中視頻4K修復(fù)發(fā)布會(huì)，并表示未來(lái)一年，雙方將共同修復(fù)《舒克與貝塔》《西游記》等100部經(jīng)典動(dòng)畫(huà)。目前，已完成71部影片的修復(fù)。
此次重映的《大鬧天宮》，則是火山引擎修復(fù)的上述百部動(dòng)畫(huà)中的一部。
《大鬧天宮》于上世紀(jì)六十年代初期。由上海美術(shù)電影制片廠的老一輩動(dòng)畫(huà)工作者，耗時(shí)4年手繪10余萬(wàn)張畫(huà)稿完成。除了本身的題材，《大鬧天宮》在創(chuàng)作過(guò)程中，無(wú)論是動(dòng)畫(huà)造型設(shè)計(jì)還是故事呈現(xiàn)形式，都充分地借鑒了中國(guó)戲曲、民間“猴戲”傳統(tǒng)，還融入了傳統(tǒng)壁畫(huà)、水墨、年畫(huà)、京劇臉譜等樣式。
這也讓《大鬧天宮》成為了公認(rèn)的中國(guó)動(dòng)畫(huà)學(xué)派的代表作，被影迷們稱(chēng)之為“國(guó)漫巔峰”。
時(shí)至今日《大鬧天宮》的豆瓣評(píng)分保持在9.4分，排名中國(guó)動(dòng)畫(huà)片第一位。
和一些手繪動(dòng)畫(huà)一樣，由于過(guò)去多以膠片形式儲(chǔ)存，極易出現(xiàn)清晰度低、色彩失真、瑕疵等畫(huà)質(zhì)問(wèn)題。
只不過(guò)，對(duì)已歷經(jīng)了61年的《大鬧天宮》來(lái)說(shuō)，此次的修復(fù)，除了一般性修復(fù)所面臨的問(wèn)題外，對(duì)中國(guó)動(dòng)畫(huà)的美學(xué)底蘊(yùn)與藝術(shù)風(fēng)格的呈現(xiàn)，也是一大挑戰(zhàn)。
針對(duì)《大鬧天宮》（上下集）的4K修復(fù)，火山引擎多媒體實(shí)驗(yàn)室采用了基于深度學(xué)習(xí)的視頻增強(qiáng)修復(fù)技術(shù)，除了改善老舊動(dòng)畫(huà)的模糊等畫(huà)質(zhì)問(wèn)題，也輔以人工美學(xué)分析調(diào)優(yōu)，力求在提升視頻主觀感知質(zhì)量的同時(shí)。不破壞原片的藝術(shù)效果。
從電影院的放映效果和行業(yè)的反饋來(lái)看，《大鬧天宮》4K修復(fù)做到了高度還原，得到了肯定，還原一代人記憶的同時(shí)，也讓年輕受眾直觀地感受到了中國(guó)動(dòng)畫(huà)美學(xué)的魅力。
AI+算法，修舊如舊也需要個(gè)性化
火山引擎修復(fù)的應(yīng)用邏輯
在傳統(tǒng)模式里，老片修復(fù)屬于稀缺技藝，大多依賴(lài)于行業(yè)里少數(shù)有經(jīng)驗(yàn)的修復(fù)師逐幀調(diào)整。
但常規(guī)影片每秒20-45幀，每部老片影片時(shí)長(zhǎng)在20分鐘至120分鐘。在行業(yè)里有經(jīng)驗(yàn)的修復(fù)師本來(lái)就稀缺的情況下，修復(fù)往往要經(jīng)過(guò)比較長(zhǎng)的周期，平均一到兩個(gè)月才能修復(fù)完成一部，而如果片源瑕疵復(fù)雜程度高、片子時(shí)長(zhǎng)過(guò)長(zhǎng)的話，延期情況多有發(fā)生。
此外，根據(jù)行業(yè)公開(kāi)數(shù)據(jù)，一部老片修復(fù)的費(fèi)用，平均在20萬(wàn)-30萬(wàn)左右。這對(duì)擁有老片的版權(quán)方而言，批量化地修復(fù)顯然費(fèi)用較高。
在老片修復(fù)上，火山引擎的技術(shù)通過(guò)AI+算法，由智能算法承擔(dān)前期畫(huà)質(zhì)分析+修復(fù)的95%的工作，一旦制定好模版，修復(fù)周期3-5天完成。而相同類(lèi)型，比如動(dòng)畫(huà)系列短片、電視劇也均可批量同步處理，極大縮短人力投入及處理時(shí)間。
不過(guò)，雖然火山引擎已經(jīng)積累了充足的修復(fù)樣本，并且形成標(biāo)準(zhǔn)的流程與解決方案，但對(duì)火山引擎來(lái)說(shuō)，為更好的保留原有藝術(shù)風(fēng)格，仍然是要針對(duì)每一部對(duì)癥下藥。
對(duì)癥下藥意味著每一部經(jīng)典的修復(fù)流程，都需要以精準(zhǔn)的檢測(cè)為起點(diǎn)。
根據(jù)介紹，火山引擎綜合了市面上客觀評(píng)測(cè)標(biāo)準(zhǔn)及自研VQscore無(wú)參考視頻質(zhì)量評(píng)價(jià)指標(biāo)來(lái)完成畫(huà)質(zhì)檢測(cè)和評(píng)分。其中，VQScore采用了主觀分與細(xì)指標(biāo)融合的方式，并且結(jié)合了神經(jīng)網(wǎng)絡(luò)和經(jīng)典算法，同時(shí)，其能夠支持包括噪聲、亮度、對(duì)比度等十多種畫(huà)質(zhì)相關(guān)的檢測(cè)指標(biāo)，單項(xiàng)或綜合評(píng)分輸出，實(shí)現(xiàn)對(duì)修復(fù)基礎(chǔ)問(wèn)題的覆蓋。
之后，火山引擎多媒體實(shí)驗(yàn)室再針對(duì)影片的質(zhì)量問(wèn)題進(jìn)行分析，并在各個(gè)維度上產(chǎn)生對(duì)應(yīng)的個(gè)性化修復(fù)模塊，排列組合調(diào)優(yōu)。
值得注意的是，在這一過(guò)程中，火山引擎也會(huì)根據(jù)老片的具體情況，采用“算法+人工+算法”的組合模式。
這一模式的出發(fā)點(diǎn)，還是考慮在提升效率的同時(shí)，引入人工調(diào)優(yōu)，從畫(huà)質(zhì)評(píng)估+分辨率、流暢度、色彩增強(qiáng)、瑕疵，四個(gè)維度進(jìn)行的優(yōu)化，讓每一部片子的修復(fù)都能“修舊如舊”，達(dá)到最理想的修復(fù)效果。
舉例來(lái)說(shuō)，在修復(fù)《葫蘆兄弟》和《黑貓警長(zhǎng)》時(shí)，火山引擎團(tuán)隊(duì)對(duì)動(dòng)畫(huà)進(jìn)行多維度的質(zhì)量分析，調(diào)研了許多種不同的深度學(xué)習(xí)和傳統(tǒng)學(xué)習(xí)的方法之后，發(fā)現(xiàn)算法正確率無(wú)法達(dá)到 100%，有可能會(huì)將動(dòng)畫(huà)片中一小部分圖案的紋理當(dāng)成劃痕，給一起抹掉。
左圖葉片被當(dāng)做膠片污漬被消除
經(jīng)過(guò)討論后，為了保證每一幀修復(fù)畫(huà)面的完美，團(tuán)隊(duì)最終確定了「算法+人工+算法」三步走的方式：先用算法將視頻放大到 4K，初步去除噪聲，完成畫(huà)面增強(qiáng)，讓動(dòng)畫(huà)片變得更清晰；之后找出那些人眼看上去非常明顯的劃痕，比如被放映機(jī)劃傷的部分、多年儲(chǔ)存中膠片黏連的部分，以此為依據(jù)逐幀畫(huà)成蒙版；再借助修復(fù)算法，將這些被人工標(biāo)出的損傷部分填補(bǔ)好。
經(jīng)過(guò)第二步人工標(biāo)注后再進(jìn)行第三步算法填充，通過(guò)這套既靠人工、也靠智能的方式，經(jīng)典動(dòng)畫(huà)得以綻放新生。
技術(shù)的價(jià)值，不止修復(fù)
火山引擎面向行業(yè)的全鏈路解決方案
對(duì)于老片修復(fù)的價(jià)值，行業(yè)已有共識(shí)。
自2014年，上海國(guó)際電影節(jié)首創(chuàng)“4K修復(fù)”單元后，“4K修復(fù)”走進(jìn)大眾視野。隨后中國(guó)電影資料館、中影數(shù)字基地等專(zhuān)業(yè)機(jī)構(gòu)，陸續(xù)發(fā)起4K修復(fù)計(jì)劃。近年來(lái)，愛(ài)奇藝、優(yōu)酷、西瓜視頻等視頻平臺(tái)也紛紛加入到修復(fù)隊(duì)伍中來(lái)，豐富了內(nèi)容來(lái)源。
通過(guò)老片修復(fù)，老電影不再塵封再電影展映、博物館，版權(quán)價(jià)值得以激活，由此走向更多的應(yīng)用場(chǎng)景。
這些老片修復(fù)多以文化經(jīng)典為主要對(duì)象，極大地激活了大眾對(duì)于本土文化經(jīng)典的熱情，在社會(huì)大眾層面產(chǎn)生了廣泛的文化影響，為文化代際的傳承提供了具象的載體，也為后續(xù)經(jīng)典的延續(xù)，打下了很好的基礎(chǔ)。
而隨著老片修復(fù)形成了觀影需求，愛(ài)奇藝、優(yōu)酷、西瓜等線上視頻平臺(tái)老片的播出，也不僅局限于老片修復(fù)環(huán)節(jié)，更是全鏈路的優(yōu)化，提升觀眾的觀看體驗(yàn)。
作為字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)，火山引擎的視頻云團(tuán)隊(duì)打造的全鏈路畫(huà)質(zhì)優(yōu)化解決方案，經(jīng)過(guò)字節(jié)跳動(dòng)大規(guī)模驗(yàn)證和持續(xù)迭代，不僅對(duì)內(nèi)支持抖音、西瓜視頻等內(nèi)部業(yè)務(wù)，也已向企業(yè)客戶開(kāi)放服務(wù)。以觀眾的觀看體驗(yàn)為核心，不僅聚焦于畫(huà)質(zhì)評(píng)估與智能處理，還包括分發(fā)、播放等環(huán)節(jié)優(yōu)化，以及QoS/QoE視頻質(zhì)量平臺(tái)數(shù)據(jù)監(jiān)測(cè)。
今年初，火山引擎視頻云還在視頻點(diǎn)播（轉(zhuǎn)碼）、智能處理兩個(gè)產(chǎn)品上推出閑時(shí)轉(zhuǎn)碼功能。該功能利用非峰值時(shí)間段的機(jī)器資源處理特定任務(wù)，形成差異化計(jì)價(jià)，從而幫助客戶節(jié)省70%的成本。
100部經(jīng)典動(dòng)畫(huà)修復(fù)，只是火山引擎的開(kāi)始。
關(guān)鍵詞： 從經(jīng)典老片修復(fù)到行業(yè)應(yīng)用 火山引擎視頻云全鏈路畫(huà)質(zhì)優(yōu)化
