本文作者王軍先生，電子科技大學(xué)通信與信息工程學(xué)院通信抗干擾技術(shù)重點(diǎn)實(shí)驗(yàn)室助教、碩士；吳軍蹄女士，通信與信息工程學(xué)院教授。3 視頻壓縮標(biāo)準(zhǔn)視頻編碼標(biāo)準(zhǔn)主要由ITU-T和ISO/IEC開(kāi)發(fā)。前者已經(jīng)發(fā)布了視頻會(huì)議標(biāo)準(zhǔn)H.261、 H.262、 H.263，并且準(zhǔn)備進(jìn)行遠(yuǎn)期編碼標(biāo)準(zhǔn)H.263L的開(kāi)發(fā)，以期望獲得更大的編碼效率。ISO/IEC的標(biāo)準(zhǔn)系列是大家熟悉的MPEG家族。包括:1MPEG-11988～1992，可以提供最高達(dá)1.5Mbps的數(shù)字視頻，只支持逐行掃描；2MPEG-21990～1994，支持的帶寬范圍從2Mbps到超過(guò)20Mbps，MPEG-2后向兼容MPEG-1，但增加了對(duì)隔行掃描的支持，并有更大的伸縮性和靈活性；3MPEG-41994～1998，支持逐行掃描和隔行掃描，是基于視頻對(duì)象的編碼標(biāo)準(zhǔn)，通過(guò)對(duì)象識(shí)別提供了空間的可伸縮性；4MPEG-71996～2000，是多媒體內(nèi)容描述接口，與前述標(biāo)準(zhǔn)集中在音頻/視頻內(nèi)容的編碼和表示不同，它集中在對(duì)多媒體內(nèi)容的描述。除了上述通用標(biāo)準(zhǔn)外，還存在很多專用格式，比較流行的有:C-Cube的M-JPEG、Intel的IVItmIndeo Video Interactive、Apple的QuickTimetm、Microsoft的 Media Playertm和RealNetworks的RealPlayertm。二 數(shù)字視頻傳輸根據(jù)承載網(wǎng)絡(luò)的變化和視頻服務(wù)的區(qū)別，可以將數(shù)字視頻的傳輸分為四類:數(shù)字電視、寬帶視頻通信、Internet視頻流通信、蜂窩移動(dòng)視頻通信。雖然這四種通信體系下對(duì)視頻通信的協(xié)議和服務(wù)有不同的要求，但對(duì)于實(shí)時(shí)應(yīng)用下述幾點(diǎn)是必須滿足的:1傳輸必須限制在一定時(shí)限內(nèi)完成；2必須對(duì)端到端的抖動(dòng)建議限制；3必須有相應(yīng)的同步機(jī)制；4在分組網(wǎng)絡(luò)中應(yīng)當(dāng)有較高的優(yōu)先級(jí)。1 數(shù)字電視廣播歐洲走在了全球DVB開(kāi)發(fā)最前面，將其采納為數(shù)字電視DTV的標(biāo)準(zhǔn)；在美國(guó)，ATSC采用了HDTV；在亞太地區(qū)，日本采用了基于DVB和ATSC的ISDB-T，澳大利亞采用了DVB，韓國(guó)則采用了ATSC標(biāo)準(zhǔn)，我國(guó)也在制定數(shù)字電視的標(biāo)準(zhǔn)，并進(jìn)行了現(xiàn)場(chǎng)試驗(yàn)。下面我們以歐洲的DTV標(biāo)準(zhǔn)為主分別介紹DTV系統(tǒng)規(guī)范和傳輸技術(shù)。a.DTV系統(tǒng)規(guī)范根據(jù)傳輸系統(tǒng)的不同，DTV系統(tǒng)分為三類:陸基系統(tǒng) DTV-T、衛(wèi)星系統(tǒng) DTV-S、有線系統(tǒng) DTV-C。這三類DTV系統(tǒng)雖然各有不同，但也有公共的特性，MPEG-2視頻和音頻編碼系統(tǒng)是所有DTV系統(tǒng)的基礎(chǔ)。系統(tǒng)采用MPEG-2將數(shù)據(jù)壓縮并組裝成分組，稱為凈荷。對(duì)凈荷采用Reed-Solomon前向糾錯(cuò)編碼，降低信號(hào)傳輸中引入的誤碼。衛(wèi)星系統(tǒng)采用單載波信號(hào)，采用外部編碼的同時(shí)，內(nèi)部加入了打孔卷積編碼，從而又增加了一層誤碼糾錯(cuò)能力，根據(jù)帶寬的變化和采用的特定設(shè)備，編碼數(shù)據(jù)是可調(diào)整的，信號(hào)采用QPSK方式調(diào)制。陸基系統(tǒng)聯(lián)合使用碼正交頻分復(fù)用 COFDM或者QPSK或QAM進(jìn)行射頻調(diào)制，采用了和衛(wèi)星系統(tǒng)相似的打孔卷積編碼。有線系統(tǒng)采用了QAM調(diào)制方案，不需要附加的內(nèi)部編碼來(lái)降低誤碼，系統(tǒng)優(yōu)化采用64-QAM。b. DTV系統(tǒng)傳輸結(jié)構(gòu)DTV系統(tǒng)廣播和接收的基本結(jié)構(gòu)由三個(gè)子系統(tǒng)構(gòu)成:1信源編碼和壓縮子系統(tǒng)，通過(guò)ADC接受模擬視頻和音頻信號(hào)并將其轉(zhuǎn)換成數(shù)字比特流，然后通過(guò)MPEG-2進(jìn)行壓縮，并加入控制和輔助數(shù)據(jù)；2服務(wù)復(fù)用和傳遞子系統(tǒng)，復(fù)用將視頻和音頻及輔助數(shù)據(jù)流聯(lián)合構(gòu)成長(zhǎng)188字節(jié)的分組，并加上標(biāo)記，分組構(gòu)成單個(gè)數(shù)據(jù)流，采用MPEG-2傳遞系統(tǒng)語(yǔ)法控制這些復(fù)用任務(wù)；3傳輸子系統(tǒng)，包括對(duì)復(fù)用數(shù)據(jù)流的信道編碼和調(diào)制。2 寬帶視頻通信這里討論的寬帶視頻通信主要是指基于寬帶核心網(wǎng)絡(luò)和寬帶接入技術(shù)的MPEG-2視頻通信。為了滿足實(shí)時(shí)視頻通信對(duì)帶寬的需求，核心網(wǎng)絡(luò)通常采用寬帶光纖網(wǎng)絡(luò)，可以是ATM或者基于MPLS的寬帶IP與ATM的結(jié)合，最后一公里的寬帶接入的方法有光纖到戶、光纖到樓雙絞線到戶及ADSL，最近也提出了寬帶無(wú)線接入技術(shù)。通常，來(lái)自多個(gè)鏈路的數(shù)據(jù)業(yè)務(wù)在數(shù)字用戶線路接入復(fù)用器DSLAM匯總。DSLAM將ATM業(yè)務(wù)路由到家中的ADSL接收器單元，同時(shí)，濾掉低頻段的舊電話業(yè)務(wù)POTS 。在MPEG-2視頻的情形下，ATM邊界設(shè)備減輕信元的時(shí)延抖動(dòng)的能力至關(guān)重要。ATM必須應(yīng)付數(shù)據(jù)傳輸?shù)男枰⑻峁┕芾砻總€(gè)視頻流的功能，特別要滿足按序提取視頻分組的要求。為了補(bǔ)償網(wǎng)絡(luò)傳輸延時(shí)，ATM網(wǎng)絡(luò)邊界設(shè)備必須精心設(shè)計(jì)以處理MPEG交換和抖動(dòng)管理。本地MPEG-2視頻流通過(guò)數(shù)字視頻廣播異步串行接口傳輸。ATM邊界設(shè)備將MPEG-2多節(jié)目傳輸流MPTS或單節(jié)目傳輸流SPTS拆解到節(jié)目層并最終到分組標(biāo)記PID層。在PID層，不同的節(jié)目流可以重新排序并復(fù)用進(jìn)另外的MPTS。在ATM邊界接收端，另外的邊界設(shè)備管理ATM信元流，并重構(gòu)SPTS或MPTS。本地的服務(wù)分布網(wǎng)絡(luò)負(fù)責(zé)在本地的UTP網(wǎng)絡(luò)分發(fā)視頻內(nèi)容。功能強(qiáng)大的MPEG-2壓縮算法結(jié)合智能的ATM邊界設(shè)備允許最后接入利用DSL技術(shù)作為視頻分發(fā)的接入機(jī)制。未完待續(xù)相關(guān)信息:1.前言數(shù)字視頻產(chǎn)品需求近些年出現(xiàn)猛增。主流應(yīng)用包括視頻通信、安全監(jiān)控與工業(yè)自動(dòng)化，而最熱門的要算娛樂(lè)應(yīng)用，如 DVD、HDTV、衛(wèi)星電視、高清 HD 機(jī)頂盒、因特網(wǎng)視頻流、數(shù)碼相機(jī)與 HD 攝像機(jī)、視頻光盤庫(kù) video jukebox、高端顯示器LCD、等離子顯示器、DLP以及個(gè)人攝像機(jī)等。眾多精彩的新應(yīng)用目前也處于設(shè)計(jì)或前期部署中，例如針對(duì)家庭與手持設(shè)備及地面／衛(wèi)星標(biāo)準(zhǔn)DVB-T、DVB-H、DMB的高清 DVD藍(lán)光／HD-DVD和數(shù)字視頻廣播、高清視頻電話、數(shù)碼相機(jī)以及 IP 機(jī)頂盒。由于手持終端計(jì)算能力的提高以及電池技術(shù)與高速無(wú)線連接的發(fā)展，最終產(chǎn)品的移動(dòng)性與集成性也在不斷提高。視頻壓縮是所有令人振奮的、新型視頻產(chǎn)品的重要?jiǎng)恿Α嚎s－解壓編解碼算法可以實(shí)現(xiàn)數(shù)字視頻的存儲(chǔ)與傳輸。典型的編解碼器要么采用行業(yè)標(biāo)準(zhǔn)，如 MPEG2、MPEG4、H.264/AVC 與 AVS，要么采用專有算法，如 On2、Real Video、Nancy與Windows Media Video WMV 等。WMV 是個(gè)例外——它最初是微軟公司的專有算法，而現(xiàn)在則以 VC-1 的新名稱在業(yè)界實(shí)現(xiàn)了標(biāo)準(zhǔn)化。編解碼技術(shù)在過(guò)去十年中不斷改進(jìn)。最新的編解碼技術(shù)H.264/AVC 與 VC-1代表著第三代視頻壓縮技術(shù)。這兩種編解碼技術(shù)利用如可編程 DSP 與ASIC 等低成本 IC 的處理能力，都能夠達(dá)到極高的壓縮比。不過(guò)，為具體應(yīng)用選擇正確的編解碼器并優(yōu)化其實(shí)時(shí)處理仍然是一項(xiàng)巨大的挑戰(zhàn)。最佳的設(shè)計(jì)必須權(quán)衡壓縮效率及可用的計(jì)算能力。此外，如何在計(jì)算能力有限的情況下獲得最佳壓縮效率也是一門大學(xué)問(wèn)。在本文中，我們首先概述視頻編碼的主要概念，同時(shí)介紹傳統(tǒng)壓縮標(biāo)準(zhǔn)。然后我們重點(diǎn)介紹其中包括 H.264/AVC、WMV9/VC-1與AVS 等在內(nèi)的最新編解碼技術(shù)的功能，此外，還將深入探討壓縮能力與復(fù)雜性之間的權(quán)衡。最后，討論市場(chǎng)中可能會(huì)影響主流視頻編解碼器未來(lái)的實(shí)時(shí)處理與主要趨勢(shì)。數(shù)字視頻的主要挑戰(zhàn)在于原始或未壓縮的視頻需要存儲(chǔ)或傳輸大量數(shù)據(jù)。例如，標(biāo)準(zhǔn)清晰度的 NTSC 視頻的數(shù)字化一般是每秒 30 幀速率，采用 4:2:2 YcrCb 及 720480，其要求超過(guò) 165Mbps 的數(shù)據(jù)速率。保存 90 分鐘的視頻需要 110GB 空間，或者說(shuō)超過(guò)標(biāo)準(zhǔn) DVD-R 存儲(chǔ)容量的 25 倍。即使是視頻流應(yīng)用中常用的低分辨率視頻如:CIF:352x288 4:2:0、30 幀/秒也需要超過(guò) 36.5Mbps 的數(shù)據(jù)速率，這是 ADSL 或 3G 無(wú)線等寬帶網(wǎng)絡(luò)速度的許多倍。目前的寬帶網(wǎng)可提供 1～10Mbps 的持續(xù)傳輸能力。顯然數(shù)字視頻的存儲(chǔ)或傳輸需要采用壓縮技術(shù)。視頻壓縮的目的是對(duì)數(shù)字視頻進(jìn)行編碼——在保持視頻質(zhì)量的同時(shí)占用盡可能少的空間。編解碼技術(shù)理論依據(jù)為信息理論的數(shù)學(xué)原理。不過(guò)，開(kāi)發(fā)實(shí)用的編解碼技術(shù)需要藝術(shù)性的精心考慮。3. 壓縮權(quán)衡在選擇數(shù)字視頻系統(tǒng)的編解碼技術(shù)時(shí)需要考慮諸多因素。主要因素包括應(yīng)用的視頻質(zhì)量要求、傳輸通道或存儲(chǔ)介質(zhì)所處的環(huán)境速度、時(shí)延、錯(cuò)誤特征以及源內(nèi)容的格式。同樣重要的還有預(yù)期分辨率、目標(biāo)比特率、色彩深度、每秒幀數(shù)以及內(nèi)容和顯示是逐行掃描還是隔行掃描。壓縮通常需要在應(yīng)用的視頻質(zhì)量要求與其他需求之間做出取舍。首先，用途是存儲(chǔ)還是單播、多播、雙向通信或廣播？對(duì)于存儲(chǔ)應(yīng)用，到底有多少可用的存儲(chǔ)容量以及存儲(chǔ)時(shí)間需要多久？對(duì)于存儲(chǔ)之外的應(yīng)用，最高比特率是多少？對(duì)于雙向視頻通信，時(shí)延容差或容許的端到端系統(tǒng)延遲是多少？如果不是雙向通信，內(nèi)容需要在脫機(jī)狀態(tài)提前完成編碼還是需要實(shí)時(shí)編碼？網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)的容錯(cuò)能力如何？根據(jù)基本目標(biāo)應(yīng)用，不同壓縮標(biāo)準(zhǔn)以不同方式處理這些問(wèn)題的權(quán)衡。另一方面是需要權(quán)衡編解碼實(shí)時(shí)處理的成本。如 H.264/AVC 或 WMV9/VC-1等能夠?qū)崿F(xiàn)較高壓縮比的新算法需要更高的處理能力，這會(huì)影響編解碼器件的成本、系統(tǒng)功耗以及系統(tǒng)內(nèi)存。4. 標(biāo)準(zhǔn)化機(jī)構(gòu)在視頻編解碼技術(shù)定義方面有兩大標(biāo)準(zhǔn)機(jī)構(gòu)。國(guó)際電信聯(lián)盟 ITU 致力于電信應(yīng)用，已經(jīng)開(kāi)發(fā)了用于低比特率視頻電話的 H.26x 標(biāo)準(zhǔn)，其中包括 H.261、H.262、H.263 與 H.264；國(guó)際標(biāo)準(zhǔn)化組織 ISO 主要針對(duì)消費(fèi)類應(yīng)用，已經(jīng)針對(duì)運(yùn)動(dòng)圖像壓縮定義了 MPEG 標(biāo)準(zhǔn)。MPEG 標(biāo)準(zhǔn)包括 MPEG1、MPEG2 與 MPEG4。圖 1 說(shuō)明了視頻編解碼標(biāo)準(zhǔn)的發(fā)展歷程。MPEG 與 ISO 根據(jù)基本目標(biāo)應(yīng)用往往做出稍有不同的取舍。有時(shí)它們也會(huì)開(kāi)展合作，如:聯(lián)合視頻小組 JVT，該小組定義了 H.264 編解碼技術(shù)，這種技術(shù)在 MPEG 系列中又被稱為 MPEG4-Part 10 或 MPEG4 高級(jí)視頻編解碼 AVC。我們?cè)诒疚闹袑⑦@種聯(lián)合標(biāo)準(zhǔn)稱為 H.264/AVC。同樣，H.262 對(duì)應(yīng) MPEG2，而 H.263 基本規(guī)范類 Baseline Profile 技術(shù)在原理方面與 MPEG4 簡(jiǎn)單類 Simple Profile 編解碼技術(shù)存在較多重復(fù)。標(biāo)準(zhǔn)對(duì)編解碼技術(shù)的普及至關(guān)重要。出于規(guī)模經(jīng)濟(jì)原因，用戶根據(jù)可承受的標(biāo)準(zhǔn)尋找相應(yīng)產(chǎn)品。由于能夠保障廠商之間的互操作性，業(yè)界樂(lè)意在標(biāo)準(zhǔn)方面進(jìn)行投資。而由于自己的內(nèi)容可以獲得較長(zhǎng)的生命周期及廣泛的需求，內(nèi)容提供商也對(duì)標(biāo)準(zhǔn)青睞有加。盡管幾乎所有視頻標(biāo)準(zhǔn)都是針對(duì)少數(shù)特定應(yīng)用的，但是在能夠適用的情況下，它們?cè)谄渌麘?yīng)用中也能發(fā)揮優(yōu)勢(shì)。圖1:ITU 與 MPEG 標(biāo)準(zhǔn)的發(fā)展歷程 [10]為了實(shí)現(xiàn)更好的壓縮及獲得新的市場(chǎng)機(jī)遇，ITU 與 MPEG 一直在不斷發(fā)展壓縮技術(shù)和開(kāi)發(fā)新標(biāo)準(zhǔn)。中國(guó)最近開(kāi)發(fā)了一種稱為 AVS 的國(guó)家視頻編碼標(biāo)準(zhǔn)，我們?cè)诤竺嬉矔?huì)做一介紹。目前正在開(kāi)發(fā)的標(biāo)準(zhǔn)包括 ITU/MPEG 聯(lián)合可擴(kuò)展視頻編碼 Joint Scalable Video Coding對(duì) H264/ AVC 的修訂和MPEG 多視角視頻編碼 Multi-view Video Coding。另外，為了滿足新的應(yīng)用需求，現(xiàn)有標(biāo)準(zhǔn)也在不斷發(fā)展。例如，H.264 最近定義了一種稱為高精度拓展 Fidelity Range Extensions 的新模式，以滿足新的市場(chǎng)需求，如專業(yè)數(shù)字編輯、HD-DVD 與無(wú)損編碼等。除了 ITU 與 ISO 開(kāi)發(fā)的行業(yè)標(biāo)準(zhǔn)以外，還出現(xiàn)了幾種專用于因特網(wǎng)流媒體應(yīng)用、廣受歡迎的專有解決方案，其中包括 Real Networks Real Video RV10、Microsoft Windows Media Video 9 WMV9 系列、ON2 VP6 以及 Nancy。由于這些格式在內(nèi)容中得到了廣泛應(yīng)用，因此專有編解碼技術(shù)可以成為業(yè)界標(biāo)準(zhǔn)。2003 年 9 月，微軟公司向電影與電視工程師學(xué)會(huì) SMPTE 提議在該機(jī)構(gòu)的支持下實(shí)現(xiàn) WMV9 位流與語(yǔ)法的標(biāo)準(zhǔn)化。該提議得到了采納，現(xiàn)在 WMV9 已經(jīng)被 SMPTE 作為 VC-1 實(shí)現(xiàn)標(biāo)準(zhǔn)化。5. 視頻編碼原理我們感興趣的所有視頻標(biāo)準(zhǔn)都采用基于模塊的處理方式。每個(gè)宏模塊一般包含 4 個(gè) 88 的光度塊和 2 個(gè) 88 的色度塊4:2:0 色度格式。視頻編碼基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)MC，變換與量化及熵編碼。圖 2 說(shuō)明的是一種典型的、基于運(yùn)動(dòng)補(bǔ)償?shù)囊曨l編解碼技術(shù)。在運(yùn)動(dòng)補(bǔ)償中，通過(guò)預(yù)測(cè)與最新編碼的"參考"視頻幀處于同一區(qū)域的視頻幀中各宏模塊的像素來(lái)實(shí)現(xiàn)壓縮。例如，背景區(qū)域通常在各幀之間保持不變，因此不需要在每個(gè)幀中重新傳輸。運(yùn)動(dòng)估計(jì) ME 是確定當(dāng)前幀——即與它最相似的參考幀的 1616 區(qū)域中每個(gè) MB 的過(guò)程。ME 通常是視頻壓縮中最消耗性能的功能。有關(guān)當(dāng)前幀中各模塊最相似區(qū)域相對(duì)位置的信息"運(yùn)動(dòng)矢量"被發(fā)送至解碼器。MC 之后的殘差部分分為 88 的模塊，各模塊綜合利用變換編碼、量化編碼與可變長(zhǎng)度編碼技術(shù)進(jìn)行編碼。變換編碼如:離散余弦變換或 DCT利用殘差信號(hào)中的空間冗余。量化編碼可以消除感知冗余 perceptual redundancy 并且降低編碼殘差信號(hào)所需要的數(shù)據(jù)量?？勺冮L(zhǎng)度編碼利用殘差系數(shù)的統(tǒng)計(jì)性質(zhì)。通過(guò) MC 進(jìn)行的冗余消除過(guò)程在解碼器中以相反過(guò)程進(jìn)行，來(lái)自參考幀的預(yù)測(cè)數(shù)據(jù)與編碼后的殘差數(shù)據(jù)結(jié)合在一起產(chǎn)生對(duì)原始視頻幀的再現(xiàn) 。圖 2:標(biāo)準(zhǔn)運(yùn)動(dòng)補(bǔ)償視頻編碼在視頻編解碼器中，單個(gè)幀可以采用三個(gè)模式中的一個(gè)進(jìn)行編碼 —— 即 I、P 或 B 幀模式見(jiàn)圖 3。幾個(gè)稱為 Intra I 的幀單獨(dú)編碼，無(wú)需參考任何其他幀無(wú)運(yùn)動(dòng)補(bǔ)償。某些幀可以利用 MC 編碼，以前一個(gè)幀為參考前向預(yù)測(cè)。這些幀稱為預(yù)測(cè)幀 P。B 幀或雙向預(yù)測(cè)幀通過(guò)之前的幀以及當(dāng)前幀的后續(xù)幀進(jìn)行預(yù)測(cè)。B 幀的優(yōu)勢(shì)是能夠匹配堵塞在采用前向預(yù)測(cè)的上一幀中的背景區(qū)域。雙向預(yù)測(cè)通過(guò)平衡前向及后向預(yù)測(cè)可以降低噪聲。在編碼器中采用這種功能會(huì)要求更多處理量，因?yàn)楸仨毻瑫r(shí)針對(duì)前向及后向預(yù)測(cè)執(zhí)行 ME，而這會(huì)明顯使運(yùn)動(dòng)估計(jì)計(jì)算需求加倍。為了保存兩個(gè)參考幀，編碼器與解碼器都需要更多內(nèi)存。B 幀工具需要更復(fù)雜的數(shù)據(jù)流，因?yàn)橄鄬?duì)采集及顯示順序而言，幀不按順序解碼。這個(gè)特點(diǎn)會(huì)增加時(shí)延，因此不適合實(shí)時(shí)性較高的應(yīng)用。B 幀不用于預(yù)測(cè)，因此可以針對(duì)某些應(yīng)用進(jìn)行取舍。例如，在低幀速應(yīng)用中可以跳過(guò)它們而不會(huì)影響隨后 I 與 P 幀的解碼。圖3:I、P 與 B 幀間預(yù)測(cè)圖示6. 傳統(tǒng)視頻編碼標(biāo)準(zhǔn)H.261ITU 編制的 H.261[2] 標(biāo)準(zhǔn)是第一個(gè)主流視頻壓縮標(biāo)準(zhǔn)。它主要針對(duì)雙工視頻會(huì)議應(yīng)用，是為支持 40kpbs～2Mbps 的 ISDN 網(wǎng)絡(luò)而設(shè)計(jì)的。H.261 支持 352288 CIF 及 176144 QCIF 分辨率，色度分辨率二次采樣為 4:2:0。由于可視電話需要同步實(shí)時(shí)編解碼，因此復(fù)雜性設(shè)計(jì)得較低。由于主要用于對(duì)延遲敏感的雙向視頻，因此 H.261 僅允許采用 I 與 P 幀，而不允許 B 幀。H.261 采用基于塊的 DCT 進(jìn)行殘差信號(hào)的變換編碼。DCT 把像素的每個(gè) 88 塊映射到頻域，產(chǎn)生 64 個(gè)頻率成分第一個(gè)系數(shù)稱為 DC，其他的稱為 AC。為了量化 DCT 系數(shù)，H.261 在所有 AC 系數(shù)中采用固定的線性量化。量化后的系數(shù)進(jìn)行行程編碼，其可以按非零系數(shù)描述量化的頻率，后面跟隨一串零系數(shù)，在最后一個(gè)非零值之后以塊代碼結(jié)束。最后，可變長(zhǎng)度編碼 Huffman 將運(yùn)行級(jí)別對(duì) run-level pair 轉(zhuǎn)換成可變長(zhǎng)度編碼 VLC，其比特長(zhǎng)度已針對(duì)典型概率分布進(jìn)行過(guò)優(yōu)化?；跇?biāo)準(zhǔn)塊的編碼最終產(chǎn)生模塊化視頻。H.261 標(biāo)準(zhǔn)利用環(huán)路濾波避免這種現(xiàn)象。在模塊邊緣采用的簡(jiǎn)單 2D FIR 濾波器用于平滑參考幀中的量化效應(yīng)。必須同時(shí)在編碼器及解碼器中精確地對(duì)每個(gè)比特應(yīng)用上述濾波。MPEG-1MPEG-1[3] 是 ISO 開(kāi)發(fā)的第一個(gè)視頻壓縮算法。主要應(yīng)用是數(shù)字媒體上動(dòng)態(tài)圖像與音頻的存儲(chǔ)與檢索，如速率為 1.15Mbps、采用 SIF 分辨率352240 - 29.97fps 或者 352288 - 25 fps的VCD。MPEG-1 與 H.261 相似，不過(guò)編碼器一般需要更高的性能，以便支持電影內(nèi)容的較高運(yùn)動(dòng)性而不是典型的可視電話功能。與 H.261 相比，MPEG1 允許采用 B 幀。另外它還采用自適應(yīng)感知量化，也就是說(shuō)，對(duì)每個(gè)頻段采用單獨(dú)的量化比例因子或等步長(zhǎng)，以便優(yōu)化人們的視覺(jué)感受。MPEG-1 僅支持逐行視頻，因此新標(biāo)準(zhǔn)——MPEG2 已經(jīng)開(kāi)始做出努力，同時(shí)支持分辨率及比特率更高的逐行與隔行視頻。MPEG-2/H.262MPEG-2[4] 專門針對(duì)數(shù)字電視而開(kāi)發(fā)，很快成為了迄今最成功的視頻壓縮標(biāo)準(zhǔn)。MPEG-2 既能夠滿足標(biāo)準(zhǔn)逐行視頻的需求其中視頻序列由一系列按一定時(shí)間間隔采集的幀構(gòu)成，又能夠滿足電視領(lǐng)域常用的隔行視頻的需求。隔行視頻交替采集及顯示圖像中兩組交替的像素每組稱為一個(gè)場(chǎng)。這種方式尤其適合電視顯示器的物理特性。MPEG2 支持標(biāo)準(zhǔn)的電視分辨率，其中包括:針對(duì)美國(guó)和日本采用的 NTSC 制式隔行 720480 分辨率，每秒 60 場(chǎng)，以及歐洲和其他國(guó)家采用的PAL 制式的 720576 分辨率，每秒 50 場(chǎng)。MPEG-2 建立在 MPEG-1 基礎(chǔ)之上，并具備擴(kuò)展功能，能支持隔行視頻及更寬的運(yùn)動(dòng)補(bǔ)償范圍。由于高分辨率視頻是非常重要的應(yīng)用，因此 MPEG-2 支持的搜索范圍遠(yuǎn)遠(yuǎn)大于 MPEG-1。與之前的標(biāo)準(zhǔn)相比，它顯著提高了運(yùn)動(dòng)估計(jì)的性能要求，并充分利用更寬搜索范圍與更高分辨率優(yōu)勢(shì)的編碼器需要比 H.261 和 MPEG-1 高得多的處理能力。MPEG2 中的隔行編碼工具包含優(yōu)化運(yùn)動(dòng)補(bǔ)償?shù)哪芰?，同時(shí)支持基于場(chǎng)和基于幀的預(yù)測(cè)，而且同時(shí)支持基于場(chǎng)和基于幀的 DCT/IDCT。MPEG-2 在 30:1 左右的壓縮比時(shí)運(yùn)行良好。MPEG-2 在 4-8Mbps 時(shí)達(dá)到的質(zhì)量適合消費(fèi)類視頻應(yīng)用，因此它很快在許多應(yīng)用中得到普及，如:數(shù)字衛(wèi)星電視、數(shù)字有線電視、DVD 以及后來(lái)的高清電視等。另外，MPEG-2 增加了分級(jí)視頻編碼工具，以支持多層視頻編碼，即:時(shí)域分級(jí)、空域分級(jí)、SNR 分級(jí)以及數(shù)據(jù)分割。盡管 MPEG-2 中針對(duì)分級(jí)視頻應(yīng)用定義了相關(guān)類別 profile，不過(guò)支持單層編碼的主類 Main Profile 是當(dāng)今大眾市場(chǎng)中得到廣泛應(yīng)用的唯一 MPEG-2 類。MPEG-2 通常稱為 MPEG-2 主類。MPEG-2 解碼最初對(duì)于通用處理器及 DSP 具有很高的處理要求。優(yōu)化的固定功能 MPEG-2 解碼器開(kāi)發(fā)已問(wèn)世，由于使用量較高，成本已逐漸降低。MPEG2 證明低成本芯片解決方案的供應(yīng)是視頻編解碼標(biāo)準(zhǔn)成功和普及的關(guān)鍵。H.263H.263[5] 在 H.261 之后得到開(kāi)發(fā)，主要是為了以更低的比特率實(shí)現(xiàn)更高的質(zhì)量。其主要目標(biāo)之一是基于普通 28.8Kbps 電話調(diào)制解調(diào)器的視頻。目標(biāo)分辨率是 SQCIF 12896～CIF 352288。其基本原理與 H.261 大同小異。H.263 的運(yùn)動(dòng)矢量在兩個(gè)方向上允許是 1/2 的倍數(shù)“半像素”，參考圖像以數(shù)字方式內(nèi)插到更高的分辨率。這種方法可以提高 MC 精度及壓縮比。MV 可采用更大的范圍。為不同方案提供許多新的選項(xiàng)，包括:* 4 個(gè)運(yùn)動(dòng)矢量——每個(gè)塊采用一個(gè)運(yùn)動(dòng)矢量，而非整個(gè) MB 采用單個(gè)運(yùn)動(dòng)矢量。* 3D VLC:Huffman 編碼——將塊結(jié)束 EOB 指示符與每個(gè)運(yùn)行級(jí)別對(duì)結(jié)合在一起。這種功能主要用于低比特率，這時(shí)大多時(shí)候只有一、兩個(gè)編碼系數(shù)。盡管存在這些功能，但是仍然很難在普通電話線上實(shí)現(xiàn)理想的視頻質(zhì)量，而且目前基于標(biāo)準(zhǔn)調(diào)制解調(diào)器的可視電話仍然是一個(gè)難題。不過(guò)，由于 H.263 一般情況下可提供優(yōu)于 H.261 的效率，它成為了電視會(huì)議首選的算法，但是，為了兼容舊系統(tǒng)，仍然需要支持 H.261。H.263 逐漸發(fā)展成為了 H.263+，其增加了可選的附件，為提高壓縮并實(shí)現(xiàn)分組網(wǎng)的魯棒性提供支持。H.263 及其附件構(gòu)成了 MPEG-4 中許多編碼工具的核心。MPEG-4MPEG-4[6] 由 ISO 提出，以延續(xù) MPEG-2 的成功。一些早期的目標(biāo)包括:提高容錯(cuò)能力以支持無(wú)線網(wǎng)、對(duì)低比特率應(yīng)用進(jìn)行更好的支持、實(shí)現(xiàn)各種新工具以支持圖形對(duì)象及視頻之間的融合。大部分圖形功能并未在產(chǎn)品中受到重視，相關(guān)實(shí)施主要集中在改善低比特率壓縮及提高容錯(cuò)性上。.MPEG-4 簡(jiǎn)化類 SP 以H.263為基礎(chǔ)，為改善壓縮增加了新的工具，包括:* 無(wú)限制的運(yùn)動(dòng)矢量:支持對(duì)象部分超出幀邊界時(shí)的預(yù)測(cè)。* 可變塊大小運(yùn)動(dòng)補(bǔ)償:可以在 1616 或 88 粒度下進(jìn)行運(yùn)動(dòng)補(bǔ)償。* 上下文自適應(yīng)幀內(nèi) DCT DC/AC 預(yù)測(cè):可以通過(guò)當(dāng)前塊的左右相鄰塊預(yù)測(cè) DC/AC DCT 系數(shù)。* 擴(kuò)展量化 AC 系數(shù)的動(dòng)態(tài)范圍，支持高清視頻:從 H.263 的 [-127:127] 到 [-2047， 2047]。增加了容錯(cuò)功能，以支持丟包情況下的恢復(fù)，包括:* 片斷重同步 Slice Resynchronization:在圖像內(nèi)建立片斷 slice，以便在出現(xiàn)錯(cuò)誤后更快速的進(jìn)行重新同步。與 MPEG-2 數(shù)據(jù)包大小不同，MPEG4 數(shù)據(jù)包大小與用于描述 MB 的比特?cái)?shù)量脫離了聯(lián)系。因此，不管每個(gè) MB 的信息量多少，都可以在位流中按相同間隔進(jìn)行重新同步。* 數(shù)據(jù)分割:這種模式允許利用唯一的運(yùn)動(dòng)邊界標(biāo)記將視頻數(shù)據(jù)包中的數(shù)據(jù)分割成運(yùn)動(dòng)部分和 DCT 數(shù)據(jù)部分。這樣就可以實(shí)現(xiàn)對(duì)運(yùn)動(dòng)矢量數(shù)據(jù)更嚴(yán)格的檢查。如果出現(xiàn)錯(cuò)誤，我們可以更清楚地了解錯(cuò)誤之處，從而避免在發(fā)現(xiàn)錯(cuò)誤情況下拋棄所有運(yùn)動(dòng)數(shù)據(jù)。* 可逆 VLC:VLC 編碼表允許后向及前向解碼。在遇到錯(cuò)誤時(shí)，可以在下一個(gè)slice進(jìn)行同步，或者開(kāi)始編碼并且返回到出現(xiàn)錯(cuò)誤之處。* 新預(yù)測(cè) NEWPRED:主要用于在實(shí)時(shí)應(yīng)用中實(shí)現(xiàn)快速錯(cuò)誤恢復(fù)，這些應(yīng)用中的解碼器在出現(xiàn)丟包情況下采用逆向通道向解碼器請(qǐng)求補(bǔ)充信息。MPEG-4 高級(jí)簡(jiǎn)化類 ASP 以簡(jiǎn)化類為基礎(chǔ)，增加了與 MPEG-2 類似的 B 幀及隔行工具用于Level 4 及以上級(jí)別。另外它還增加了四分之一像素運(yùn)動(dòng)補(bǔ)償及用于全局運(yùn)動(dòng)補(bǔ)償?shù)倪x項(xiàng)。MPEG-4 高級(jí)簡(jiǎn)化類比簡(jiǎn)化類的處理性能要求更高，而且復(fù)雜性與編碼效率都高于 MPEG-2。MPEG-4 最初用于因特網(wǎng)數(shù)據(jù)流，例如，已經(jīng)被 Apple 的 QuickTime 播放器采用。MPEG-4 簡(jiǎn)化類目前在移動(dòng)數(shù)據(jù)流中得到廣泛應(yīng)用。MPEG-4 ASP 是已經(jīng)流行的專有 DivX 編解碼器的基石。工具與壓縮增益當(dāng)我們查看 H.261、MPEG1、MPEG2 與 H.263 視頻編解碼技術(shù)中引入的功能時(shí)，明顯可以發(fā)現(xiàn)幾種基本技巧提供了大部分壓縮增益。圖 4 說(shuō)明這些技巧及其相關(guān)效果。與 4 個(gè)運(yùn)動(dòng)矢量以及四分之一像素運(yùn)動(dòng)補(bǔ)償?shù)裙ぞ呦啾?，運(yùn)動(dòng)補(bǔ)償整數(shù)像素與半像素的效果顯然更為突出。圖 4:基本技巧的效果:1 無(wú) MC；2 增加 Skip 模式構(gòu)成 CR 編碼器；3 僅允許零 MV；4 允許整數(shù)像素 MC；5 允許半像素 MC；6 允許 4-MV；7 允許四分之一像素MC。如欲了解有關(guān)詳細(xì)說(shuō)明，敬請(qǐng)參見(jiàn) [7]。7. H.264/ MPEG4-AVC視頻編碼技術(shù)在過(guò)去幾年最重要的發(fā)展之一是由 ITU 和 ISO/IEC 的聯(lián)合視頻小組 JVT 開(kāi)發(fā)了 H.264/MPEG-4 AVC[8] 標(biāo)準(zhǔn)。在發(fā)展過(guò)程中，業(yè)界為這種新標(biāo)準(zhǔn)取了許多不同的名稱。ITU 在 1997 年開(kāi)始利用重要的新編碼工具處理 H.26L長(zhǎng)期，結(jié)果令人鼓舞，于是 ISO 決定聯(lián)手 ITU 組建 JVT 并采用一個(gè)通用的標(biāo)準(zhǔn)。因此，大家有時(shí)會(huì)聽(tīng)到有人將這項(xiàng)標(biāo)準(zhǔn)稱為 JVT，盡管它并非正式名稱。ITU 在 2003 年 5 月批準(zhǔn)了新的 H.264 標(biāo)準(zhǔn)。ISO 在 2003 年 10 月以 MPEG-4 Part 10、高級(jí)視頻編碼或 AVC 的名稱批準(zhǔn)了該標(biāo)準(zhǔn)。H.264/AVC 在壓縮效率方面取得了巨大突破，一般情況下達(dá)到 MPEG-2 及 MPEG-4 簡(jiǎn)化類壓縮效率的大約 2 倍。在 JVT 進(jìn)行的正式測(cè)試中 [9]，H.264 在 85 個(gè)測(cè)試案例中有 78％ 的案例實(shí)現(xiàn) 1.5 倍以上的編碼效率提高，77％ 的案例中達(dá)到 2 倍以上，部分案例甚至高達(dá) 4 倍。H.264 實(shí)現(xiàn)的改進(jìn)創(chuàng)造了新的市場(chǎng)機(jī)遇，如:* 600Kbps 的 VHS 品質(zhì)視頻?？梢酝ㄟ^(guò) ADSL 線路實(shí)現(xiàn)視頻點(diǎn)播。* 高清晰電影無(wú)需新的激光頭即可適應(yīng)普通 DVD。H.264 標(biāo)準(zhǔn)化時(shí)支持三個(gè)類別:基本類、主類及擴(kuò)展類。后來(lái)一項(xiàng)稱為高保真范圍擴(kuò)展 FRExt 的修訂引入了稱為高級(jí)類的 4 個(gè)附加類。在初期主要是基本類和主類引起了大家的興趣?；绢惤档土擞?jì)算及系統(tǒng)內(nèi)存需求，而且針對(duì)低時(shí)延進(jìn)行了優(yōu)化。由于 B 幀的內(nèi)在時(shí)延以及 CABAC 的計(jì)算復(fù)雜性，因此它不包括這兩者?；绢惙浅＿m合可視電話應(yīng)用以及其他需要低成本實(shí)時(shí)編碼的應(yīng)用。主類提供的壓縮效率最高，但其要求的處理能力也比基本類高許多，因此使其難以用于低成本實(shí)時(shí)編碼和低時(shí)延應(yīng)用。廣播與內(nèi)容存儲(chǔ)應(yīng)用對(duì)主類最感興趣，它們是為了盡可能以最低的比特率獲得最高的視頻質(zhì)量。盡管 H.264 采用與舊標(biāo)準(zhǔn)相同的主要編碼功能，不過(guò)它還具有許多與舊標(biāo)準(zhǔn)不同的新功能，它們一起實(shí)現(xiàn)了編碼效率的提高。圖 5 的編碼器框圖總結(jié)了其主要差別，概述如下:幀內(nèi)預(yù)測(cè)與編碼:H.264 采用空域幀內(nèi)預(yù)測(cè)技術(shù)來(lái)預(yù)測(cè)相鄰塊鄰近像素的 Intra-MB 中的像素。它對(duì)預(yù)測(cè)殘差信號(hào)和預(yù)測(cè)模式進(jìn)行編碼，而不是編碼塊中的實(shí)際像素。這樣可以顯著提高幀內(nèi)編碼效率。幀間預(yù)測(cè)與編碼:H.264 中的幀間編碼采用了舊標(biāo)準(zhǔn)的主要功能，同時(shí)也增加了靈活性及可操作性，包括適用于多種功能的幾種塊大小選項(xiàng)，如:運(yùn)動(dòng)補(bǔ)償、四分之一像素運(yùn)動(dòng)補(bǔ)償、多參考幀、通用 generalized 雙向預(yù)測(cè)和自適應(yīng)環(huán)路去塊?？勺兪噶繅K大小:允許采用不同塊大小執(zhí)行運(yùn)動(dòng)補(bǔ)償。可以為小至 44 的塊傳輸單個(gè)運(yùn)動(dòng)矢量，因此在雙向預(yù)測(cè)情況下可以為單個(gè) MB 傳輸多達(dá) 32 個(gè)運(yùn)動(dòng)矢量。另外還支持 168、816、88、84 和 48 的塊大小。降低塊大小可以提高運(yùn)動(dòng)細(xì)節(jié)的處理能力，因而提高主觀質(zhì)量感受，包括消除較大的塊化失真。四分之一像素運(yùn)動(dòng)估計(jì):通過(guò)允許半像素和四分之一像素運(yùn)動(dòng)矢量分辨率可以改善運(yùn)動(dòng)補(bǔ)償。多參考幀預(yù)測(cè):16 個(gè)不同的參考幀可以用于幀間編碼，從而可以改善視頻質(zhì)量的主觀感受并提高編碼效率。提供多個(gè)參考幀還有助于提高 H.264 位流的容錯(cuò)能力。值得注意的是，這種特性會(huì)增加編碼器與解碼器的內(nèi)存需求，因?yàn)楸仨氃趦?nèi)存中保存多個(gè)參考幀。自適應(yīng)環(huán)路去塊濾波器:H.264 采用一種自適應(yīng)解塊濾波器，它會(huì)在預(yù)測(cè)回路內(nèi)