环球资源与Gartner的联合调查显示，2004年消费类电子取代通信设备成为嵌入式系统的大应用，而数字视频是驱动消费类电子应用增长的主要因素之一。视频应用不但是数字电视(DTV)、IPTV、IP可视电话、数字机顶盒(STB)的基本功能，而且正在快速渗透到手机、PDA等移动设备中。各种编解码技术的快速发展推动了数字视频应用的普及，使通过有线/无线网络传播音视频内容成为可能。
在数字视频应用中，未来的明显趋势之一是支持新的视频标准，如H.264/AVC、VC-1和AVS等，而支持多种格式编解码的能力也很关键。此外，对基于不同编码标准、不同帧速率、不同分辨率的视频流进行格式转换的能力是另一项关键能力。
本文将详细剖析主流视频终端应用设备对视频处理的不同要求，以及其可能的技术解决方案。
多模解码是机顶盒的关键
根据传输信道的不同，数字机顶盒可分为卫星(DVB-S)、有线(DVB-C)、地面(DVB-T)和IP机顶盒四种。不同的机顶盒对于视频信号处理有不同的需求。低端设备要求能以30或25帧/秒的速率处理标准清晰度(SD)的视频(720X480的NTSC或720X576的PAL)。高端设备能以30帧/秒的速率处理直至1080i(1980X1080)的高清晰度(HD)视频。端的设备要求能执行MPEG-2视频解码，而更高端的设备要求能执行MPEG-2和MPEG-4解码，以及进行一些类型的编码以便存储家庭电影等用户创建的内容或录制模拟电视节目供以后观看。目前对编码的需求是要在全帧速率下录制标准清晰度信号，以后随着更多HD摄像机的出现，情况可能发生改变，但现在HD编码的价格使得在大多数设备中集成HD编码功能不实际。表1列举了各种类型机顶盒对视频处理的典型要求。
表1：各种类型机顶盒对视频处理的典型要求。
其中，DVB-C机顶盒与DVB-T机顶盒均仅适用于普通模拟电视，是考虑到未来的数字电视接收机可以直接接收来自有线和地面广播的数字电视信号，无需数字机顶盒。而IP机顶盒的需求中未列入高清晰度类别，是考虑到至少8Mbps的高清频道的传输带宽需求，在短时间内难于经由互联网普及到广大家庭。
在上表中，AVS(Audio Video Standards)是正在审议中的中国音视频编解码标准，AVC(Advanced Video Codec)是国际标准MPEG-4第10部分或H.264，WMV9、Real、Quiktime、DivX等是分别由微软、RealNetworks等公司开发的视频编解码技术，被广泛用于互联网。在这些技术中，AVC、AVS、WMV9是公认的新一代技术，其压缩效率比老一代技术有成倍的提高。
“信源编解码技术正处于新老标准的交替时期，多种标准并存的局面会长期存在。”中芯联合公司总经理边晓春表示，“然而，这些标准之间是不兼容的。这就要求实现这些标准的芯片必须能够实现多种格式的解码。我们将其称为多模解码。”
随着压缩技术和传输技术的进步，高清电视信号的传输成本和存储成本显著降低，高清卫星电视服务即将在北美和欧洲大面积普及。基于新一代压缩技术的编码与解码对于芯片的计算能力提出了挑战，能否低成本地实现多模的高清解码，已经成为芯片业界的一个重大课题。
目前，针对此问题有三种技术解决方案。
方案一：分别获取针对不同压缩格式的高清解码的硬件核，再根据需求将若干硬件核集成在一起。例如，将实现H.264高清解码的硬件核与实现MPEG-2高清解码的硬件核集成在一起。
方案二：设计一种计算性能超强的通用处理器，配以不同的软件、以适应不同的解码格式。典型的解决方案包括来自英特尔的赛扬600MHz处理器和AMD基于速龙处理器技术的NX处理器系列。基于这类通用CPU的方案一般被用于构建IP机顶盒。
方案三：设计一种硬件加速核，专门承担解码过程中那些计算量较大的工作，而将计算量较小的工作交给其他通用处理器完成，从而保持了可编程和适应不同解码格式的特点。诸如ST、ESS、卓然等机顶盒芯片主流供应商的方案都由信源解码器和嵌入式CPU组成。
方案一的缺点是电路规模偏大、导致生产成本偏高，且难以适应兼容更多格式的需求；方案二的缺点是要求嵌入式系统开发商去适应那些全新的计算平台；方案三的缺点是硬件加速核很难做到兼容不同格式。
作为一家相对较晚切入机顶盒市场的新兴公司，中芯联合的开发思路是：首先寻求各种标准之间的共同部分，然后在统一的算法框架之下设计硬件电路的整体结构，且将其设计为可编程、可配置的，再配以少量特殊硬件电路，即可实现单一硬件电路的、可编程的高清多模解码硬件核。
中芯联合公司正在研制的芯片，就是试图实现低成本的多模高清解码。其主要特点是，使用单一的专用硬件电路实现不同格式的高清解码。“使用专用硬件电路，是由于目前的通用处理器(各类CPU及DSP)的计算能力都不足以处理H.264的高清实时解码。”边晓春表示。
由于机顶盒市场的规模很大，对成本较为敏感，故其视频处理器件的主流产品应该是SoC。但机顶盒市场中的不定因素很多，例如CA标准及其实现、地面传输和信源编解码的中国标准、高清电视的中国标准等等，使得很难定义SoC的产品规格。因此，明年和后年主流机顶盒产品的技术方案可能会出现“百花齐放”的局面，不会快速集中于少数芯片产品及其整机方案。
另一方面，SoC技术、SiP技术的发展非常迅速。我们可以预期，标准清晰度的机顶盒整机产品将基于“单芯片”解决方案，数字调谐器、解调器、MPEG解码器、模拟或数字的视频输出电路、音频处理电路、CPU以及主要的接口电路等将被集成在单一芯片之中，从而限度地降低整机成本。
在家庭媒体中心方面，它还要求具备格式转换的功能，以便适应不同的播放设备。例如，一部HD电影存储在家庭媒体中心中，而STB只能解码SD内容，这时媒体中心就需要具有能力将电影转换成所需的格式。类似地，如果需要在不支持MPEG-4的DVD上播放MPEG-4电影也需要从MPEG-4到MPEG-2的格式转换能力。
针对家庭媒体中心，英特尔将在2006年发布一个新品牌的平台，名为Viiv。基于Viiv技术的新型PC将可采用遥控器进行完全控制，支持数字电视接收器，并优化了播放数字娱乐节目、录制电视节目、播放HD音频/视频等应用。
H.264将成IP可视电话的主流压缩技术
IP可视电话产品其实概念并不算很新，因为IP已经是宽带网络的主流，而可视电话在市场上也已有销售，但是IP与可视电话相结合的产品并没有得到很快普及，其中既有技术的原因，也有市场的原因。市场当然是要求影像具有高分辨率的实时性，并且产品价位要尽可能低；而技术上则要求对影像进行高速和高效处理，并且在网络上占用的带宽较小。
目前，IP可视电话的编解码格式多为H.263和H.264，满足实时需要的帧率在PAL制时为每秒25帧，而在NTSC制时为每秒30帧。面向一般用户类产品，CIF(352x288)分辩率即可满足要求。目前，VGA(640x480)和D1分辩率不是视频通信应用的典型要求。不过，面向高端会议电话系统，分辨率可进一步提高到SVGA(800x600)或XVGA(1024x768)。当然还有更高分辨率的XGA和SXGA，所面向是大屏幕或电视墙应用，这就需要极高的带宽，或者是直接采用电视线缆传输信号。表2列出了IP可视电话常用的编解码格式以及分辨率和帧率要求。
表2：IP可视电话常用的编解码格式以及分辨率和帧率要求。
对于IP可视电话这样的双向视频通信系统，在保证高质量实时影像的同时，对网络带宽的需求也至关重要。随着视频编解码技术的发展，高性能格式正逐步成为市场主流。由于采用H.264格式的视频电话所占用网络带宽仅为H.263格式视频电话的一半，已有不少具有影响力的运营商将H.264作为标准配置，而H.263却成为可选配置。采用H.264的系统，即使在较低数据率下，如128kbps甚至64kbps也可得到很好的视频和音频质量。
目前，TI、ADI等DSP供应商主导了IP可视电话市场。基于TI数字媒体处理器的IP可视电话解决方案可提供高质量的实时视频、同步的音频与视频，同时支持基本配置的H.264与H.263视频编解码格式。其中以TI的600MHz时钟速度的DM643为核心，经优化就可实现单片低成本的IP可视电话系统，实现实时的高质量 H.264 格式CIF分辩率视频、G.723或G.711等格式音频和H.323或SIP网络协议。对于更高需求的IP电话系统，可以采用时钟高达720MHz的DM642平台。
ADI的解决方案支持所有的视频编解码器，如H.263、H.264、MPEG-4和WMV9。“我们支持在宽带网络上高达30fps的CIF全运动视频通信。我们的解决方案提供全运动、全彩色视频、优异的音频质量、先进的呼叫控制功能。”ADI的XXX表示，“Blackfin是我们参考设计的核心，执行所有的视频、音频和网络处理。”
当前，阻碍IP可视电话市场发展的因素是价格。例如，闻亭数字系统(北京)有限公司基于TI方案开发的IP可视电话零售价高达3000元，远远超过普通消费者愿意承受的水平。ADI认为，到2007年，机顶盒与视频电话的集成将创造的可视电话市场。
DTV解决方案：SoC vs. FPGA
在电视领域，现在是数模兼容的时代，而向数字化发展是已经确定的方向。成都威斯达芯片有限责任公司市场经理梅军预测，在未来5年内，平板电视以及数模兼容逐行CRT电视都有很好的市场。2008年以后，真正的数字接收电视将逐渐占据主流，兼容电视仍然和数字电视并行发展，但数模兼容电视的份额将逐步减少，2015年以后会完全是数字电视。
在DTV和IPTV领域，主要的视频编解码标准是MPEG-2、AVC/H.264和VC-1。另外，本土的AVS也有机会。Xilinx的亚太区DSP行销经理林鸿瑞表示，AVS将成为中国一种重要的视频编码标准，但它能否被广泛采用将取决于芯片的供应情况、系统制造商的支持程度和市场接受度。
目前，DTV和IPTV芯片供应商包括飞利浦、瑞萨等国际公司以及成都威斯达、海信、杭州国芯等本土公司。为了迅速降低系统成本，无论是老牌公司还是新兴公司都致力于提供集成隔行转逐行变换、图像比例缩放、帧频提升、图像增强等必要视频处理能力的SoC解决方案。
林鸿瑞认为，IPTV和DTV系统供应商越来越被限制到一小部分芯片供应商的SoC解决方案之中。这使得他们很难基于技术规范实现产品的差异化。因此，制造商正在寻求向他们的产品添加预处理和后处理能力。Xilinx为IPTV和DTV系统提供基于FPGA的硬件/软件可编程平台。“我们的FPGA集成了DSP和嵌入式处理功能，以便为设备制造商提供集成的可编程系统平台。” 林鸿瑞表示，“因为DTV和IPTV市场面临不断演变的标准，FPGA的可编程性是一项关键优势，允许制造商调整产品功能以满足变化的商业和技术要求。”
Xilinx近与其IP合作伙伴4i2i通信公司联合发布了个在单个FPGA实现的高清H.264视频解码器。采用Xilinx的可编程逻辑器件，4i2i通信公司开发了一种可授权的IP解决方案，提供了VHDL、Verilog或网表格式的高清晰度H.264编码器。这个优化的编码器包括H.264 HD编码器、视频缩放器、降噪器和主接口，可以在单个Virtex或Spartan FPGA中实现。
拍照手机：高像素挑战处理能力
可拍照手机正变得越来越普及，并迈向更高的像素，从而对图像/视频处理能力提出更高的要求。
TransChip公司业务部副总裁Elan Roth认为，到2008年，全球可拍照手机将占到全部手机的70%份额。“今年，照相手机的市场主流是130万像素，明年可拍照手机市场将转向200万或300万象素，从而提供相片级质量的图像，成为真正的入门级数码相机。” 华邦电子数字影像应用行销企划处处长郑金河表示。TransChip公司已经推出200万象素CMOS传感器，明年年初将推出320万象素CMOS传感器，到2006年推出500万象素的CMOS传感器。
目前，用户要求可拍照手机的微型图像传感器处理模块要取得与数码相机类似的照片效果，使供应商面临巨大挑战。
TransChip公司的AlgoCam是可编程的图像传感器，具有功耗低、精确、无声以及高度可靠的自动对焦等特点。AlgoCam采用可编程的图像信号处理器，工程师只要会C语言编程技术，就可利用软件编程在1周之内将高象素功能快速集成在可拍照手机中。此外，它可提升色彩质量，自动进行颜色校正并改进图片，而且允许自动曝光。
由于可拍照手机的镜头一般较小，因此其拍摄的图像通常偏暗，另外，背后逆光令照片偏暗，而TransChip的图像传感器均可对这两种情况进行修正，可对图像进行黑点较正，并对图像进行逆光补偿。该公司将来有可能开发新的技术，实现可与CCD图像媲美的图片质量。
除了改进传感器的图像处理性能以外，业界正在引入额外的移动多媒体处理器以提高可拍照手机的视频处理能力，满足摄像及播放视频短片的需求。例如，华邦推出的W99702G瞄准130万像素的照相手机，能进行MPEG4/3GP编解码，在QVGA分辨率下达到30fps的帧率；另一款W99802G瞄准200万或300万像素照相功能，也具备MPEG4/3GP编解码能力，而且在VGA分辨率下可达到30fps的帧率。郑金河认为，下一步拍照手机将要求具备H.264视频编解码能力，并能对500万像素的图像进行信号处理。