视频标准帧速率上变换的自适应运动补偿方案>文俊，刘重庆，刘晓松（上海交通大学图像处理与模式识别研究所，上海，200030）


　　当前，随着数字电视技术的发展，出现了很多不同的数字视频标准。从高清晰电视（HDTV）到视频电话，它们都具有一定的时间和空间分辨率要求，电影节目源是以24帧／s播放，而电视NTSC则是以60场／s的速率来播放。视频标准转换的任务就是把数字视频信号从一种标准转化为另一种标准，或者把一种格式节目源转化成另一种格式的节目源。
数字视频标准转换主要包含帧／场速率的上变换／下变换、隔行化／去隔行、图像空间分辨率变换。帧速率上变换是指提高视频信号的时间分辨率，例如，为了能够让电影节目源在电视设备上播放，必须提高节目源的时间分辨率（24帧／s）到播放设备要求的时间分辨率（假定为30帧／s），因此，上变换要求在视频信号中增加一些新帧来满足播放设备的需要。
　　随着新帧产生方法的不同，上变换算法可以分为两类：（1）利用已存在的视频帧线性组合的方法来产生新帧，主要特点是没有考虑目标运动信息，这类算法包括帧重复、线性图像插值。帧重复是最简单的方法，但是当帧中存在运动目标时，会产生严重的动作突变现象。线性图像插值是指利用两源帧的线性组合产生新帧，此方法假设像素亮度线性变化，从而能得到更加自然的图像序列，但会产生明显的运动模糊现象，因为插值过程中没有考虑到帧中目标的运动，用于插值的两个源像素点是属于帧中不同的目标，从而模糊了目标。（2）采用运动补偿的方法提高帧速率。此算法通过运动估计得到平滑的运动向量场，利用运动向量来进行运动补偿插值，由于考虑了图像帧间的运动信息，所以得到的新帧能够很好地反映目标的运动轨迹。
1　运动补偿的帧速率转换方案的实现
　　方案主要包括运动估计、运动向量的后处理及分配和运动补偿插值三部分。为了能够充分地利用目标的运动信息来插值新帧，需要用运动估计算法来估计出比较精确而且平滑的运动向量。同时，又考虑到错误的运动向量会使得运动补偿插值的结果恶化，这就需要对运动估计得到的运动向量场进行一定的后处理，最后采用比较自适应的运动补偿插值算法。
1．1　预测三步搜索算法
　　运动估计在整个方案中具有举足轻重的地位，运动补偿插值需要两帧间的精确运动向量来插值出新帧。运动估计速度的快慢、运动向量的精确度以及平滑性对整个运动补偿插值系统起着关键作用。块匹配算法是一种基于块的运动估计算法，包括全搜索算法（FS），以及在此基础上所提出的一系列快速算法，如三步搜索（TSS）^［1］，新三步搜索（NTSS）^［2］，交叉搜索（CS）^［3］以及四步搜索（FSS）^［4］，由于它较小的复杂度，匹配速度较快且具有良好的精确性，是一种应用很广泛的运动估计算法。所有这些算法都是利用各自的搜索原则以当前块为中心，在一定大小的搜索窗口中搜索出次优解，这对以提高压缩比为目的的视频压缩是非常有效的。然而，在帧速率上变换中，插补出的新帧图像局部失真往往比全局恶化更糟糕，所以必须对图像运动向量场的平滑性提出一定的要求。由于视频图像序列的运动矢量场有着很强的空间相关性和时间相关性，可以充分利用这种特性来进行运动矢量估计。
　　本文采用一种新的预测三步搜索算法（Predictivethreestepsearch，PTSS），利用了三步搜索的简洁性，同时又充分地考虑到图像块的空间和时间相关性。由于运动目标总是存在一定大小，运动向量必然存在很强的空间相关性；同时，由于物体运动都存在惯性，运动向量必然存在很强的时间相关性。如图1所示，图中有三个连续的帧序列，分别表示不同t时刻的第k－1，k，以及k＋1帧，帧中圆圈为一运动物体。现以k为参考帧，在第k＋1帧中搜索相应的匹配块。图中已对第k帧进行了分块处理，可以看出，由于圆圈存在一定的大小，1，2块均被包含在圆圈中，假设k帧的2块已从第k＋1帧中搜索到匹配块②，带箭头的直线表示2块的运动矢量，显然，1块的运动矢量与2块有着相当的相关性。因此，当搜索1块运动矢量时，如果以2块的运动矢量作为预测矢量进行搜索，不仅能节约一定的计算量，而且运动向量场的平滑性也相当好。同时，可以看出圆圈运动总是存在一定的连续性，估计块1的运动矢量，还可以以前一个运动向量场中（以k－1为参考帧，在k帧中搜索匹配块）中（1）块
的运动矢量为预测矢量进行搜索。1．2　运动向量的后处理与分配
　　由于运动估计是基于块的基础上，为了防止个别估计错误的运动向量干扰整个图像的质量，作者提出了一种特殊的中值滤波算法对整个向量场进行平滑操作，目的是为了得到更加平滑的运动向量场。设为图像帧中任意一个小块，为其运动矢量，则

示块中像素的位置矢量；W，H分别为块的宽度和高度。本文采取的滤波方法是

　　由于此处中值算法的对象是向量，因此应该寻找x和y方向都在中间值左右的向量为中值算法的结果，而不能孤立地对两个方向进行中值滤波。
　　由于运动向量估计是建立在块的基础上，从而利用运动补偿插值得到的图像帧会有明显的块虚像，为了尽量克服这种块虚像，采用一种后处理技术来处理运动向量场。把每一块B（X）分成四个子块Bi,j（X）


1．3　自适应的运动补偿插值
　　运动补偿插值是指利用已估计出的运动向量场，在两个连续的图像帧中插值出一新帧。通常采用的算法是运动补偿时间插值（MCTI）^［6，7］，即

其中，p＞0，k＞p，x指空间上坐标，n，p，k均为时间轴坐标，F（x，n）是亮度函数，是x点上帧F（x，n－k）到F（x，n）的运动向量。F_mca（x，n－p）是空间上运动补偿得到的中间帧。
　　MCTI方法显然是一种理想的情况，当图像帧中所有物体的运动都是一种刚体运动且运动估计足够精确时，MCTI能够得到比较好的结果。然而，这些要求通常都是不能满足的，为此，需要自适应的运动补偿算法。考虑到图像帧中静止部分和运动部分的不同属性，相应有静态中值滤波F_sta和动态中值滤波F_dyn，其意义如下

上式中F_avg表示利用时间上连续两帧的线性平均，从式中可以发现F_sta对于处理帧中静态部分非常有效，因为它利用了两个静态像素成分，从而部分克服了静态区域个别像素运动向量不为零的影响。另一方面对于F_dyn：当运动向量比较精确时，与其相应的相邻两帧中进行补偿的两个像素有相同的像素值，因此，中值滤波器可选其中任一个像素值作为输出；当运动向量不再可靠时，与其相应的相邻两帧中进行补偿的两个像素像素值会有很大的差别，这样，中值滤波器就会选择输出F_avg作为一种性能上的妥协。
[1][2]下一页