close

Вход

Забыли?

вход по аккаунту

?

Патент РФ 2335860

код для вставки
РОССИЙСКАЯ ФЕДЕРАЦИЯ
(19)
RU
(11)
2 335 860
(13)
C2
(51) МПК
H04N 7/32
G06T 7/20
(2006.01)
(2006.01)
ФЕДЕРАЛЬНАЯ СЛУЖБА
ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ,
ПАТЕНТАМ И ТОВАРНЫМ ЗНАКАМ
(12)
ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ПАТЕНТУ
(21), (22) За вка: 2005113316/09, 10.09.2003
(72) Автор(ы):
БОЙС Джилл МакДональд (US)
(24) Дата начала отсчета срока действи патента:
10.09.2003
(73) Патентообладатель(и):
ТОМСОН ЛАЙСЕНСИНГ С.А. (FR)
R U
(30) Конвенционный приоритет:
01.10.2002 US 60/415,443
(43) Дата публикации за вки: 20.09.2005
(45) Опубликовано: 10.10.2008 Бюл. № 28
2 3 3 5 8 6 0
(56) Список документов, цитированных в отчете о
поиске: US 4985768 А, 15.01.1991. RU 2093968
C1, 20.10.1997. RU 2182727 С2, 20.05.2002. US
6275532 B1, 14.08.2001. ЕР 0511778 А1,
04.11.1992. WO 0186962 A1, 15.11.2001. US
6081551 A, 27.06.2000. US 5978032 A, 02.11.1999.
2 3 3 5 8 6 0
R U
(86) За вка PCT:
US 03/28189 (10.09.2003)
C 2
C 2
(85) Дата перевода за вки PCT на национальную фазу:
03.05.2005
(87) Публикаци PCT:
WO 2004/032357 (15.04.2004)
Адрес дл переписки:
129090, Москва, ул. Б. Спасска , 25, стр.3,
ООО "Юридическа фирма Городисский и
Партнеры", пат.пов. Ю.Д.Кузнецову, рег.№ 595
(54) НЕЯВНОЕ ВЗВЕШИВАНИЕ ОПОРНЫХ ИЗОБРАЖЕНИЙ В ВИДЕОДЕКОДЕРЕ
(57) Реферат:
Изобретение относитс к видеокодекам.
Техническим результатом вл етс повышение
эффективности
декодировани .
Предложен
видеодекодер (200) и соответствующие способы
дл обработки данных видеосигнала дл блока
изображени с индексами двух опорных
изображений дл предсказани этого блока
изображени , которые используют не вное
взвешивание опорных изображений дл улучшени видеосжати , при этом декодер (200) включает в
себ модуль
(280)
не вных
весовых
коэффициентов опорных изображений дл определени весового
коэффициента,
соответствующего каждому индексу опорного
изображени ; операции декодировани включают в
себ прием индексов опорных изображений с
данными,
которые
соответствуют
блоку
изображени , определение не вного весового
коэффициента в ответ на положение блока
изображени относительно опорных изображений,
указываемых
каждым
индексом
опорного
изображени , извлечение опорного изображени дл каждого индекса, выполнение компенсации
движени в отношении извлеченного опорного
изображени и умножение опорных изображений, в
отношении которых выполнена компенсаци движени , на соответствующий вес. 2 н. и 23 з.п.
ф-лы, 6 ил.
Страница: 1
RU
C 2
C 2
2 3 3 5 8 6 0
2 3 3 5 8 6 0
R U
R U
Страница: 2
RUSSIAN FEDERATION
RU
(19)
(11)
2 335 860
(13)
C2
(51) Int. Cl.
H04N 7/32
G06T 7/20
(2006.01)
(2006.01)
FEDERAL SERVICE
FOR INTELLECTUAL PROPERTY,
PATENTS AND TRADEMARKS
(12)
ABSTRACT OF INVENTION
(21), (22) Application: 2005113316/09, 10.09.2003
(72) Inventor(s):
BOJS Dzhill MakDonal'd (US)
(24) Effective date for property rights: 10.09.2003
(73) Proprietor(s):
TOMSON LAJSENSING S.A. (FR)
(30) Priority:
01.10.2002 US 60/415,443
R U
(43) Application published: 20.09.2005
(45) Date of publication: 10.10.2008 Bull. 28
2 3 3 5 8 6 0
(85) Commencement of national phase: 03.05.2005
(86) PCT application:
US 03/28189 (10.09.2003)
(87) PCT publication:
WO 2004/032357 (15.04.2004)
2 3 3 5 8 6 0
R U
(54) LATENT SCALING OF REFERENCE IMAGES IN VIDEODECODER
(57) Abstract:
FIELD: information technology.
SUBSTANCE:
invention
proposed
contains
videodecoder (200) and corresponding methods of
videosignal data processing for image block with
two reference frames' indices to predict this
image block. The methods use latent scaling of
reference images to improve video compressing.
The
decoder
(200)
contains
latent
scaling
coefficient module (280) of reference images,
which are used to determine a scaling coefficient
value, corresponding to each of the reference
image
indices.
Decoding
operations
contain
receiving reference image indices with data,
which corresponds to image block, calculation of
latent scaling coefficient in response to image
block location relative to reference images,
indicated by each index of reference image,
extraction of reference image for each of the
indices,
motion
compensation
relative
to
extracted reference image and multiplication of
reference images, relative to which the motion
compensation was performed, to a corresponding
scaling value.
EFFECT: increase of decoding efficiency.
25 cl, 6 dwg
Страница: 3
EN
C 2
C 2
Mail address:
129090, Moskva, ul. B. Spasskaja, 25, str.3,
OOO "Juridicheskaja firma Gorodisskij i
Partnery", pat.pov. Ju.D.Kuznetsovu, reg.№ 595
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
Перекрестные ссылки на родственные за вки
По этой за вке испрашиваетс приоритет предварительной за вки на патент США №
60/415443, поданной 1 окт бр 2002 г., котора включена в насто щее описание
посредством ссылки во всей своей полноте.
Область техники, к которой относитс изобретение
Насто щее изобретение относитс к видеокодекам.
Предшествующий уровень техники
Видеоданные в основном обрабатываютс и передаютс в виде битовых потоков.
Обычно кодеры и декодеры («кодеки») видеосжати обеспечивают большую часть
эффективности сжати посредством формировани предсказани опорного изображени дл изображени , подлежащего кодированию, и кодировани разности между текущим
изображением и предсказанием. Чем сильнее это предсказание коррелировано с текущим
изображением, тем меньше бит необходимо дл сжати этого изображени , вследствие
чего увеличиваетс эффективность обработки. Таким образом, желательно, чтобы
формировалось наилучшее возможное предсказание опорного изображени .
В некоторых видеопоследовательност х, в особенности с плавной сменой изображений
(наплывом), текущее изображение, подлежащее кодированию или декодированию, более
сильно коррелировано с опорным изображением, масштабированным некоторым весовым
коэффициентом, чем с самим опорным изображением. Видеокодеки без весовых
коэффициентов, примен емые к опорным изображени м, кодируют такие
последовательности изображений с наплывом очень неэффективно. К сожалению,
передача весовых коэффициентов требует, чтобы некоторые дополнительные биты
пересылались в битовом потоке.
Во многих стандартах видеосжати , включа стандарты Экспертной группы по вопросам
движущегос изображени MPEG-1, MPEG-2 и MPEG-4, вариант предыдущего опорного
изображени , в отношении которого выполнена компенсаци движени , используетс как
предсказание дл текущего изображени и кодируетс только разность между текущим
изображением и предсказанием. Когда используетс предсказание единственного
изображени («Р»-изображение), опорное изображение не масштабируетс , когда
формируетс предсказание с компенсацией движени .
Когда используютс двунаправленные предсказани изображений («В»-изображени ),
формируютс промежуточные предсказани на основе двух различных изображений, и
затем два промежуточных предсказани совместно усредн ютс с использованием
одинаковых весовых коэффициентов (1/2, 1/2) дл каждого с целью формировани единственного усредненного предсказани . В этих стандартах MPEG всегда есть два
опорных изображени , одно из которых соответствует направлению вперед, а другое направлению назад, дл В-изображений.
Сущность изобретени На разрешение этих и других недостатков предшествующего уровн техники
ориентирован видеодекодер, предназначенный дл декодировани данных видеосигнала
дл блока изображени с индексами первого и второго опорных изображений дл предсказани этого блока изображени . Декодер содержит модуль весовых коэффициентов
опорных изображений, реагирующий на положение блока изображени относительно
первого и второго опорных изображений. Выход модул весовых коэффициентов опорных
изображений используетс дл определени не вных весовых коэффициентов,
соответствующих индексам первого и второго опорных изображений, соответственно.
Эти и другие аспекты, признаки и преимущества насто щего изобретени станут
очевидными из нижеследующего описани примерных вариантов осуществлени , которое
следует читать совместно с сопровождающими чертежами.
Перечень чертежей
Насто щее изобретение использует не вное взвешивание опорных изображений в
видеокодерах и видеодекодерах в соответствии с нижеследующими примерными
чертежами, на которых:
Страница: 4
DE
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
фиг.1 - блок-схема видеокодера в соответствии с принципами насто щего изобретени ;
фиг.2 - блок-схема видеодекодера с не вным взвешиванием опорных изображений в
соответствии с принципами насто щего изобретени ;
фиг.3 - блок-схема алгоритма процесса декодировани в соответствии с принципами
насто щего изобретени ;
фиг.4 - блок-схема видеокодера в соответствии с принципами насто щего изобретени ;
фиг.5 - блок-схема видеокодера с не вным взвешиванием опорных изображений в
соответствии с принципами насто щего изобретени ; и
фиг.6 - блок-схема алгоритма процесса кодировани в соответствии с принципами
насто щего изобретени .
Подробное описание предпочтительных вариантов осуществлени Насто щее изобретение включает в себ устройство и способ дл не вного
взвешивани опорных изображений в видеокодеках. Например, в
видеопоследовательност х с наплывом текущее изображение или блок изображени ,
подлежащий кодированию, более сильно коррелирован с опорным изображением,
масштабированным некоторым весовым коэффициентом, чем с самим опорным
изображением. Видеокодеки без весовых коэффициентов, примен емые к опорным
изображени м, очень неэффективно кодируют последовательности с наплывом. Когда
используютс весовые коэффициенты при кодировании, видеокодеру необходимо
определить как весовые коэффициенты, так и векторы движени .
В стандарте видеосжати Объединенной видеогруппы (JVT) каждое Р-изображение
может использовать множество опорных изображений дл формировани предсказани изображени , но каждый отдельный блок движени или область 8Ч8 макроблока
использует только одно опорное изображение дл предсказани . В дополнении к
кодированию и передаче векторов движени передаетс индекс опорного изображени дл каждого блока движени или области 8Ч8, указывающий, какое опорное изображение
используетс . Ограниченный набор возможных опорных изображений сохран етс как в
кодере, так и в декодере, и при этом передаютс несколько допустимых опорных
изображений.
Дл изображений с двунаправленным предсказанием (также называемых «В»изображени ми) формируютс два параметра предсказани (предиктора) дл каждого
блока движени или области 8Ч8, каждый из которых может быть от отдельного опорного
изображени , и эти два параметра предсказани совместно усредн ютс дл формировани одного усредненного параметра предсказани . Дл блоков движени ,
кодированных с двунаправленным предсказанием, опорные изображени могут быть оба из
направлени вперед, оба из направлени назад или одно из направлени вперед и одно из
направлени назад. Поддерживаютс два списка доступных опорных изображений, которые
могут использоватьс дл предсказани . Два опорных изображени могут быть названы как
параметры предсказани списка 0 и списка 1 или опорные изображени ref0 и ref1. Дл каждого опорного изображени кодируетс и передаетс индекс, ref_idx_I0 и ref_idx_I1,
дл опорных изображений списков 0 и 1, соответственно. Изображени двунаправленного
предсказани Объединенной видеогруппы («JVT») или «В»-изображени предложены дл обеспечени адаптивного взвешивани между двум предсказани ми, т.е.
где P1 и P0 - весовые коэффициенты, Pred0 и Pred1 - предсказани опорных
изображений дл списка 0 и списка 1, соответственно, а D - смещение.
Предложено по меньшей мере два способа дл определени и использовани весовых
коэффициентов - не вный способ и вный способ. При использовании не вного способа
весовые коэффициенты определ ютс направлени ми, которые используютс дл опорных
изображений. В этом способе, если индекс ref_fwd меньше, чем индекс ref_bwd, или
равен индексу ref_bwd, используютс весовые коэффициенты (1/2, 1/2), в противном
случае используютс весовые коэффициенты (2, -1). В не вном режиме весовые
коэффициенты (2, -1) всегда используютс дл макроблоков, кодируемых в пр мом
Страница: 5
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
режиме.
При использовании вного способа передаетс любое количество весовых
коэффициентов дл каждого сло . Индекс весового коэффициента затем передаетс дл каждого блока движени или области 8Ч8 макроблока, который использует
двунаправленное предсказание. Декодер использует прин тый индекс весового
коэффициента дл выбора соответствующего весового коэффициента из переданного
набора дл использовани при декодировании блока движени или области 8Ч8.
Предложено также вно передавать весовой коэффициент, св занный с каждым
индексом опорного изображени , один на слой или изображение. В этом случае требуетс малое, но не пренебрежимое, количество битов, подлежащих передаче дл каждого сло или изображени .
Нижеследующее описание только иллюстрирует принципы изобретени . Таким образом,
пон тно, что специалист в данной области техники сумеет придумать различные
компоновки, которые, хот не описаны и не показаны здесь вно, воплощают принципы
изобретени и включены в рамки объема и сущности изобретени . Кроме того, все
примеры и условный зык, приведенные здесь, принципиально и специально
предназначены только дл обучающих целей в помощь читателю при понимании
принципов изобретени и концепций, внесенных изобретателем дл развити уровн техники, которые должны истолковыватьс как не вл ющиес ограниченными такими
приведенными здесь конкретными примерами и услови ми.
Кроме того, все утверждени относительно приводимых здесь принципов, аспектов и
вариантов осуществлени изобретени , а также конкретные его примеры предназначены
дл охвата его структурных и функциональных эквивалентов. Дополнительно,
подразумеваетс , что такие эквиваленты включают в себ известные на текущий момент
эквиваленты и эквиваленты, которые будут разработаны в будущем, т.е. любые
разработанные элементы, которые осуществл ют такую же функцию, независимо от
структуры.
Таким образом, например, специалистам в этой области техники будет пон тно, что
блок-схемы представл ют здесь общие представлени иллюстративной схемы,
воплощающей принципы изобретени . Подобно этому будет пон тно, что любые блоксхемы алгоритмов, блок-схемы последовательностей операций, диаграммы изменени состо ний, псевдокод и тому подобное представл ют различные процессы, которые могут
быть по существу представлены в машиночитаемом носителе информации и исполнены
компьютером или процессором независимо от того, показан или нет вно такой компьютер
или процессор.
Функции различных элементов, показанных на чертежах, могут быть обеспечены
посредством использовани специализированного аппаратного обеспечени , а также
аппаратного обеспечени , выполненного с возможностью исполнени программного
обеспечени в св зке с соответствующим программным обеспечением. При обеспечении
посредством процессора функции могут быть обеспечены одним специализированным
процессором, одним совместно используемым процессором или множеством отдельных
процессоров, некоторые из которых могут совместно использоватьс .
Кроме того, вное использование термина «процессор» или «контроллер» не следует
истолковывать как относ щийс исключительно к аппаратному обеспечению,
выполненному с возможностью исполнени программного обеспечени , он может не вно
включать, без ограничени , аппаратное обеспечение цифрового процессора сигналов
(DSP), посто нное запоминающее устройство (ПЗУ, ROM) дл хранени программного
обеспечени , оперативное запоминающее устройство (ОЗУ, RAM) и энергонезависимое
запоминающее устройство. Другое аппаратное обеспечение, обычное и/или заказное,
может быть также включено. Подобно этому любые переключатели, показанные на
чертежах, вл ютс только схематичными. Их функци может быть выполнена благодар работе логических программных средств благодар специализированным логическим
средствам, благодар взаимодействию программного управлени и специализированных
Страница: 6
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
логических средств, или даже вручную, при этом конкретный способ выбираетс производителем, как более конкретно пон тно из контекста.
В формуле изобретени любой элемент, выраженный как средство дл осуществлени определенной функции, предназначен дл обобщени любого пути осуществлени этой
функции, включа , например, а) комбинацию схемных элементов, которые осуществл ют
эту функцию, или б) программное обеспечение в любой форме, включа , в том числе,
микропрограммное обеспечение, микрокод или тому подобное, объединенное с
соответствующей схемой дл выполнени этого программного обеспечени дл исполнени функции. Изобретение, определенное такой формулой изобретени , указывает
на тот факт, что функциональные возможности, обеспечиваемые различными упом нутыми
средствами, объедин ютс и совместно свод тс таким образом, как предусмотрено в
формуле изобретени . За витель, таким образом, рассматривает любые средства, которые
могут обеспечивать эти функциональные возможности, как эквиваленты тем, которые
показаны здесь.
В вариантах осуществлени насто щего изобретени не вный весовой коэффициент
примен етс дл предсказани опорного изображени в кодере и декодере видеосжати ,
которые используют множество опорных изображений. Когда блок закодирован с
двунаправленным предсказанием и используетс новый не вный режим, описанный здесь,
рассто ни между текущим изображением и опорными изображени ми используютс дл определени относительных весовых коэффициентов на основе формулы
интерпол ции/экстрапол ции.
Как показано на фиг.1, видеодекодер обозначаетс в общем ссылочной позицией 100.
Видеодекодер 100 включает в себ декодер 110 переменной длины пол (VLD),
соединенный с возможностью обмена сигналами с инверсным квантователем 120.
Инверсный квантователь 120 соединен с возможностью обмена сигналами с инверсным
преобразователем 130. Инверсный преобразователь 130 соединен с возможностью обмена
сигналами с первым входным контактом сумматора или суммирующего соединени 140,
при этом выход суммирующего соединени 140 формирует выход видеодекодера 100.
Выход суммирующего соединени 140 соединен с возможностью обмена сигналами с
хранилищем 150 опорных изображений. Хранилище 150 опорных изображений соединено с
возможностью обмена сигналами с компенсатором 160 движени , который соединен с
возможностью обмена сигналами со вторым входным контактом суммирующего
соединени 140.
На фиг.2 видеодекодер с не вным взвешиванием опорных изображений обозначен в
общем ссылочной позицией 200. Видеодекодер 200 включает в себ VLD 210, соединенный
с возможностью обмена сигналами с инверсным квантователем 220. Инверсный
квантователь 220 соединен с возможностью обмена сигналами с инверсным
преобразователем 230. Инверсный преобразователь 230 соединен с возможностью обмена
сигналами св зью с первым входным контактом суммирующего соединени 240, при этом
выход суммирующего соединени 240 формирует выход видеодекодера 200. Выход
суммирующего соединени 240 соединен с возможностью обмена сигналами с хранилищем
250 опорных изображений. Хранилище 250 опорных изображений соединено с
возможностью обмена сигналами с компенсатором 260 движени , который соединен с
возможностью обмена сигналами с первым входом перемножител 270.
VLD 210, кроме того, соединен с возможностью обмена сигналами с поисковой таблицей
280 весовых коэффициентов опорных изображений дл предоставлени индекса не вного
коэффициента двунаправленного предсказани поисковой таблице 280. Выход поисковой
таблицы 280 предназначен дл обеспечени весового коэффициента и соединен с
возможностью обмена сигналами со вторым входом перемножител 270. Выход
перемножител 270 соединен с возможностью обмена сигналами со вторым входным
контактом суммирующего соединени 240.
На фиг.3 примерный процесс декодировани данных видеосигнала дл блока
изображени с не вным взвешиванием опорных изображений обозначен в общем
Страница: 7
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
ссылочной позицией 300. Процесс включает в себ этап 310 начала, с которого
управление передаетс этапу 312 ввода. На этапе 312 ввода принимают сжатые данные
блока изображени и передают управление этапу 313 ввода. На этапе 313 ввода
принимают индекс первого опорного изображени , соответствующий первому конкретному
опорному изображению, и передают управление этапу 314 ввода. На этапе 314 ввода
принимают индекс второго опорного изображени , соответствующий второму конкретному
опорному изображению. На этапе 314 ввода передают управление функциональному этапу
315, на котором определ ют положение блока изображени относительно первого и
второго опорных изображений. На функциональном этапе 315 передают управление
функциональному этапу 316, на котором вычисл ют не вный весовой коэффициент дл каждого из прин тых индексов опорных изображений на основе положени текущего блока
изображени относительно первого и второго опорных изображений, и передают
управление функциональному этапу 317.
На функциональном этапе 317 начинают программный цикл, подлежащий исполнению
дл каждого из двух индексов опорных изображений текущего блока изображени , и
передают управление функциональному этапу 318. На функциональном этапе 318
извлекают опорное изображение, соответствующее текущему в цикле индексу опорного
изображени , и передают управление функциональному этапу 320. На функциональном
этапе 320, в свою очередь, выполн ют компенсацию движени в отношении извлеченного
опорного изображени и передают управление на функциональный этап 322. На
функциональном этапе 322 умножают опорное изображение, в отношении которого
выполнена компенсаци движени , на соответствующий весовой коэффициент и передают
управление на функциональный этап 323. На функциональном этапе 323 выполн ют
итерацию дл повторени цикла с функционального этапа 317 и передают управление
функциональному этапу 324, после двойного завершени цикла. На функциональном этапе
324, в свою очередь, формируют объединенное взвешенное опорное изображение, в
отношении которого выполнена компенсаци движени , и передают управление на этап
326 окончани . Таким образом, относительное положение, определенное на
функциональном этапе 315, используетс дл определени весовых коэффициентов.
Как показано на фиг.4, стандартный видеокодер обозначен в общем ссылочной
позицией 400. Вход кодера 400 соединен с возможностью обмена сигналами с
неинвертирующим входом суммирующего соединени 410. Выход суммирующего
соединени 410 соединен с возможностью обмена сигналами с блочным преобразователем
420. Преобразователь 420 соединен с возможностью обмена сигналами с квантователем
430. Выход квантовател 430 соединен с возможностью обмена сигналами с кодером
переменной пол (VLC) 440, при этом выход VLC 440 вл етс доступным извне выходом
кодера 400.
Выход квантовател 430 также соединен с возможностью обмена сигналами с
инверсным квантователем 450. Инверсный квантователь соединен с возможностью обмена
сигналами с инверсным блочным преобразователем 460, который, в свою очередь,
соединен с возможностью обмена сигналами с хранилищем 470 опорных изображений.
Первый выход хранилища 470 опорных изображений соединен с возможностью обмена
сигналами с первым входом модул 480 оценки движени . Вход декодера 400 также
соединен с возможностью обмена сигналами со вторым входом модул 480 оценки
движени . Выход модул 480 оценки движени соединен с возможностью обмена
сигналами с первым входом компенсатора 490 движени . Второй выход хранилища 470
опорных изображений соединен с возможностью обмена сигналами со вторым входом
компенсатора 490 движени . Выход компенсатора 490 движени соединен с возможностью
обмена сигналами с инвертирующим входом суммирующего соединени 410.
На фиг.5 видеокодер с не вным взвешиванием опорных изображений обозначен в
общем позицией 500. Вход кодера 500 соединен с возможностью обмена сигналами с
неинвертирующим входом суммирующего соединени 510. Выход суммирующего
соединени 510 соединен с возможностью обмена сигналами с блочным преобразователем
Страница: 8
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
520. Преобразователь 520 соединен с возможностью обмена сигналами с квантователем
530. Выход квантовател 530 соединен с возможностью обмена сигналами с VLC 540, при
этом выход VLC 440 вл етс доступным извне выходом кодера 500.
Выход квантовател 530 также соединен с возможностью обмена сигналами с
инверсным квантователем 550. Инверсный квантователь 550 соединен с возможностью
обмена сигналами с инверсным блочным преобразователем 560, который, в свою очередь,
соединен с возможностью обмена сигналами с хранилищем 570 опорных изображений.
Первый выход хранилища 570 опорных изображений соединен с возможностью обмена
сигналами с первым входом модул 572 назначени весового коэффициента опорного
изображени . Вход кодера 500 также соединен с возможностью обмена сигналами со
вторым входом модул 572 назначени весового коэффициента опорного изображени .
Выход модул 572 назначени весового коэффициента опорного изображени , который
служит дл указани весового коэффициента, соединен с возможностью обмена сигналами
с первым входом модул 580 оценки движени . Второй выход хранилища 570 опорных
изображений соединен с возможностью обмена сигналами со вторым входом модул 580
оценки движени .
Вход кодера 500 также соединен с возможностью обмена сигналами с третьим входом
модул 580 оценки движени . Выход модул 580 оценки движени , который служит дл указани векторов движени , соединен с возможностью обмена сигналами с первым
входом компенсатора 590 движени . Третий выход запоминающего устройства 570
соединен с возможностью обмена сигналами со вторым входом компенсатора 590
движени . Выход компенсатора 590 движени , который служит дл указани опорного
изображени , в отношении которого выполнена компенсаци движени , соединен с
возможностью обмена сигналами с первым входом перемножител 592. Выход модул 572
назначени весового коэффициента опорного сигнала, который служит дл указани весового коэффициента, соединен с возможностью обмена сигналами со вторым входом
перемножител 592. Выход перемножител 592 соединен с возможностью обмена
сигналами с инвертирующим входом суммирующего соединени 510.
На фиг.6 примерный процесс дл кодировани данных видеосигнала дл блока
изображени с не вным взвешиванием опорных изображений в общем обозначен позицией
600. Процесс включает в себ этап 610 начала, с которого управление передаетс этапу
612 ввода. На этапе 612 ввода принимают данные по существу несжатого блока
изображени и передают управление функциональному этапу 614. На функциональном
этапе 614 выбирают первое и второе опорные изображени дл прин того блока
изображени из любого или обоих направлений относительно положени блока
изображени и передают управление функциональному этапу 616. На функциональном
этапе 616 определ ют положение блока изображени относительно первого и второго
опорных изображений и передают управление функциональному этапу 618. На
функциональном этапе 618 вычисл ют не вные весовые коэффициенты дл каждого
конкретного опорного изображени блока изображени на основе относительного
положени . С функционального этапа 618 управление передаетс функциональному этапу
620. На функциональном этапе 620 начинают программный цикл дл каждого из двух
индексов опорного изображени текущего блока изображени и передают управление
функциональному этапу 622. На функциональном этапе 622 вычисл ют вектор движени дл блока изображени и конкретного опорного изображени и передают управление
функциональному этапу 624. На функциональном этапе 624 выполн ют компенсацию
движени в отношении конкретного опорного изображени в соответствии с вектором
движени и передают управление функциональному этапу 626. На функциональном этапе
626, в свою очередь, умножают опорное изображение, в отношении которого выполнена
компенсаци движени на не вный весовой коэффициент дл формировани взвешенного
опорного изображени , в отношении которого выполнена компенсаци движени , и
передают управление функциональному этапу 628. На функциональном этапе 628
выполн ют итерацию дл повторени цикла функционального этапа 620 и передают
Страница: 9
RU 2 335 860 C2
5
10
15
20
25
30
управление функциональному этапу 630 после двойного завершени цикла.
На функциональном этапе 630 формируют объединенное взвешенное опорное
изображение, в отношении которого выполнена компенсаци движени , и передают
управление функциональному этапу 632. На функциональном этапе 632 вычитают
объединенное взвешенное опорное изображение, в отношении которого выполнена
компенсаци движени , из по существу несжатого блока изображени и передают
управление функциональному этапу 634. На функциональном этапе 634, в свою очередь,
кодируют сигнал с помощью разности между по существу несжатым блоком изображени и
объединенным взвешенным опорным изображением, в отношении которого выполнена
компенсаци движени , вместе с соответствующим индексом конкретного опорного
изображени и передают управление этапу 636 завершени . Таким образом, два
параметра предсказани , соответствующие положению перед, после или по обе стороны
относительно текущего изображени , будут сформированы в случае двунаправленного
предсказани .
В работе не вный весовой коэффициент примен етс к предсказанию опорного
изображени кодера и декодера видеосжати , которые используют множество опорных
изображений. Когда блок кодируетс с двунаправленным предсказанием и используетс новый не вный режим, рассто ни текущего изображени от опорного изображени используютс дл определени соответствующих весовых коэффициентов на основе
формулы интерпол ции/экстрапол ции.
Дл предпочтительных вариантов осуществлени насто щего изобретени устанавливаетс новое определение не вного двунаправленного предсказани .
Используетс формула интерпол ции или экстрапол ции, основывающа с на рассто нии
между кодированным изображением и его опорными изображени ми. Одна и та же
формула используетс дл интерпол ции или экстрапол ции. Формула становитс формулой интерпол ции, если одно из двух опорных изображений в пор дке отображени находитс перед текущим кодированным изображением, а другое - после текущего
кодированного изображени , и она становитс формулой экстрапол ции, если опорные
изображени в пор дке отображени наход тс или оба перед, или оба после текущего
кодированного изображени .
Текущее изображение подлежит отображению во врем Т, опорное
изображение P0 подлежит отображению во врем Т0, и опорное изображение Р1 подлежит
отображению во врем Т1. В этом не вном режиме дл макроблоков, кодированных с
двунаправленным предсказанием, предсказание определ етс как
35
40
45
50
Значени Т, Т1 и Т0 относительных времен отображени присутствуют в заголовках
изображений соответствующих изображений. В не вном режиме определение весового
коэффициента WP может быть основано на счете пор дка изображений (СПИ, POC), а не
на времени отображени . СПИ присутствует в заголовке сло или выводитс из заголовка
сло . Таким образом, будет пон тно специалисту в данной области техники, что СПИ
может быть использован вместо времени отображени . Варианты осуществлени , в
которых сохран ют эту информацию о положении относительно опорных изображений при
их декодировании, могут быть также реализованы. Времена Т1 и Т0 отображени сохран ют
при декодировании изображений Р1 и Р0.
Когда изображени декодируютс , их СПИ или времена отображени , или информаци о
положении сохран ютс . Когда весовые коэффициенты подлежат вычислению,
осуществл етс доступ к этим сохраненным данным о положении с помощью индексов
опорных изображений дл указани того, какие сохраненные данные о положении
использовать. Эта информаци сохран етс дл масштабировани векторов движени в
пр мом режиме. Вычислени (T1-T)/(T1-T0) и (T-T0)/(T1-T0) также используютс дл пр мого
режима, и результат вычислени может быть сохранен и повторно использован дл исключени необходимости в повторных вычислени х. Эти вычислени делени могут быть
выполнены дл каждого кодированного изображени , однократно дл каждого значени Т,
Страница: 10
RU 2 335 860 C2
Т0 и Т1, и этот результат может быть масштабирован посто нным коэффициентом Х дл разрешени более эффективных операций сдвига, а не операций делени дл вычислени значений Pred дл каждого пиксел . Например, если Х равен 256, Z0 и Z1 могут быть
вычислены один раз дл каждого изображени следующим образом:
5
Затем Pred вычисл етс один раз дл каждого пиксел как:
10
15
20
25
30
35
40
45
50
Ограничение значени Pred до желаемого диапазона, обычно от 0 до 255, может быть
сделано после этого вычислени . Значени Z0 и Z1 могут также быть ограничены. Дл коэффициентов цветности, которые центрируютс около 128, может использоватьс следующа примерна формула:
В пр мом режиме опорные индексы опорного изображени 0 и опорного изображени 1
не передаютс вно, но вывод тс . В этом случае весовой коэффициент вычисл етс на
основе выведенных значений Т1 и Т0. Индексы опорных изображений в битовом потоке,
когда они доступны, могут использоватьс дл нахождени Т0 и Т1.
С макроблоками, кодированными с двунаправленным предсказанием, при линейном
наплыве предложенное взвешивание будет идеальным. В этом случае может быть
достигнуто снижение скорости передачи в битах, поскольку не нужно никаких битов дл передачи весовых коэффициентов, св занных с каждым опорным изображением.
Дл случа , когда Р1 соответствует двум опорным изображени м, предшествующим
текущему изображению, а Р0 соответствует одному опорному изображению,
предшествующему текущему изображению, формула сводитс к:
Эти и другие признаки и преимущества насто щего изобретени могут быть без труда
установлены одним из специалистов в данной области техники на основе принципов,
раскрытых здесь. Пон тно, что принципы насто щего изобретени могут быть реализованы
в различных формах аппаратного обеспечени , программного обеспечени ,
микропрограммного обеспечени , специализированных процессоров или их комбинаций.
Наиболее предпочтительна реализаци насто щего изобретени в качестве комбинации
аппаратного обеспечени и программного обеспечени . Кроме того, предпочтительной
реализацией программного обеспечени вл етс прикладна программа, материально
воплощенна в устройстве хранени программ. Прикладна программа может быть
загружена и исполнена машиной, содержащей любую подход щую архитектуру.
Предпочтительно, машина реализована на компьютерной платформе, имеющей
аппаратное обеспечение, такое как один или более центральных процессоров (ЦП, CPU),
оперативное запоминающее устройство (ОЗУ) и интерфейсы ввода/вывода (I/O).
Компьютерна платформа может также включать в себ операционную систему и код
микрокоманд. Различные процессы и функции, описанные здесь, могут быть или частью
кода микрокоманд, или частью прикладной программы, или какой-либо их комбинации,
которые могут быть исполнены ЦП. В дополнение к этому к компьютерной платформе могут
быть подсоединены различные другие периферийные устройства, такие как
дополнительное устройство хранени данных и устройство печати.
Пон тно также, что, поскольку некоторые из составл ющих системных компонентов и
способов, описанных в сопровождающих чертежах, предпочтительно реализуютс в
программном обеспечении, действительные соединени между системными компонентами
или функциональными блоками процесса могут отличатьс в зависимости от способа,
которым насто щее изобретение программируетс . Име принципы насто щего
изобретени , описанные здесь, специалист в данной области техники сможет
предположить эти и подобные реализации или конфигурации насто щего изобретени .
Хот иллюстративные варианты осуществлени описаны здесь со ссылками на
Страница: 11
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
сопровождающие чертежи, пон тно, что насто щее изобретение не ограничиваетс именно
этими вариантами осуществлени и что различные изменени и модификации могут быть
внесены в них специалистом в данной области техники без отхода от объема или сущности
насто щего изобретени . Подразумеваетс , что все такие изменени и модификации
включены в объем насто щего изобретени , определ емый прилагаемой формулой
изобретени .
Формула изобретени 1. Видеодекодер дл декодировани данных видеосигнала дл блока изображени с
индексами первого и второго опорных изображений дл предсказани этого блока
изображени , при этом видеодекодер содержит модуль весовых коэффициентов опорных
изображений, реагирующий на положение блока изображени относительно первого и
второго опорных изображений дл определени не вных весовых коэффициентов,
соответствующих каждому из индексов первого и второго опорных изображений,
соответственно.
2. Видеодекодер по п.1, в котором модуль весовых коэффициентов опорных
изображений выполнен с возможностью интерпол ции между част ми двух опорных
изображений, одно из которых расположено перед блоком изображени , а другое после
блока изображени в пор дке отображени ; и экстрапол ции из частей двух опорных
изображений, оба из которых расположены перед блоком изображени или оба из кото??ых
расположены после блока изображени в пор дке отображени .
3. Видеодекодер по п.1, дополнительно содержащий декодер переменной длины пол ,
соединенный с возможностью обмена сигналами с модулем весовых коэффициентов
опорных изображений и предназначенный дл предоставлени индексов первого и второго
опорных изображений модулю весовых коэффициентов опорных изображений.
4. Видеодекодер по п.1, дополнительно содержащий компенсатор движени ,
соединенный с возможностью обмена сигналами с модулем весовых коэффициентов
опорных изображений и предназначенный дл предоставлени опорных изображений, в
отношении которых выполнена компенсаци движени , в качестве реакции на модуль
весовых коэффициентов опорных изображений.
5. Видеодекодер по п.4, дополнительно содержащий перемножитель, соединенный с
возможностью обмена сигналами с компенсатором движени и модулем весовых
коэффициентов опорных изображений и предназначенный дл применени не вного
весового коэффициента к опорному изображению, в отношении которого выполнена
компенсаци движени .
6. Видеодекодер по п.1, в котором данные видеосигнала вл ютс данными потокового
видеосигнала, содержащими коэффициенты блочного преобразовани .
7. Видеодекодер по п.1, дополнительно содержащий: средство предсказани дл формировани первого и второго параметров предсказани на основе двух различных
опорных изображений; средство объединени дл объединени первого и второго
параметров предсказани с использованием их соответствующих не вных весовых
коэффициентов дл формировани одного объединенного параметра предсказани .
8. Видеодекодер по п.7, в котором упом нутые два различных опорных изображени соответствуют одному и тому же направлению по отношению к блоку изображени .
9. Способ декодировани данных видеосигнала дл блока изображени , содержащий
этапы, на которых получают множество индексов опорных изображений дл блока
изображени , причем каждый индекс соответствует конкретному опорному изображению;
определ ют не вные весовые коэффициенты в качестве реакции на положение блока
изображени относительно упом нутого множества опорных изображений, указанных
упом нутым множеством индексов опорных изображений и соответствующих каждому из
полученного множества индексов опорных изображений; извлекают опорное изображение,
соответствующее каждому из полученного множества индексов опорных изображений;
выполн ют компенсацию движени в отношении извлеченных опорных изображений; и
Страница: 12
CL
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
умножают опорные изображени , в отношении которых выполнена компенсаци движени ,
на их соответствующие не вные весовые коэффициенты дл формировани соответствующих взвешенных опорных изображений, в отношении которых выполнена
компенсаци движени .
10. Способ по п.9, в котором получение множества индексов опорных изображений дл блока изображени содержит этап, на котором принимают множество индексов опорных
изображений с данными дл блока изображени в не вном режиме.
11. Способ по п.9, в котором получение множества индексов опорных изображений дл блока изображени содержит этап, на котором вывод т множество индексов опорных
изображений из данных дл блока изображени в пр мом режиме.
12. Способ по п.9, в котором компенсаци движени в отношении извлеченных опорных
изображений содержит этап, на котором определ ют векторы движени дл извлеченных
опорных изображений относительно блока изображени .
13. Способ по п.9, в котором определение не вных весовых коэффициентов содержит
этапы, на которых принимают поле заголовка сло дл блока изображени ; определ ют
счет пор дка изображений в поле заголовка сло ;
используют счет пор дка изображений дл определени положени блока изображени относительно упом нутого множества опорных изображений.
14. Способ по п.9, в котором положение блока изображени относительно упом нутого
множества опорных изображений соответствует относительным временам отображени соответствующих изображений.
15. Способ по п.9, в котором определение не вного весового коэффициента содержит по
меньшей мере один этап из следующих этапов выполн ют интерпол цию между част ми
двух опорных изображений, одно из которых расположено перед блоком изображени , а
другое расположено после блока изображени в пор дке отображени ; и выполн ют
экстрапол цию из частей двух опорных изображений, оба из которых расположены перед
блоком изображени , или оба из которых расположены после блока изображени в пор дке
отображени .
16. Способ по п,9, дополнительно содержащий этап, на котором объедин ют
взвешенные опорные изображени , в отношении которых выполнена компенсаци движени , дл формировани объединенного взвешенного опорного изображени , в
отношении которого выполнена компенсаци движени .
17. Способ по п.9, дополнительно содержащий этап, на котором суммируют
объединенное взвешенное опорное изображение, в отношении которого выполнена
компенсаци движени , с данными дл блока изображени с целью предсказани блока
изображени .
18. Способ по п.17, дополнительно содержащий этап, на котором сохран ют
предсказанный блок изображени в качестве опорного изображени дл последующего
извлечени .
19. Способ по п.9, в котором данные видеосигнала вл ютс данными потокового
видеосигнала, содержащими коэффициенты блочного преобразовани .
20. Способ по п.9, дополнительно содержащий этапы, на которых формируют первый и
второй параметры предсказани на основе двух различных опорных изображений;
выполн ют компенсацию движени в отношении каждого из первого и второго параметров
предсказани ; объедин ют первый и второй параметры предсказани с использованием их
соответствующих не вных весовых коэффициентов дл формировани одного
объединенного параметра предсказани .
21. Способ по п.9, в котором определение не вного весового коэффициента содержит
этапы, на которых выполн ют предварительное вычисление по меньшей мере одного
весового коэффициента и сохран ют упом нутый по меньшей мере один весовой
коэффициент дл повторного использовани .
22. Способ по п.9, дополнительно содержащий этапы, на которых сохран ют
информацию о положении блока изображени относительно упом нутого множества
Страница: 13
RU 2 335 860 C2
5
10
опорных изображений; и осуществл ют доступ к сохраненной информации об
относительном положении дл вычислени не вных весовых коэффициентов посредством
использовани индексов опорных изображений дл указани того, какие сохраненные
данные о положении необходимо использовать.
23. Способ по п.22, дополнительно содержащий этап, на котором повторно используют
информацию об относительном положении в пр мом режиме дл исключени необходимости повторного вычислени .
24. Способ по п.22, дополнительно содержащий этап, на котором выполн ют
вычислени , соответствующие делению, дл каждого кодированного изображени и дл каждого значени положени и масштабирование этого результата посто нным
коэффициентом дл обеспечени более эффективных операций сдвига, а не операций
делени , дл вычислени значений предсказани дл каждого пиксел .
25. Способ по п.20, в котором оба из двух упом нутых различных опорных изображений
соответствуют одному и тому же направлению относительно блока изображени .
15
20
25
30
35
40
45
50
Страница: 14
RU 2 335 860 C2
Страница: 15
DR
RU 2 335 860 C2
Страница: 16
RU 2 335 860 C2
Страница: 17
RU 2 335 860 C2
Страница: 18
?твии с принципами
насто щего изобретени ;
фиг.4 - блок-схема видеокодера в соответствии с принципами насто щего изобретени ;
фиг.5 - блок-схема видеокодера с не вным взвешиванием опорных изображений в
соответствии с принципами насто щего изобретени ; и
фиг.6 - блок-схема алгоритма процесса кодировани в соответствии с принципами
насто щего изобретени .
Подробное описание предпочтительных вариантов осуществлени Насто щее изобретение включает в себ устройство и способ дл не вного
взвешивани опорных изображений в видеокодеках. Например, в
видеопоследовательност х с наплывом текущее изображение или блок изображени ,
подлежащий кодированию, более сильно коррелирован с опорным изображением,
масштабированным некоторым весовым коэффициентом, чем с самим опорным
изображением. Видеокодеки без весовых коэффициентов, примен емые к опорным
изображени м, очень неэффективно кодируют последовательности с наплывом. Когда
используютс весовые коэффициенты при кодировании, видеокодеру необходимо
определить как весовые коэффициенты, так и векторы движени .
В стандарте видеосжати Объединенной видеогруппы (JVT) каждое Р-изображение
может использовать множество опорных изображений дл формировани предсказани изображени , но каждый отдельный блок движени или область 8Ч8 макроблока
использует только одно опорное изображение дл предсказани . В дополнении к
кодированию и передаче векторов движени передаетс индекс опорного изображени дл каждого блока движени или области 8Ч8, указывающий, какое опорное изображение
используетс . Ограниченный набор возможных опорных изображений сохран етс как в
кодере, так и в декодере, и при этом передаютс несколько допустимых опорных
изображений.
Дл изображений с двунаправленным предсказанием (также называемых «В»изображени ми) формируютс два параметра предсказани (предиктора) дл каждого
блока движени или области 8Ч8, каждый из которых может быть от отдельного опорного
изображени , и эти два параметра предсказани совместно усредн ютс дл формировани одного усредненного параметра предсказани . Дл блоков движени ,
кодированных с двунаправленным предсказанием, опорные изображени могут быть оба из
направлени вперед, оба из направлени назад или одно из направлени вперед и одно из
направлени назад. Поддерживаютс два списка доступных опорных изображений, которые
могут использоватьс дл предсказани . Два опорных изображени могут быть названы как
параметры предсказани списка 0 и списка 1 или опорные изображени ref0 и ref1. Дл каждого опорного изображени кодируетс и передаетс индекс, ref_idx_I0 и ref_idx_I1,
дл опорных изображений списков 0 и 1, соответственно. Изображени двунаправленного
предсказани Объединенной видеогруппы («JVT») или «В»-изображени предложены дл обеспечени адаптивного взвешивани между двум предсказани ми, т.е.
где P1 и P0 - весовые коэффициенты, Pred0 и Pred1 - предсказани опорных
изображений дл списка 0 и списка 1, соответственно, а D - смещение.
Предложено по меньшей мере два способа дл определени и использовани весовых
коэффициентов - не вный способ и вный способ. При использовании не вного способа
весовые коэффициенты определ ютс направлени ми, которые используютс дл опорных
изображений. В этом способе, если индекс ref_fwd меньше, чем индекс ref_bwd, или
равен индексу ref_bwd, используютс весовые коэффициенты (1/2, 1/2), в противном
случае используютс весовые коэффициенты (2, -1). В не вном режиме весовые
коэффициенты (2, -1) всегда используютс дл макроблоков, кодируемых в пр мом
Страница: 5
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
режиме.
При использовании вного способа передаетс любое количество весовых
коэффициентов дл каждого сло . Индекс весового коэффициента затем передаетс дл каждого блока движени или области 8Ч8 макроблока, который использует
двунаправленное предсказание. Декодер использует прин тый индекс весового
коэффициента дл выбора соответствующего весового коэффициента из переданного
набора дл использовани при декодировании блока движени или области 8Ч8.
Предложено также вно передавать весовой коэффициент, св занный с каждым
индексом опорного изображени , один на слой или изображение. В этом случае требуетс малое, но не пренебрежимое, количество битов, подлежащих передаче дл каждого сло или изображени .
Нижеследующее описание только иллюстрирует принципы изобретени . Таким образом,
пон тно, что специалист в данной области техники сумеет придумать различные
компоновки, которые, хот не описаны и не показаны здесь вно, воплощают принципы
изобретени и включены в рамки объема и сущности изобретени . Кроме того, все
примеры и условный зык, приведенные здесь, принципиально и специально
предназначены только дл обучающих целей в помощь читателю при понимании
принципов изобретени и концепций, внесенных изобретателем дл развити уровн техники, которые должны истолковыватьс как не вл ющиес ограниченными такими
приведенными здесь конкретными примерами и услови ми.
Кроме того, все утверждени относительно приводимых здесь принципов, аспектов и
вариантов осуществлени изобретени , а также конкретные его примеры предназначены
дл охвата его структурных и функциональных эквивалентов. Дополнительно,
подразумеваетс , что такие эквиваленты включают в себ известные на текущий момент
эквиваленты и эквиваленты, которые будут разработаны в будущем, т.е. любые
разработанные элементы, которые осуществл ют такую же функцию, независимо от
структуры.
Таким образом, например, специалистам в этой области техники будет пон тно, что
блок-схемы представл ют здесь общие представлени иллюстративной схемы,
воплощающей принципы изобретени . Подобно этому будет пон тно, что любые блоксхемы алгоритмов, блок-схемы последовательностей операций, диаграммы изменени состо ний, псевдокод и тому подобное представл ют различные процессы, которые могут
быть по существу представлены в машиночитаемом носителе информации и исполнены
компьютером или процессором независимо от того, показан или нет вно такой компьютер
или процессор.
Функции различных элементов, показанных на чертежах, могут быть обеспечены
посредством использовани специализированного аппаратного обеспечени , а также
аппаратного обеспечени , выполненного с возможностью исполнени программного
обеспечени в св зке с соответствующим программным обеспечением. При обеспечении
посредством процессора функции могут быть обеспечены одним специализированным
процессором, одним совместно используемым процессором или множеством отдельных
процессоров, некоторые из которых могут совместно использоватьс .
Кроме того, вное использование термина «процессор» или «контроллер» не следует
истолковывать как относ щийс исключительно к аппаратному обеспечению,
выполненному с возможностью исполнени программного обеспечени , он может не вно
включать, без ограничени , аппаратное обеспечение цифрового процессора сигналов
(DSP), посто нное запоминающее устройство (ПЗУ, ROM) дл хранени программного
обеспечени , оперативное запоминающее устройство (ОЗУ, RAM) и энергонезависимое
запоминающее устройство. Другое аппаратное обеспечение, обычное и/или заказное,
может быть также включено. Подобно этому любые переключатели, показанные на
чертежах, вл ютс только схематичными. Их функци может быть выполнена благодар работе логических программных средств благодар специализированным логическим
средствам, благодар взаимодействию программного управлени и специализированных
Страница: 6
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
логических средств, или даже вручную, при этом конкретный способ выбираетс производителем, как более конкретно пон тно из контекста.
В формуле изобретени любой элемент, выраженный как средство дл осуществлени определенной функции, предназначен дл обобщени любого пути осуществлени этой
функции, включа , например, а) комбинацию схемных элементов, которые осуществл ют
эту функцию, или б) программное обеспечение в любой форме, включа , в том числе,
микропрограммное обеспечение, микрокод или тому подобное, объединенное с
соответствующей схемой дл выполнени этого программного обеспечени дл исполнени функции. Изобретение, определенное такой формулой изобретени , указывает
на тот факт, что функциональные возможности, обеспечиваемые различными упом нутыми
средствами, объедин ютс и совместно свод тс таким образом, как предусмотрено в
формуле изобретени . За витель, таким образом, рассматривает любые средства, которые
могут обеспечивать эти функциональные возможности, как эквиваленты тем, которые
показаны здесь.
В вариантах осуществлени насто щего изобретени не вный весовой коэффициент
примен етс дл предсказани опорного изображени в кодере и декодере видеосжати ,
которые используют множество опорных изображений. Когда блок закодирован с
двунаправленным предсказанием и используетс новый не вный режим, описанный здесь,
рассто ни между текущим изображением и опорными изображени ми используютс дл определени относительных весовых коэффициентов на основе формулы
интерпол ции/экстрапол ции.
Как показано на фиг.1, видеодекодер обозначаетс в общем ссылочной позицией 100.
Видеодекодер 100 включает в себ декодер 110 переменной длины пол (VLD),
соединенный с возможностью обмена сигналами с инверсным квантователем 120.
Инверсный квантователь 120 соединен с возможностью обмена сигналами с инверсным
преобразователем 130. Инверсный преобразователь 130 соединен с возможностью обмена
сигналами с первым входным контактом сумматора или суммирующего соединени 140,
при этом выход суммирующего соединени 140 формирует выход видеодекодера 100.
Выход суммирующего соединени 140 соединен с возможностью обмена сигналами с
хранилищем 150 опорных изображений. Хранилище 150 опорных изображений соединено с
возможностью обмена сигналами с компенсатором 160 движени , который соединен с
возможностью обмена сигналами со вторым входным контактом суммирующего
соединени 140.
На фиг.2 видеодекодер с не вным взвешиванием опорных изображений обозначен в
общем ссылочной позицией 200. Видеодекодер 200 включает в себ VLD 210, соединенный
с возможностью обмена сигналами с инверсным квантователем 220. Инверсный
квантователь 220 соединен с возможностью обмена сигналами с инверсным
преобразователем 230. Инверсный преобразователь 230 соединен с возможностью обмена
сигналами св зью с первым входным контактом суммирующего соединени 240, при этом
выход суммирующего соединени 240 формирует выход видеодекодера 200. Выход
суммирующего соединени 240 соединен с возможностью обмена сигналами с хранилищем
250 опорных изображений. Хранилище 250 опорных изображений соединено с
возможностью обмена сигналами с компенсатором 260 движени , который соединен с
возможностью обмена сигналами с первым входом перемножител 270.
VLD 210, кроме того, соединен с возможностью обмена сигналами с поисковой таблицей
280 весовых коэффициентов опорных изображений дл предоставлени индекса не вного
коэффициента двунаправленного предсказани поисковой таблице 280. Выход поисковой
таблицы 280 предназначен дл обеспечени весового коэффициента и соединен с
возможностью обмена сигналами со вторым входом перемножител 270. Выход
перемножител 270 соединен с возможностью обмена сигналами со вторым входным
контактом суммирующего соединени 240.
На фиг.3 примерный процесс декодировани данных видеосигнала дл блока
изображени с не вным взвешиванием опорных изображений обозначен в общем
Страница: 7
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
ссылочной позицией 300. Процесс включает в себ этап 310 начала, с которого
управление передаетс этапу 312 ввода. На этапе 312 ввода принимают сжатые данные
блока изображени и передают управление этапу 313 ввода. На этапе 313 ввода
принимают индекс первого опорного изображени , соответствующий первому конкретному
опорному изображению, и передают управление этапу 314 ввода. На этапе 314 ввода
принимают индекс второго опорного изображени , соответствующий второму конкретному
опорному изображению. На этапе 314 ввода передают управление функциональному этапу
315, на котором определ ют положение блока изображени относительно первого и
второго опорных изображений. На функциональном этапе 315 передают управление
функциональному этапу 316, на котором вычисл ют не вный весовой коэффициент дл каждого из прин тых индексов опорных изображений на основе положени текущего блока
изображени относительно первого и второго опорных изображений, и передают
управление функциональному этапу 317.
На функциональном этапе 317 начинают программный цикл, подлежащий исполнению
дл каждого из двух индексов опорных изображений текущего блока изображени , и
передают управление функциональному этапу 318. На функциональном этапе 318
извлекают опорное изображение, соответствующее текущему в цикле индексу опорного
изображени , и передают управление функциональному этапу 320. На функциональном
этапе 320, в свою очередь, выполн ют компенсацию движени в отношении извлеченного
опорного изображени и передают управление на функциональный этап 322. На
функциональном этапе 322 умножают опорное изображение, в отношении которого
выполнена компенсаци движени , на соответствующий весовой коэффициент и передают
управление на функциональный этап 323. На функциональном этапе 323 выполн ют
итерацию дл повторени цикла с функционального этапа 317 и передают управление
функциональному этапу 324, после двойного завершени цикла. На функциональном этапе
324, в свою очередь, формируют объединенное взвешенное опорное изображение, в
отношении которого выполнена компенсаци движени , и передают управление на этап
326 окончани . Таким образом, относительное положение, определенное на
функциональном этапе 315, используетс дл определени весовых коэффициентов.
Как показано на фиг.4, стандартный видеокодер обозначен в общем ссылочной
позицией 400. Вход кодера 400 соединен с возможностью обмена сигналами с
неинвертирующим входом суммирующего соединени 410. Выход суммирующего
соединени 410 соединен с возможностью обмена сигналами с блочным преобразователем
420. Преобразователь 420 соединен с возможностью обмена сигналами с квантователем
430. Выход квантовател 430 соединен с возможностью обмена сигналами с кодером
переменной пол (VLC) 440, при этом выход VLC 440 вл етс доступным извне выходом
кодера 400.
Выход квантовател 430 также соединен с возможностью обмена сигналами с
инверсным квантователем 450. Инверсный квантователь соединен с возможностью обмена
сигналами с инверсным блочным преобразователем 460, который, в свою очередь,
соединен с возможностью обмена сигналами с хранилищем 470 опорных изображений.
Первый выход хранилища 470 опорных изображений соединен с возможностью обмена
сигналами с первым входом модул 480 оценки движени . Вход декодера 400 также
соединен с возможностью обмена сигналами со вторым входом модул 480 оценки
движени . Выход модул 480 оценки движени соединен с возможностью обмена
сигналами с первым входом компенсатора 490 движени . Второй выход хранилища 470
опорных изображений соединен с возможностью обмена сигналами со вторым входом
компенсатора 490 движени . Выход компенсатора 490 движени соединен с возможностью
обмена сигналами с инвертирующим входом суммирующего соединени 410.
На фиг.5 видеокодер с не вным взвешиванием опорных изображений обозначен в
общем позицией 500. Вход кодера 500 соединен с возможностью обмена сигналами с
неинвертирующим входом суммирующего соединени 510. Выход суммирующего
соединени 510 соединен с возможностью обмена сигналами с блочным преобразователем
Страница: 8
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
520. Преобразователь 520 соединен с возможностью обмена сигналами с квантователем
530. Выход квантовател 530 соединен с возможностью обмена сигналами с VLC 540, при
этом выход VLC 440 вл етс доступным извне выходом кодера 500.
Выход квантовател 530 также соединен с возможностью обмена сигналами с
инверсным квантователем 550. Инверсный квантователь 550 соединен с возможностью
обмена сигналами с инверсным блочным преобразователем 560, который, в свою очередь,
соединен с возможностью обмена сигналами с хранилищем 570 опорных изображений.
Первый выход хранилища 570 опорных изображений соединен с возможностью обмена
сигналами с первым входом модул 572 назначени весового коэффициента опорного
изображени . Вход кодера 500 также соединен с возможностью обмена сигналами со
вторым входом модул 572 назначени весового коэффициента опорного изображени .
Выход модул 572 назначени весового коэффициента опорного изображени , который
служит дл указани весового коэффициента, соединен с возможностью обмена сигналами
с первым входом модул 580 оценки движени . Второй выход хранилища 570 опорных
изображений соединен с возможностью обмена сигналами со вторым входом модул 580
оценки движени .
Вход кодера 500 также соединен с возможностью обмена сигналами с третьим входом
модул 580 оценки движени . Выход модул 580 оценки движени , который служит дл указани векторов движени , соединен с возможностью обмена сигналами с первым
входом компенсатора 590 движени . Третий выход запоминающего устройства 570
соединен с возможностью обмена сигналами со вторым входом компенсатора 590
движени . Выход компенсатора 590 движени , который служит дл указани опорного
изображени , в отношении которого выполнена компенсаци движени , соединен с
возможностью обмена сигналами с первым входом перемножител 592. Выход модул 572
назначени весового коэффициента опорного сигнала, который служит дл указани весового коэффициента, соединен с возможностью обмена сигналами со вторым входом
перемножител 592. Выход перемножител 592 соединен с возможностью обмена
сигналами с инвертирующим входом суммирующего соединени 510.
На фиг.6 примерный процесс дл кодировани данных видеосигнала дл блока
изображени с не вным взвешиванием опорных изображений в общем обозначен позицией
600. Процесс включает в себ этап 610 начала, с которого управление передаетс этапу
612 ввода. На этапе 612 ввода принимают данные по существу несжатого блока
изображени и передают управление функциональному этапу 614. На функциональном
этапе 614 выбирают первое и второе опорные изображени дл прин того блока
изображени из любого или обоих направлений относительно положени блока
изображени и передают управление функциональному этапу 616. На функциональном
этапе 616 определ ют положение блока изображени относительно первого и второго
опорных изображений и передают управление функциональному этапу 618. На
функциональном этапе 618 вычисл ют не вные весовые коэффициенты дл каждого
конкретного опорного изображени блока изображени на основе относительного
положени . С функционального этапа 618 управление передаетс функциональному этапу
620. На функциональном этапе 620 начинают программный цикл дл каждого из двух
индексов опорного изображени текущего блока изображени и передают управление
функциональному этапу 622. На функциональном этапе 622 вычисл ют вектор движени дл блока изображени и конкретного опорного изображени и передают управление
функциональному этапу 624. На функциональном этапе 624 выполн ют компенсацию
движени в отношении конкретного опорного изображени в соответствии с вектором
движени и передают управление функциональному этапу 626. На функциональном этапе
626, в свою очередь, умножают опорное изображение, в отношении которого выполнена
компенсаци движени на не вный весовой коэффициент дл формировани взвешенного
опорного изображени , в отношении которого выполнена компенсаци движени , и
передают управление функциональному этапу 628. На функциональном этапе 628
выполн ют итерацию дл повторени цикла функционального этапа 620 и передают
Страница: 9
RU 2 335 860 C2
5
10
15
20
25
30
управление функциональному этапу 630 после двойного завершени цикла.
На функциональном этапе 630 формируют объединенное взвешенное опорное
изображение, в отношении которого выполнена компенсаци движени , и передают
управление функциональному этапу 632. На функциональном этапе 632 вычитают
объединенное взвешенное опорное изображение, в отношении которого выполнена
компенсаци движени , из по существу несжатого блока изображени и передают
управление функциональному этапу 634. На функциональном этапе 634, в свою очередь,
кодируют сигнал с помощью разности между по существу несжатым блоком изображени и
объединенным взвешенным опорным изображением, в отношении которого выполнена
компенсаци движени , вместе с соответствующим индексом конкретного опорного
изображени и передают управление этапу 636 завершени . Таким образом, два
параметра предсказани , соответствующие положению перед, после или по обе стороны
относительно текущего изображени , будут сформированы в случае двунаправленного
предсказани .
В работе не вный весовой коэффициент примен етс к предсказанию опорного
изображени кодера и декодера видеосжати , которые используют множество опорных
изображений. Когда блок кодируетс с двунаправленным предсказанием и используетс новый не вный режим, рассто ни текущего изображени от опорного изображени используютс дл определени соответствующих весовых коэффициентов на основе
формулы интерпол ции/экстрапол ции.
Дл предпочтительных вариантов осуществлени насто щего изобретени устанавливаетс новое определение не вного двунаправленного предсказани .
Используетс формула интерпол ции или экстрапол ции, основывающа с на рассто нии
между кодированным изображением и его опорными изображени ми. Одна и та же
формула используетс дл интерпол ции или экстрапол ции. Формула становитс формулой интерпол ции, если одно из двух опорных изображений в пор дке отображени находитс перед текущим кодированным изображением, а другое - после текущего
кодированного изображени , и она становитс формулой экстрапол ции, если опорные
изображени в пор дке отображени наход тс или оба перед, или оба после текущего
кодированного изображени .
Текущее изображение подлежит отображению во врем Т, опорное
изображение P0 подлежит отображению во врем Т0, и опорное изображение Р1 подлежит
отображению во врем Т1. В этом не вном режиме дл макроблоков, кодированных с
двунаправленным предсказанием, предсказание определ етс как
35
40
45
50
Значени Т, Т1 и Т0 относительных времен отображени присутствуют в заголовках
изображений соответствующих изображений. В не вном режиме определение весового
коэффициента WP может быть основано на счете пор дка изображений (СПИ, POC), а не
на времени отображени . СПИ присутствует в заголовке сло или выводитс из заголовка
сло . Таким образом, будет пон тно специалисту в данной области техники, что СПИ
может быть использован вместо времени отображени . Варианты осуществлени , в
которых сохран ют эту информацию о положении относительно опорных изображений при
их декодировании, могут быть также реализованы. Времена Т1 и Т0 отображени сохран ют
при декодировании изображений Р1 и Р0.
Когда изображени декодируютс , их СПИ или времена отображени , или информаци о
положении сохран ютс . Когда весовые коэффициенты подлежат вычислению,
осуществл етс доступ к этим сохраненным данным о положении с помощью индексов
опорных изображений дл указани того, какие сохраненные данные о положении
использовать. Эта информаци сохран етс дл масштабировани векторов движени в
пр мом режиме. Вычислени (T1-T)/(T1-T0) и (T-T0)/(T1-T0) также используютс дл пр мого
режима, и результат вычислени может быть сохранен и повторно использован дл исключени необходимости в повторных вычислени х. Эти вычислени делени могут быть
выполнены дл каждого кодированного изображени , однократно дл каждого значени Т,
Страница: 10
RU 2 335 860 C2
Т0 и Т1, и этот результат может быть масштабирован посто нным коэффициентом Х дл разрешени более эффективных операций сдвига, а не операций делени дл вычислени значений Pred дл каждого пиксел . Например, если Х равен 256, Z0 и Z1 могут быть
вычислены один раз дл каждого изображени следующим образом:
5
Затем Pred вычисл етс один раз дл каждого пиксел как:
10
15
20
25
30
35
40
45
50
Ограничение значени Pred до желаемого диапазона, обычно от 0 до 255, может быть
сделано после этого вычислени . Значени Z0 и Z1 могут также быть ограничены. Дл коэффициентов цветности, которые центрируютс около 128, может использоватьс следующа примерна формула:
В пр мом режиме опорные индексы опорного изображени 0 и опорного изображени 1
не передаютс вно, но вывод тс . В этом случае весовой коэффициент вычисл етс на
основе выведенных значений Т1 и Т0. Индексы опорных изображений в битовом потоке,
когда они доступны, могут использоватьс дл нахождени Т0 и Т1.
С макроблоками, кодированными с двунаправленным предсказанием, при линейном
наплыве предложенное взвешивание будет идеальным. В этом случае может быть
достигнуто снижение скорости передачи в битах, поскольку не нужно никаких битов дл передачи весовых коэффициентов, св занных с каждым опорным изображением.
Дл случа , когда Р1 соответствует двум опорным изображени м, предшествующим
текущему изображению, а Р0 соответствует одному опорному изображению,
предшествующему текущему изображению, формула сводитс к:
Эти и другие признаки и преимущества насто щего изобретени могут быть без труда
установлены одним из специалистов в данной области техники на основе принципов,
раскрытых здесь. Пон тно, что принципы насто щего изобретени могут быть реализованы
в различных формах аппаратного обеспечени , программного обеспечени ,
микропрограммного обеспечени , специализированных процессоров или их комбинаций.
Наиболее предпочтительна реализаци насто щего изобретени в качестве комбинации
аппаратного обеспечени и программного обеспечени . Кроме того, предпочтительной
реализацией программного обеспечени вл етс прикладна программа, материально
воплощенна в устройстве хранени программ. Прикладна программа может быть
загружена и исполнена машиной, содержащей любую подход щую архитектуру.
Предпочтительно, машина реализована на компьютерной платформе, имеющей
аппаратное обеспечение, такое как один или более центральных процессоров (ЦП, CPU),
оперативное запоминающее устройство (ОЗУ) и интерфейсы ввода/вывода (I/O).
Компьютерна платформа может также включать в себ операционную систему и код
микрокоманд. Различные процессы и функции, описанные здесь, могут быть или частью
кода микрокоманд, или частью прикладной программы, или какой-либо их комбинации,
которые могут быть исполнены ЦП. В дополнение к этому к компьютерной платформе могут
быть подсоединены различные другие периферийные устройства, такие как
дополнительное устройство хранени данных и устройство печати.
Пон тно также, что, поскольку некоторые из составл ющих системных компонентов и
способов, описанных в сопровождающих чертежах, предпочтительно реализуютс в
программном обеспечении, действительные соединени между системными компонентами
или функциональными блоками процесса могут отличатьс в зависимости от способа,
которым насто щее изобретение программируетс . Име принципы насто щего
изобретени , описанные здесь, специалист в данной области техники сможет
предположить эти и подобные реализации или конфигурации насто щего изобретени .
Хот иллюстративные варианты осуществлени описаны здесь со ссылками на
Страница: 11
RU 2 335 860 C2
5
10
15
20
25
30
35
40
45
50
сопровождающие чертежи, пон тно, что насто щее изобретение не ограничиваетс именно
этими вариантами осуществлени и что различные изменени и модификации могут быть
внесены в них специалистом в данной области техники без отхода от объема или сущности
насто щего изобретени . Подразумеваетс , что все такие изменени и модификации
включены в объем насто щего изобретени , определ емый прилагаемой формулой
изобретени .
Формула изобретени 1. Видеодекодер дл декодировани данных видеосигнала дл блока изображени с
индексами первого и второго опорных изображений дл предсказани этого блока
изображени , при этом видеодекодер содержит модуль весовых коэффициентов опорных
изображений, реагирующий на положение блока изображени относительно первого и
второго опорных изображений дл определени не вных весовых коэффициентов,
соответствующих каждому из индексов первого и второго опорных изображений,
соответственно.
2. Видеодекодер по п.1, в котором модуль весовых коэффициентов опорных
изображений выполнен с возможностью интерпол ции между част ми двух опорных
изображений, одно из которых расположено перед блоком изображени , а другое после
блока изображени в пор дке отображени ; и экстрапол ции из частей двух опорных
изображений, оба из которых расположены перед блоком изображени или оба из кото?
Документ
Категория
Без категории
Просмотров
0
Размер файла
475 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа