close

Вход

Забыли?

вход по аккаунту

?

Свет и цвет - RightMark Audio Analyzer

код для вставкиСкачать
Лектор:
Лукин Алексей Сергеевич
Основы визуального
восприятия
План лекции
Свет и цвет
► Восприятие цвета
► Цветовые системы
Меры близости изображений
► PSNR, MSE
► Основы восприятия: фильтрация, CSF, маскировка
► Меры, учитывающие восприятие
Свет и цвет
Свет и его спектр
380–470 нм
500–560 нм
560–590 нм
590–760 нм
–
–
–
–
фиолетовый, синий
зеленый
желтый, оранжевый
красный
Аналогия с «цветами» звуковых шумов
Свет и цвет
I ( ) P
G I ( ) P
B I ( ) P
R Восприятие цвета
P
(чувствительность
колбочек глаза)
G
I
R
R
( )d
G
( )d
B
( )d
(интенсивность)
I (λ)
B
440
540
580
λ, нм
(длина волны)
λ
Какой это цвет?
Свет и цвет
Цветовые системы
► RGB и дисплеи, гамма-коррекция
► Закон Вебера: чувство = log(стимул)
► Аддитивные (RGB) и субтрактивные (CMYK) системы
RGB
CMY
Свет и цвет
Цветовые системы
► HSV (Hue/Saturation/Value)
► Система YUV и прореживание хроматических компонент
Свет и цвет
Система YUV: разделение яркости и хроматических
компонент
Y 0 . 299 R 0 . 587 G 0 . 114 B
U 0.147 R 0.289 G 0.436 B
V 0.615 R 0.515 G 0.100 B
Системы CIE Lab, Luv, CIEDE2000 и равномерность
восприятия
Метрики близости
Как измерить похожесть двух изображений?
исходное
изображение
искаженное
изображение
Метрики близости
Среднеквадратичная ошибка (MSE)
MSE 1
N
N
(x
i
yi )
2
N – число пикселей
i 1
Пиковое отношение сигнал/шум (PSNR)
PSNR
dB
10 lg
M
2
MSE
M – максимальное
значение пикселя
Метрики близости
PSNR и MSE не учитывают особенности
человеческого восприятия!
Оригинал
Далее будут использованы рисунки из статьи
Wang, Bovik, Lu “WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?”
Метрики близости
У этих изображений одинаковые PSNR с
оригиналом (примерно 25 dB)
Повышена контрастность
Добавлен белый гауссов шум
Метрики близости
И у этих – тоже примерно 25 dB!
Добавлен импульсный шум
Размытие
Метрики близости
И у этого – тоже!
Артефакт блочности после JPEG
Метрики близости
Вывод: PSNR не всегда отражает реальный
видимый уровень искажений
Как улучшить?
►
HVS models
(human visual system)
►
►
Использовать функцию чувствительности
глаза к различным частотам (CSF)
Использовать свойство маскировки
Использовать равномерные к восприятию
цветовые пространства (CIE Lab, CIEDE2000)
Метрики качества
Contrast sensitivity function (CSF)
►
Показывает чувствительность глаза к различным
частотам
Абсцисса – пространственная частота
(колебаний / градус угла обзора)
Маскировка
Cortex Transform
Разбиение плоскости частот
ωy
cortex
k ,l
( , ) dom k ( ) fan l ( )
θ
ωx
ρ
gain = 1
gain = 0
Частотные характеристики нескольких кортекс-фильтров
Watson “The Cortex Transform: Rapid Computation of Simulated Neural Images” (Computer Vision, Graphics, and Image Processing, 1987)
Cortex Transform
Разбиение плоскости частот
ωy
cortex
k ,l
( , ) dom k ( ) fan l ( )
θ
ωx
gain = 1
gain = 0
Частотные характеристики складываются
ρ
Cortex Transform
Разбиение плоскости частот
ωy
cortex
k ,l
( , ) dom k ( ) fan l ( )
θ
ωx
gain = 1
gain = 0
Частотные характеристики складываются
ρ
Cortex Transform
Пример кортекс-фильтра
y
x
Импульсный отклик
Cortex Transform
Примеры кортекс-фильтров
ωy
y
ωx
АЧХ
x
Исходное изображение
Cortex Transform
Примеры кортекс-фильтров
ωy
y
ωx
АЧХ
x
Отфильтрованное изображение
Cortex Transform
Примеры кортекс-фильтров
ωy
y
ωx
АЧХ
x
Отфильтрованное изображение
Cortex Transform
Вычисление
B k ,l ( x , y ) 1
cortex
k ,l
( x , y ) I ( x , y ) ►Φ и Φ-1 – вещественнозначные
двумерные DFT, их можно вычислить
через FFT
►Кортекс-фильтры обладают линейной
фазой и пологими склонами АЧХ
VDP
Visual Differences Predictor*
1. Перевести оба изображения в однородное
пространство яркостей
2. Вычислить их кортекс-преобразования
3. Вычислить повышение порога восприятия в
результате маскировки
Threshold elevation
Mask contrast
b
s
k ,l
k ,l
Te ( x , y ) 1 k1 k 2 m n ( x , y ) m n ( x, y ) k ,l
1
cortex
k ,l
1 b
( x , y ) csf ( x , y ) I ( x , y ) 4. Вычислить вероятность обнаружения
артефактов
* Daly “The visible differences predictor: An algorithm for the assessment of image fidelity” (Digital Image and Human Vision, 1993)
Mantiuk, Daly, Muszkowsky, Seidel “Predicting visible differences in high dynamic range images – model and its calibration” (Human Vision and Electronic Imaging, 2005)
Документ
Категория
Презентации
Просмотров
5
Размер файла
1 114 Кб
Теги
1/--страниц
Пожаловаться на содержимое документа