close

Вход

Забыли?

вход по аккаунту

?

Идентификация с детальной оценкой состояния объектов и их массового количества системами компьютерного зрения

код для вставкиСкачать
3
Общая характеристика работы
Актуальность темы. Разработка систем поддержки принятия решений
(СППР) в ходе управления технологическим процессом, при контроле качества
продукции и др., требует обеспечения дополнительной к распознаванию системами
компьютерного зрения (СКЗ) типов и видов объектов такой функциональности
СКЗ, как качественная и количественная оценка состояния каждого единичного
объекта, чувствительная к деталям их видимой поверхности, при высокой
вариабельности их свойств, и накопление этих оценок в целом по выборке с
большим числом этих объектов. В таких ситуациях, как фотосепарация и
инспекция на конвейерах, снабжённых CCD- (ПЗС-) камерами, необходимо
техническое
решение,
позволяющее
проводить
анализ
видеоизображения
множественного количества объектов (как генеральной совокупности), когда в
каждом кадре присутствует большое количество единичных объектов (элементов
генеральной
совокупности)
на
относительно
однородном
рабочем
фоне.
Повышение эффективности функционирования СКЗ, пополнение арсенала методов
и
средств
предварительной
обработки
изображения
и
построения
классификаторов, сочетающих требуемые показатели по быстродействию и
достоверности идентификации, исследуется многочисленными коллективами,
включая корпорации Buhler, Cognex и др. Перспективные СКЗ для объектов
природного происхождения в задачах пищевой и зерноперерабатывающей
промышленности рассмотрены в работах А.Ю.Шаззо с сотр., Русанова И.А. с сотр.,
Da-Wen Sun, Van Dalen G. и др. В данной работе предлагается математическое
обеспечение СКЗ, обладающей требуемой функциональностью идентификации с
детальной оценкой состояния видимой поверхности объектов и их массового
количества.
Объектом исследования диссертационной работы являются системы
компьютерного зрения распознавания и оценки состояния участков поверхности
массового количества единичных материальных объектов (как генеральной
совокупности) с высокой вариабельностью внутри их типов и видов и близости
самих видов.
4
Предметом исследования является функциональность СКЗ в качественной и
количественной оценке состояния каждого единичного материального объекта
(элемента генеральной совокупности), чувствительной к деталям их видимой
поверхности, и сбор такой информации в целом по генеральной совокупности.
Цель исследования: разработка алгоритмов и математического обеспечения
СКЗ распознавания и оценки состояния генеральной совокупности.
Практическая значимость: результаты работы использованы при разработке
ПО лабораторного стенда СППР для блока контроля качества входного потока
продукции в ходе управления технологическими процессами в пищевой
промышленности.
Реализация
и
внедрение
результатов
работы:
диссертационные
исследования выполнены в рамках госбюджетной темы НИР №8.5.06-10
«Исследования математических моделей для естественнонаучных приложений» на
кафедре общей математики КубГТУ. Результаты работы внедрены на ООО
«Програмтех».
Задачи исследования:
1.
Разработка
общей структуры
СКЗ
требуемой
функциональности,
декомпозиция на подсистемы обработки мгновенных 2D-изображений и набора
разноракурсных снимков (в случае не одной, а нескольких видеокамер), режимов
обучения системы и рабочего, сегментации изображений и идентификации
сегментов, их качественной и количественной оценки.
2. Разработка и программная реализация алгоритмов режима обучения СКЗ,
заполнения
обучающей
БД
состояний
участков
поверхности
элементов
генеральной совокупности с эталонными эмпирическими распределениями
вероятностей.
3. Разработка и программная реализация алгоритмов рабочего режима
системы, идентификации с качественной и количественной оценкой состояния
участков поверхности элементов генеральной совокупности, состояния всей
генеральной совокупности.
5
4.
Экспериментальная
оценка
эффективности,
точности
и
скорости
разработанного математического обеспечения СКЗ.
Методы исследования:
Системный анализ, теория вероятностей и математическая статистика,
кластерный анализ, распознавание образов, машинное зрение и обучение.
Положения, выносимые на защиту:
1. Структура единой СКЗ требуемой функциональности, решающей
поставленные задачи.
2. Методика бинаризации и сегментации мгновенных 2D-изображений и
набора разноракурсных снимков, чувствительная к деталям видимой поверхности
объектов.
3. Методика идентификации сегментов с качественной и количественной
оценкой состояния участков поверхности элементов генеральной совокупности.
4. Учёт информации о невидимых сторонах 3D-объекта из набора
разноракурсных снимков (без учёта кривизны поверхности) для снижения
погрешности из-за невидимых на 2D-изображении частях поверхности 3D-объекта.
5. Уменьшение времени обработки видеокадра в рабочем режиме СКЗ
снижением
вычислительной
сложности
алгоритмов,
повышением
производительности узких мест последовательных вычислений и организацией
параллельных вычислений.
Научная новизна:
1. Предложена методика синтеза структуры СКЗ, настраиваемой на
технологический процесс с распознаванием типов и видов, а также состояния
участков поверхности элементов генеральной совокупности, вариабельных по
своим оптическим свойствам внутри вида и близости самих видов, с
количественной оценкой этого состояния и сбором этой информации по всей
генеральной совокупности.
2.
Разработана
подсистема
бинаризации
«фон-объект»
изображений,
способная выделять даже сильно сегментированные объекты на однородном фоне.
Предложена адаптивная подсистема сегментации изображений на основе X-means.
6
3. Для случая СКЗ с несколькими видеокамерами предложен алгоритм
уточнения 2D-идентификации состояния 3D-объекта о кривизне поверхности и о
невидимых сторонах по набору разноракурсных снимков.
Апробация работы. Основные результаты работы докладывались на
следующих семинарах и конференциях:
1. XXXVI студенческая научная конференция КубГТУ, апрель 2009 г.,
г. Краснодар.
2. XXXVII научная конференция студентов и молодых ученых вузов южного
федерального округа (декабрь 2009 года – март 2010 года), г. Краснодар.
3. Международная заочная научно-практическая конференция «Актуальные
направления
научных
исследований
XXI
века:
теория
и
практика»,
2 ноября 2015 г., г. Воронеж
4. VII Научно-техническая конференция «Техническое зрение в системах
управления – 2016», 15-17 марта 2016 г., г. Москва.
5. Конференция «Ломоносов – 2016». Секция биоинформатика, Москва, 11-15
апреля 2016 г., г. Москва.
6. Международная научно-практическая конференция «Автоматизированные
информационные и электроэнергетические системы», 9-11 сентября 2016 г., пос.
Абрау-Дюрсо.
7. Доклад на научном семинаре кафедры общей математики КубГТУ, 21 июня
2016 г., г. Краснодар.
8. Доклад на научном семинаре кафедры математических и компьютерных
методов КубГУ, 24 июня 2016 г., г. Краснодар.
Публикации. По теме диссертационного исследования опубликовано 14
работ, в том числе пять статей в журналах, рекомендованных ВАК при
Министерстве образования и науки Российской Федерации, три свидетельства о
государственной регистрации программ для ЭВМ.
Структура и объём диссертации. Диссертация состоит из введения, четырёх
глав, заключения, двух приложений. Полный объём диссертации составляет 171
страницу с 2 таблицами и 94 рисунками.
7
Краткое содержание диссертации
Во введении обосновывается актуальность темы исследования, формируется
цель работы, демонстрируются научная новизна и практическая значимость
исследований автора, излагаются их основные результаты, формируются основные
положения, которые выносятся на защиту; отражается полнота публикации
результатов и личный вклад автора в публикации в соавторстве.
В
первой
математического
главе
проведены
обеспечения
СКЗ
аналитический
идентификации
обзор
существующего
массового
количества
объектов, системный анализ и разработана общая структура СКЗ требуемой
функциональности.
Оценены
перспективность,
достоинства
и
недостатки
известных подходов и методов построения данных систем. Существующие
системы ориентированы на распознавание типов и видов объектов, причем
большинство работает с одной камерой. Разрабатываемая система требуемой
функциональности (рис. 1,а) базируется на известной подсистеме СКЗ с одной
камерой распознавания типов и видов объектов, разработанной коллективом А.Ю.
Шаззо с сотрудниками, и включает в себя подсистемы бинаризации «фон-объект»
и выделения единичных объектов, сегментации и подсистему идентификации
сегментов, их качественной и количественной оценки.
Во второй главе рассмотрен системный подход, заключающийся в
декомпозиции разрабатываемой СКЗ на подсистемы режимов обучения системы и
рабочего, обработки мгновенных 2D-изображений и набора разноракурсных
снимков в случае не одной, а нескольких видеокамер (рис. 1). Рассмотрены
подсистемы бинаризации «фон-объект» и сегментации изображений единичных
объектов.
Подсистема бинаризации «фон-объект» использует алгоритм на основе kmeans++, с предобработкой, предлагаемая модификация которого показана на
рисунке 2.
8
Подготовка обучающей базы
типов, видов и состояний
объектов экспертом
Обучение и
распознавание
типов и видов
объектов
Работа с
изображениями,
полученными с одной
камеры
Работа с
изображениями,
полученными с 2 и
более камер
Обучение и распознавание
состояния поверхности
объектов
Обучающий режим
Рабочий режим
Выдача
управляющих
сигналов
Выдача многомерного
распределения оценки
состояния массового
количества объектов
Получение единичных
объектов (получение
исходных фото, бинаризация
и выделение единичных
объектов)
Сегментация
Идентификация с
количественной
оценкой
Рисунок 1 – Структура и подсистемы СКЗ: а – общая структура СКЗ требуемой
функциональности; б – подсистемы СКЗ
Подача изображения на вход системы
Определение H по (3),
H<c
Определение IL по (1)
Нет
Да
Бинаризация
изображения
методом K-средних
на 2 кластера
Установка
компоненты L в 0
Получение
единичных
изображений
объектов
а
Применение метода Оцу
a>IL>b
Определение максимальной
средней цветовой компоненты C
Добавление цвета по (2) к C
IL<b
Контроль качества
бинаризации
Контроль качества
бинаризации
Цикл по всем точкам
Вычислить отношение pE
числа пикселей множества
E к числу пикселей всего
изображения S
Нет
Да
Вычисление расстояний d1
и d2 до центров кластеров
1и2
Нет
б
IL > a
Отнести этот пиксель к
дополнительному
«нечеткому» кластеру F
Если pE > y
y - эмпирический
порог
Нет
Min(d1;d2)/(d1+d2) < k
k - эмпирический
коэффициент
Да
Выдача сообщения о
проблемах при
бинаризации изображения
Да Действия по настройкам
ПО: F к фону, F к объекту,
F не учитывается.
Выделение пикселей
фона изображения
Рисунок 2 – Схема работы алгоритма бинаризации: а – общая схема алгоритма
бинаризации «фон-объект»; б – блок-схема работы контроля качества бинаризации
Информативность компоненты L рассчитывается отношением
9
IL 
 L2
,
 A B
 W2 
1
N
N
W
i 1
2
i
 M W2
,
MW 
1
N
N
W ,
i 1
(1)
i
где σL, σB, σA – среднеквадратические отклонения пикселей изображения по
компонентам L, A и B соответственно; N – число точек-пикселей изображения; Wi
– значение характеристики W i-го пикселя, где W=L или A или B – координаты
пикселей по каждой оси из цветовой LAB-шкалы.
В
зависимости
от
значения
IL
необходимо
по-разному
выполнять
предобработку изображения, (рис.2). Параметры a и b подбираются эмпирически
для каждого типа изображений: в данном случае a = 100, b = 8 (рассматривался
случай с множественным количеством объектов на однородном фоне). При
необходимости происходит добавление цвета в цветовом пространстве RGB (2):
C` = {
C + , при (C + 255 − С) ≤ 255
,
255, при (C + 255 − ) > 255
(2)
где новые значения Cij`={Rij`, Gij`, Bij`} пиксельной матрицы, n – число пикселей в
∑,  ∑,  ∑, 
изображении,  =  {

;

;

}.
На изображениях, имеющих объекты с цветовыми характеристиками,
близкими к фону, предварительная обработка по L может не принести желаемого
результата. Индикатором этого может выступать информационная энтропия H,
которая рассчитывается по формуле
I
J
K
H   pijk log 2 ( pijk ) ,
i 1 j 1 k 1
(3)
где pijk – вероятность попадания в заданные диапазоны (Li,Aj,Bk), на которые
разбиты интервалы [0;255] цветовых LAB-шкал координат пикселей, (здесь
I=J=K=255 в интервалах [0;255] LAB-шкал, при глубине цвета TrueColor).
Порог для H подбирается эмпирически для каждого типа изображений: в
данном случае с = 9.8 (рис.2), т.е. для изображений, энтропия которых больше c,
использование предварительной обработки по L будет давать отрицательный
результат. Контроль качества бинаризации (рис.2,б) основан на дополнительном
10
нечётком кластере: пиксели нечёткого кластера возможно при необходимости
добавить к пикселям фона или объекта.
Подсистема рисунка 2 эффективна в ситуации относительно однородного
фона снимка и когда изображения единичных объектов окружены пикселями фона.
При этом пространственные координаты пикселей не учитываются и связность
изображений выделенных объектов не гарантируется. Получение единичных
изображений объектов (рис.2а), т.е. разбиение на односвязные области,
включающие изображения единичных объектов, происходит по известному
алгоритму ELSD. В случаях соприкасания или наложения объектов они
выделяются в одной односвязной области.
Подача на вход изображения
единичного объекта
Использование только цветовых
характеристик пикселей
Задание начального количества
кластеров t = 1
Да
t < Ω,
Ω – максимальное число
кластеров
t=t+1
t < Ω,
Ω – максимальное число
кластеров
Да
Нет
Да
t=t+1
Кластеризация на t кластеров,
вычисление по (3), приращения
минимальной нормированной
энтропии и приращения
вариабельности нормированной
энтропии
Нет
Кластеризация на t кластеров, вычисление энтропии
по (5), приращения минимальной нормированной
энтропии и приращения вариабельности
нормированной энтропии
Нет
Выполнение критерия
останова по (6)
Да
Нет
Выполнение критерия
останова по (4)
t=t+1
Получение необходимого числа кластеров Ψ = t;
кластеризация на Ψ кластеров
Рисунок 3 – Блок-схема алгоритма сегментации
Для подсистемы сегментации выделенных областей (рис.3) предложен
итерационный алгоритм на основе k-means++, решающий проблему неизвестного
числа кластеров (сегментов изображения поверхности единичного объекта).
Основными критерием, отвечающим за качество кластеризации, является энтропия
Hm (3). Для исключения зависимости Hm от числа пикселей Nm в m-м (1≤m≤t)
кластере применяется нормированная энтропия Hˆ m 
Hm
. На каждом шаге t
Log 2 ( N m )
11
(3) при 1≤m≤t находятся минимальная и максимальная нормированные энтропии,
а также её вариация
var Hˆ t  Hˆ tmax  Hˆ tmin .
каждого
приращения
шага
t:
Hˆ tmin  Hˆ tmin  Hˆ tmin
1
Hˆ t  var Hˆ t  var Hˆ t 1 .
Выполняется расчёт двух показателей
минимальной
нормированной
энтропии
и приращения вариабельности нормированной энтропии
Для автоматизации выбора и остановки на оптимальном числе
Ψ кластеров (сегментов изображения поверхности единичного объекта) при
пошаговом выполнении k-means++, использующего только цветовые координаты
LAB пикселей, предлагается условие останова
( Hˆ tmin    Hˆ t   )( Hˆ tmin    Hˆ t   ),
(4)
где  и  – малые (0,1-2 %) константы: их эмпирические значения  = 0,02,

= 0,005. При этом число кластеров равно Ψ=t+1. В случае невыполнения этого
условия останов происходит, если достигнуто максимальное число кластеров:
Ψ=Ω. После останова выполняется кластеризация по k-means++ по осям L, A, B на
Ψ кластеров.
На каждом шаге t кластеризация по k-means++ использует либо только
цветовые координаты LAB пикселей, либо все пять координат пикселей, включая
пространственные XY, т.е. номера строки и столбца пиксельной матрицы. Решение
о применении координат LAB вместо LAB+XY либо всех LAB+XY принимается
пользователем (рис.3) и связано со следующим. Применение только координат
LAB позволяет выделять и оценивать состояние различных пятен на поверхности
объектов, и алгоритм чувствителен к мелким деталям состояния поверхности, но
без учёта их связности (множество разорванных пятен произвольного очертания).
В ситуации близких цветовых характеристик и разных геометрических
характеристик у разных состояний, необходимо применение всех координат
LAB+XY.
Применение пяти координат L, A, B, X, Y пикселей требует нормирования по
каждой оси: для r-го пикселя
Qr 
q r  q min
,
q max  q min
где Qr – нормированная
характеристика qr = Lr или Ar, или Br, или Xr, или Yr; qmax и qmin – максимальное и
12
минимальное значение показателя, (для qr = Xr или Yr зависят от размера
пиксельной матрицы m-го сегмента). В этой ситуации также применяется
нормированная энтропия Ĥ m для каждого m-го, 1≤m≤t, кластера, где
Hm
вычисляется:
I
J
K  
H m   pijkxy log 2 ( pijkxy ) ,
(5)
i 1 j 1 k 1 x 1 y 1
здесь  и  – количество интервалов, на которые разбиты нормированные от 0 до
1 оси X и Y; целесообразны = от 5 до 20; pijkxy – вероятность попадания в
заданные диапазоны шкал координат (Li,Aj,Bk,Xx,Yy) пикселей данного кластера.
По (5) при 1≤m≤t так же аналогично находятся минимальная и максимальная
нормированные энтропии, а также её вариация, выполняется расчёт двух
показателей каждого шага t: Hˆ tmin и Ĥ t . Для автоматизации выбора и остановки
на оптимальном числе Ψ кластеров при пошаговом выполнении k-means++,
использующего координаты LAB+XY пикселей, предлагается условие останова (6)
на шаге t. При этом число кластеров равно Ψ=t. В случае невыполнения этого
условия останов происходит, если достигнуто максимальное число кластеров:
Ψ=Ω. После останова выполняется кластеризация по k-means++ по осям L, A, B, X,
Y на Ψ кластеров.
min
min
(( Hˆ t  0  Hˆ t   )( Hˆ tmin    Hˆ t  0 ))( Hˆ t  Hˆ t   ),
(6)
где  – малая (1-2 %) константа: её эмпирическое значение =0,015.
Проиллюстрируем работу подсистемы рисунка 3 на снимках из натурных
экспериментов с зерновой массой шелушёного риса, с фруктовым сырьём (яблоки
сорта
Red
Delicious)
и
с
фармакологической
продукцией
(таблетки
ацетилсалициловой кислоты), рисунок 4. По зерновой массе шелушённого риса
результаты сверялись с мнением эксперта инженера-технолога, возможно
выделение по LAB и оценка пятен на поверхности зерновок: меловые,
стекловидные и пр., рисунок 4,д,е. Но когда состояния поверхности объекта имеют
схожие цветовые характеристики (рис.4,а,б для яблок состояния экзокарпий
порченое и чашечка, рисунок 4,в,г – для таблеток состояния порченое и скос),
13
сегментация по LAB объединяет в один кластер сегменты с разными состояниями.
Ситуацию исправляет сегментация по LAB+XY, риснок 4,ж,з.
а
д
б
е
в
ж
г
з
Рисунок 4 – Результаты работы алгоритма: а, б – изображение яблока после
бинаризации и сегментации по LAB; 1 – экзокарпий красное; 2,3 – экзокарпий
зелёное; 4 – экзокарпий порченое и чашечка; в,г – изображение таблетки
ацетилсалициловой кислоты и его сегментация по LAB; 1 – белое, 2 – скосы и
порченое, 3 – порченое, 4, 5 – жёлтое; д,е – изображение зерна риса и его
сегментация по LAB; 1 – стекловидная часть, 2 –меловая часть, 3, 4 и 5 – испорченая
часть; ж, з - изображение яблока и его сегментация по LAB+XY; 1 – 5, 7 – 9 –
экзокарпий зелёное, 6 - экзокарпий порченое, 10 – чашечка
В третьей главе предложено математическое обеспечение подсистем режима
обучения и рабочего СКЗ требуемой функциональности с одной камерой. Блоксхемы алгоритмов представлены на рисунке 5.
Алгоритм режима обучения СКЗ (рис.5,а) включает в себя внешний цикл по
2D-изображениям объектов обучающей выборки, внутренний – по единичным
объектам. Результат работы режима обучения – БД распределений вероятностей
14
пикселей сегментов различных состояний объектов и БД анализа типов и видов
объектов, рисунок 6.
В рабочем режиме (рис.5,б,в) после получения мгновенного 2D-изображения
его бинаризации и получения изображений единичных объектов внешним циклом
являются распознавание объектов и сегментация их изображений. Результат его
работы – это построение многомерных вероятностных распределений: на
гистограммах (рис.6) плоская гистограмма показывает распределение долей
площади меловидных пятен по зерновой массе риса, а трехмерная – распределение
долей площади порченых и меловидных, присутствующих на поверхности
единичных зёрен. Оценка данной площади определяется как соотношение числа
пикселей сегмента к числу пикселей всего единичного объекта (в данном примере
зерновки из зерновой массы).
Внутренним циклом рабочего режима является распознавание состояния
каждого сегмента 2D-изображения каждого из единичных объектов – элементов
генеральной совокупности. Подсистема идентификации сегментов изображений
единичных объектов основана на критерии Пирсона χ2:



 p  pT 2
T

 ijk T ijk , pijk
0

pijk

 I J K 
T
 0, pijk  pijk  0
2
,
   i 1 j 1 k 1 
n
ijk
T

0, p  0  p 
 0  nijk  4
ijk
ijk


N



T
10G, pijk  0  pijk  0
(7)
где pijkT – «теоретическая» вероятность попадания в заданные диапазоны (Li,Aj,Bk)
характеристик пиксельной матрицы изображений обучающей выборки; pijk и nijk –
«эмпирическая» вероятность попадания и количество попаданий в заданные
диапазоны (Li,Aj,Bk) характеристик пиксельной матрицы текущего сегмента с
распознаваемым состоянием; N – число пикселей в сегменте; I,J,K – число
интервалов каждой оси гистограммы, на которые разбит отрезок от 0 до 255 осей
LAB при глубине цвета TrueColor, (возможны I=J=K от 10 до 255);
G = χ2кр − критическое значение критерия Пирсона, при превышении которого
15
минимальным из χ2 (по всем состояниям из БД состояний, рис.5,а) сегмент будет
идентифицироваться как «не распознано».
Значение χ2кр=G для (5) устанавливается в зависимости от уровня значимости
α и числа степеней свободы , задаваемых пользователем. Число степеней свободы
рассчитывается как ν = (I-1)(J-1)(K-1) – s, где s – число параметров вероятностного
распределения (в случае распределения Гаусса S = 2). В зависимости от α
рассчитывается G= G(ν, α) по (8):
2Q 1  ,0, x ,0  x  1

G   2  0, x  0
,
, x  1

(8)
где x = 1 – α; Q-1 – обратная регуляризованная гамма-функция.
При распознавании состояния каждого сегмента 2D-изображения каждого из
единичных объектов вычисляются по (7) величины χ 2 для распределения
вероятностей текущего сегмента и распределений из «эталонной» БД вероятностей
пикселей сегментов с различными состояниями поверхности. Результатом
распознавания выбирается состояние, в котором χ 2 является минимальным. В
случае, если min(χ2) > G, то считается, что распределение вероятностей текущего
сегмента отсутствует в обучающей БД, т.е. результат − «не распознано». На
точность распознавания сильно влияют задаваемые пользователем I, J, K - число
интервалов, на которые разбиты диапазоны [0;255] цветовых RGB- или LAB-шкал
пикселей. Величина  (от 1 % до 10 %) устанавливается эмпирически по балансу в
пределах приемлемой малости ошибок 1-го и 2-го рода.
После идентификации состояния сегмента производится количественная
оценка заданных показателей каждого сегмента каждого единичного объекта для
дальнейшего накопления в многомерном распределении характеристик состояния
массового количества объектов (рис.6).
16
Подготовка обучающей базы типов, видов и состояний
объектов экспертом
Цикл по единичным объектам
Да
Цикл по 2D-изображениям
объектов обучающей выборки
Получение 2D
изображения из
обучающей выборки
Нет
БД для
распознавания
объектов
Да
Идентификация объекта
БД для оценки
состояния
поверхности
объектов
Бинаризация «фонобъект»
Получение изображений единичных объектов
Снятие вейвлетспектра
изображения и
информации для
распознавания
Нет
Цикл по
сегментам
Нет
Заполнение БД для
распознавания
объектов
Суммирование
распределения
вероятностей
пикселей по
цветовой шкале
Обучение по
представителям
Да
Снятие пиксельного
распределения
вероятностей по
цветовой шкале
Нет
Сегментация
Да
Идентификация сегмента
Снятие пиксельного распределения
вероятностей по цветовой шкале
а
Получение мгновенного снимка
Бинаризация «фон-объект»
Цикл по единичным
объектам
Да
Цикл по сегментам
Получение изображений
единичных объектов
Да
Суммирование
многомерного
Нет распределения
количественной
оценки состояния
массы объектов
Определение типа объекта
Нет
Идентификация сегмента
Получение
количественной
составляющей сегмента
Выработка
управляющих
сигналов
Определение вида объекта
Сегментация
б
Пиксельная матрица
сегмента
Нет
Цикл по распределениям
вероятностей сегментов из базы
Да
Идентификация
сегмента
Получение значения χ2
по (7)
Сохранение
полученного значения
в памяти
в
Определение
минимального
значения
Да
Min(χ2) < G,
где G по (8)
Нет
Идентификация
сегмента
«Неопределено»
Рисунок 5 – Блок-схема алгоритма для СКЗ с одной камерой: а – режим
обучения СКЗ; б - рабочий режим СКЗ; в – идентификация сегментов изображения
поверхности единичного объекта
17
а
б
в
г
Рисунок 6 – Примеры 2D и 3D-сечений многомерного распределения
вероятностей количественной оценки состояния участков поверхностей выборки
из генеральной совокупности массы объектов зерна, фруктового сырья и
фармакологической продукции: а – 3D-сечение с оценкой содержания объектов с
данным процентом площади меловое и порченое для зерновой массы шелушённого
риса; б – 3D-сечение с оценкой содержания объектов с данным процентом площади
экзокарпий зелёное и экзокарпий красное для яблок сорта Red Delicious; в – 3Dсечение с оценкой содержания объектов с данным процентом площади «белое» и
порченое для таблеток ацетилсалициловой кислоты; г – 2D-сечение с оценкой
содержания объектов с данным процентом площади «белое» для таблеток
В четвёртой главе рассмотрено математическое обеспечение подсистемы,
работающей с изображениями, полученными с двух и более камер; предложены
алгоритмы обучающего и рабочего режимов СКЗ с несколькими камерами;
проведён
вычислительный
эксперимент
с
программной
реализацией
предложенных алгоритмов СКЗ, оценена точность рабочего режима СКЗ, показаны
возможности снижения времени обработки видеокадра в рабочем режиме СКЗ
оптимизацией последовательных вычислений и организацией параллельных
вычислений.
18
Для СКЗ с несколькими камерами предлагается алгоритм (блок-схема
которого показана на рис.7) снижения погрешности из-за невидимых на 2Dизображении частей поверхности 3D-объекта по набору k разноракурсных
снимков.
Получение
мгновенных
снимков
разных k
ракурсов
Бинаризация
«фонобъект»
каждого 2Dизображения
Получение
изображений
единичных
объектов
Сопоставление
N единичных
объектов на k
снимках
Составление
карты
диспарантно
сти
Объединение
пикселей из k
изображений
Рисунок 7 – Блок-схема алгоритма получения данных о разных сторонах 3Dобъекта с разноракурсных снимков
а
б
Рисунок 8 – Время счета и возможности ускорения системы: а − время работы
СКЗ при 14 объектах на изображении; б − теоретический процент снижения
времени счёта (отношение времени, на которое можно ускорить работу, к
реальному времени счёта, %)
Проведен
вычислительный
эксперимент
с
программной
реализацией
предлагаемых алгоритмов СКЗ для оценки её эффективности по точности и
быстродействию.
Теоретический
предел
возможностей
распараллеливания
вычислительного процесса можно оценить по закону Амдала-Уэра. Время работы
всей системы и возможности её ускорения представлены на рис.8. Поверхность
теоретического предела снижения времени счета, представленная на рис.8б,
рассчитывается по формуле  =
 −

∙ 100 %, где at – теоретический процент
снижения времени счёта, TR –реальное время работы, TA – теоретическое время
работы в соответствии с законом Амдала. Из рис.8,б видно, что имеется
значительный резерв для ускорения, который растёт с числом потоков. Также
19
видно, что график времени при переменном числе потоков не является монотонно
убывающим. Время работы системы в среднем примерно пропорционально числу
объектов, в то время как число объектов слабо влияет на возможный процент
снижения времени работы СКЗ.
Основные результаты работы и выводы
1. Разработана структура СКЗ требуемой функциональности качественной и
количественной оценки состояния каждого единичного объекта, чувствительной к
деталям их видимой поверхности, и сбора такой информации в целом по массовому
количеству объектов с высокой вариабельностью внутри классов и близости самих
классов. Включены подсистемы обработки мгновенных 2D-изображений и набора
разноракурсных снимков (в случае не одной, а нескольких видеокамер), режимов
обучения системы и рабочего, сегментации изображений и идентификации
сегментов, их качественной и количественной оценки.
2. Разработаны алгоритмы режимов системы обучения и рабочего, включая
способы бинаризации и сегментации мгновенных 2D-изображений и набора
разноракурсных снимков, чувствительные к деталям видимой поверхности
объектов, а также способ идентификации сегментов с количественной оценкой их
заданных характеристик. Предложенная подсистема сегментации изображения
поверхности единичного объекта основана на адаптивной кластеризации kmeans++
с
итерационным
определением
требуемого
числа
кластеров.
Автоматизация выбора и остановки на оптимальном числе кластеров (сегментов)
использует проверку на каждом шаге определённого условия на энтропию и
среднеквадратические отклонения либо на нормированную энтропию в цветовой
LAB-шкале. На каждом шаге кластеризация использует либо только цветовые
координаты LAB пикселей, либо все пять координат пикселей, включая
пространственные XY, т.е. номера строки и столбца пиксельной матрицы.
Применение только координат LAB позволяет выделять и оценивать состояние
различных пятен на поверхности объектов, и алгоритм чувствителен к мелким
деталям состояния поверхности, но без учёта их связности (множество
разорванных пятен произвольного очертания). В ситуации близких цветовых
20
характеристик у разных состояний необходимо применение всех координат
LAB+XY.
3. Рассмотрены возможности уточнения по разноракурсным изображениям ‒
в случае нескольких видеокамер, по сравнению с одиночным мгновенным плоским
снимком от одной камеры ‒ решения задачи идентификации СКЗ с детальной
оценкой состояния поверхности объектов и их массового количества, с высокой
вариабельностью внутри классов и близости самих классов. Для ликвидации
погрешности потери информации о невидимых на 2D-изображении частях
поверхности 3D-объекта предложен алгоритм для СКЗ, обеспечивающий
дополнительную к распознаванию типов и видов объектов функциональность
идентификации и количественной оценки их состояния по набору k=2; 3; …
разноракурсных снимков, чувствительную к деталям поверхности. Предложенный
алгоритм учёта информации о недостающих участках поверхности объектов
является более эффективным, быстрым и стабильным по сравнению с алгоритмом,
основанным на восстановлении 3D-изображения.
4. Проведён вычислительный эксперимент с программной реализацией,
предложенной СКЗ, на лабораторном стенде СППР в ходе управления
технологическим процессом, включающим анализ изображений с инспекционного
роликового конвейера с фруктовым сырьём. Точность по выборке рассчитывалась
как количество объектов с верно распознанными состояниями участков
поверхности, делённое на общее количество объектов. Правильность работы СКЗ
проверялась «ручным» сравнением с мнением эксперта по состоянию каждого
объекта из выборки. Для зерновой массы риса брались четыре снимка,
имитирующих видеокадры, по 40 зерновок (в выборке из 160 зерновок для 150 все
состояния распознаны верно); для яблок сорта Red Delicious − 15 снимков по 10
яблок (в выборке из 150 яблок для 142 все состояния распознаны верно); для
таблеток аспирина − один снимок со 169 таблетками (в выборке из 169 таблеток
для 157 все состояния распознаны верно). В частности, на изображениях с
яблоками сорта Red Delicious при использовании координат LAB+XY согласие с
мнением эксперта и по числу сегментов, и по их состояниям наблюдалось в 70 %
21
выборки; в 25 % случаев сегментация и распознавание их состояний были
корректными, но на излишнее число сегментов (более чем в два раза выше по
сравнению с экспертной визуальной оценкой); в 5 % случаев сегментация была
некорректной: один сегмент включал участок поверхности в двух разных
состояниях.
Выборочная
точность
составила
94%
для
зерновок,
95 % для яблок и 93 % для таблеток. Границы доверительного интервала для
пропорции (генеральной доли) при заданном уровне значимости вычислялись по
откорректированному
методу
Вальда.
Сравнение
с
экспертной
оценкой
результатов работы СКЗ показало (при доверительной вероятности 99 %) точность
925,4 % для зерновой массы риса, 935,2 % для фруктового сырья и 915,5 % для
таблеток аспирина.
5. Оценена эффективность СКЗ по требованиям к быстродействию
(производительность с возможностью работы СКЗ в реальном масштабе времени).
Показаны возможности снижения времени обработки видеокадра в рабочем
режиме СКЗ оптимизацией последовательных вычислений и организацией
параллельных вычислений: исследовано влияние размера изображения, количества
единичных объектов на изображении и числа процессоров. Для более
быстродействующих
технологических
процессов
может
возникнуть
необходимость разработки другой вычислительной архитектуры − системы
специализированных вычислительных плат (например, Siemens 6ES7195-3BA100YA0): увеличение производительности СКЗ достигается переносом вычислений с
CPU на специализированные платы. Ориентировочно, работы СКЗ с одним
центральным компьютером достаточно, например, для инспекционного конвейера.
При этом необходимо учитывать сильную зависимость скорости от числа
интервалов в шкалах цветовых осей LAB в БД состояний: изменение этого числа в
разы приводит к увеличению времени счёта подсистемы на порядок, резко
поднимая её долю в общем времени работы СКЗ.
Список публикаций
Публикации в журналах, входящих в список рецензируемых изданий ВАК при
Минобрнауки России
22
1. Остапов, Д.С. Бинаризация «фон-объект» предобработкой изображения и
нечётким алгоритмом k-means / Д.С. Остапов // Вестник Астраханского
государственного технического университета. Управление, вычислительная
техника и информатика. - 2016, - №3. - с.32-39.
2. Остапов, Д.С. Подходы к идентификации состояния 3D-поверхности по
2D-изображениям единичных объектов и их массового количества / Д.С. Остапов
//
Вестник
Астраханского
государственного
технического
университета.
Управление, вычислительная техника и информатика. – 2016. - № 4. - с.55-64.
3. Остапов, Д.С. Повышение эффективности программной реализации
алгоритмов распознавания изображений с детальной оценкой состояния массового
количества объектов / Д.С. Остапов, С.В. Усатиков // Политематический сетевой
электронный
научный
журнал
Кубанского
государственного
аграрного
университета (Научный журнал КубГАУ) [Электронный ресурс]. – 2016. –
№10(124). – Режим доступа: http://ej.kubagro.ru/2016/10/pdf/37.pdf – IDA [article ID]:
1241610037. http://dx.doi.org/10.21515/1990-4665-124-037.
(Личный вклад автора состоит в уменьшении времени обработки
видеокадра в рабочем режиме СКЗ, снижением вычислительной сложности
алгоритмов, повышением производительности узких мест последовательных
вычислений и организации параллельных вычислений; в разработке структуры
системы посредством системного анализа).
4. Остапов, Д.С. Идентификация участков поверхности отдельных объектов
на 2D-изображении в задачах оценки состояния их массового количества /
Д.С. Остапов, С.В. Усатиков // Научно-технический вестник информационных
технологий, механики и оптики. – 2017. – № 4. – Т. 17. С. 685-693.
(Личный
вклад
автора
заключается
в
предложенной
методике
идентификации сегментов с качественной и количественной оценкой состояния
поверхности объектов).
5. Остапов, Д.С. Сегментация изображений в задачах детальной оценки
состояния массового количества объектов / Д.С. Остапов, С.В. Усатиков // Известия
СПбГЭТУ «ЛЭТИ» – 2017. – № 9. – С.45-51.
23
(Личный вклад автора состоит в разработке методики сегментации мгновенных
2D-изображений, чувствительной к деталям видимой поверхности объектов).
Свидетельства о государственной регистрации программ для ЭВМ:
6. Остапов, Д.С. Программа для нейросетевого распознавания плоских
изображений
объектов
природного
происхождения
с
качественной
и
количественной оценкой состояния поверхности единичных объектов и их
массового количества / Д.С. Остапов // Свидетельство о государственной
регистрации программы для ЭВМ № 2016618411, заявка № 2016615488, пост.
30.05.2016 г., гос. регистр. от 28.07.2016.
7. Остапов, Д.С. Программа для построения базы данных с обучающей
выборкой для распознавания плоских изображений объектов природного
происхождения с качественной и количественной оценкой состояния поверхности
единичных объектов и их массового количества / Д.С. Остапов, С.В. Усатиков //
Свидетельство
о
государственной
регистрации
программы
для
ЭВМ
№ 2016618408, заявка № 2016615486, пост. 30.05.2016 г., гос. регистр. от
28.07.2016.
(Личный вклад автора - в программной реализации алгоритмов подсистем
режима обучения СКЗ).
8. Остапов, Д.С. Программа для сегментации и распознавания плоских
изображений объектов, с качественной и количественной оценкой состояния
поверхности единичных объектов и их массового количества / Д.С. Остапов,
С.В. Усатиков // Свидетельство о государственной регистрации программы для
ЭВМ № 2016618409, заявка № 2016615487, пост. 30.05.2016 г., гос. регистр. от
28.07.2016.
(Личный вклад автора - в программной реализации алгоритмов подсистем
рабочего режим СКЗ).
Статьи в научных журналах и материалы конференций:
9. Луцко, Н.А. Гладкие многообразия / Н.А. Луцко, Д.С. Остапов // Тезисы
докладов XXVII научной конференции студентов и молодых ученых вузов южного
24
федерального округа (декабрь 2009 года – март 2010 года), г. Краснодар:
КубГУФКСТ, 2009, с.141-142.
(Личный вклад автора заключается в описании существующих методов
гладких многообразий в дифференциальной топологии).
10. Луцко, Н.А. Двумерные многообразия в дифференциальной топологии /
Н.А. Луцко, Д.С. Остапов // Тезисы докладов XXVII научной конференции
студентов и молодых ученых вузов южного федерального округа (декабрь 2009
года – март 2010 года), г. Краснодар: КубГУФКСТ, 2009, с.142-143.
(Личный вклад автора состоит в описании существующих методов
двумерных многообразий в дифференциальной топологии).
11. Остапов, Д.С. Влияние на корректность бинаризации «фон-объект»
предобработки сглаживанием светлоты плоского изображения / Д.С. Остапов //
Наука Кубани. – 2015. - № 1. - с.64-69.
12. Остапов, Д.С. Предобработка изображений для повышения эффективности
бинаризации методом k-средних / Д.С. Остапов // Сб. науч. тр. по матер. междунар.
заоч. научно-практич. конф. «Актуальные направления научных исследований XXI
века: теория и практика», Воронеж: ФГБОУ ВО «ВГЛТУ», 2015, № 8, ч.1, с.108112.
13. Остапов, Д.С. Адаптивный алгоритм k-means сегментации изображений
объектов природного происхождения / Д.С. Остапов // Тезисы научно-технической
конференции «Техническое зрение в системах управления» (15-17 марта 2016),
Москва: ИКИ РАН, 2016, с.70-71.
14. Остапов, Д.С. Бинаризация изображений системами компьютерного
зрения / Д.С. Остапов // Тезисы конференции «Ломоносов- 2016» [Электронный
ресурс. – М.: МГУ, 2016. – 1 электрон. опт. диск (CD-ROM).
Документ
Категория
Без категории
Просмотров
8
Размер файла
2 313 Кб
Теги
компьютерной, зрения, массового, оценкой, объектов, состояние, количество, системам, идентификация, детальное
1/--страниц
Пожаловаться на содержимое документа