close

Вход

Забыли?

вход по аккаунту

?

Методы и алгоритмы распознавания изображений для обнаружения дефектов внутренней поверхности труб с целью автоматизации визуального контроля.

код для вставкиСкачать
на правах рукописи
Цапаев Алексей Петрович
МЕТОДЫ И АЛГОРИТМЫ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ
ДЛЯ ОБНАРУЖЕНИЯ ДЕФЕКТОВ ВНУТРЕННЕЙ
ПОВЕРХНОСТИ ТРУБ С ЦЕЛЬЮ АВТОМАТИЗАЦИИ
ВИЗУАЛЬНОГО КОНТРОЛЯ
Специальность: 05.13.17 – «Теоретические основы информатики»
по техническим наукам
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Нижний Новгород - 2013 г.
Работа выполнена на кафедре «Автоматизация машиностроения»
федерального государственного бюджетного образовательного учреждения высшего
профессионального образования «Нижегородский государственный технический
университет им. Р.Е. Алексеева»
Научный руководитель:
доктор технических наук, профессор,
Кретинин Олег Васильевич
Официальные оппоненты:
Утробин Владимир Александрович,
доктор
технических
наук,
профессор,
федеральное
государственное
бюджетное
образовательное
учреждение
высшего
профессионального образования «Нижегородский
государственный
технический
университет
им. Р.Е.
Алексеева»
профессор
кафедры
«Вычислительные системы и технологии»
Ведущая организация:
Шолкин Валерий Георгиевич,
доктор технических наук, профессор, Закрытое
акционерное
общество
«Научно
–
исследовательский центр контроля и диагностики
технических систем», генеральный директор
Федеральное
государственное
бюджетное
учреждение науки Институт прикладной физики
Российской академии наук (ИПФ РАН), Нижний
Новгород
Защита диссертации состоится «19» декабря 2013 года в 13 часов в ауд. 1258 на
заседании
диссертационного
совета
Д 212.165.05
при
Нижегородском
государственном техническом университете им. Р.Е. Алексеева по адресу: 603950, г.
Нижний Новгород, ул. Минина, 24.
С диссертацией можно ознакомиться в библиотеке Нижегородского
государственного технического университета им. Р.Е. Алексеева
Автореферат разослан «19» ноября 2013 года.
Ученый секретарь
диссертационного совета
Суркова Анна Сергеевна
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы
Областью данного исследования являются методы обработки изображений для
автоматизации визуального контроля внутренней поверхности труб внутренним
диаметром от 5 мм. Инспекция поверхности осуществляется на предприятиях
изготовителях и потребителях труб, в частности при входном контроле, в
организациях производителях парогенераторов. Парогенераторы, входящие в состав
современной атомной электростанции включают десятки тысяч отдельных труб,
общая длина которых может достигать 124460 м. Требования к контролю указаны в
технических условиях на соответствующие трубы и не допускают наличие
дефектов, таких как плены, трещины, задиры и др. Оператор, проводящий
визуальный осмотр, подвержен физическому и эмоциональному утомлению, его
работа зависит от опыта, поэтому автоматизация визуального контроля, как
средство исключения субъективности, является актуальной задачей.
В соответствии с технологией производства труб на предприятии изготовителе,
операция визуального контроля внутренней поверхности присутствует до 5 раз за
технологический цикл. Следовательно, для повышения производительности
производства труб необходимо автоматизировать данную операцию, что в том числе
откроет возможность для модернизации АСУ ТП, позволив повысить качество и
сократить брак.
Развитие атомной промышленности в нашей стране идет высокими темпами. В
планах госкорпорации «Росатом» строительство Нижегородской АЭС, Балтийской
АЭС, реакторов БН 1200 для Белоярской АЭС, плавучих АТЭС, атомных ледоколов
нового поколения, зарубежные проекты и др. Высокая трудоемкость визуального
контроля доказывает важность его автоматизации, особенно в условиях
увеличивающихся объемов производства.
В то же время, первостепенной задачей при строительстве атомных станций
является безопасность, что подтверждают аварии на АЭС Три-Майл-Айленд,
Чернобыльской АЭС и АЭС Фукусима. В условиях субъективности визуального
контроля, в качестве фактора риска выступает человеческий фактор, исключение
которого повысит качество и безопасность АЭС.
Ранее, согласно техническим условиям на трубы, инспекция внутренней
поверхности проводилась вручную контролером, с помощью смотрового прибора
РВП-469 (перископа) или приборов подобных ему. Качество получаемой картинки
было не высоким. Следующим этапом в развитии стало появление цифрового
эндоскопа, которое многократно повысило качество получаемой картинки и
открыло возможность автоматизации визуального контроля посредством анализа и
обработки цифровых изображений.
В настоящее время созданы методы обработки изображений, которые решают
задачи в конкретных областях. Таким образом, встает проблема адаптации или
разработки новых алгоритмов обеспечивающих обнаружение и классификацию
дефектов внутренней поверхности труб.
В теорию распознавания образов и обработки изображений большой вклад
внесли советские и российские ученые Журавлев Ю.И., Сойфер В.А., Сергеев В.В.,
Абламейко С.В., Александров В.В., Горский Н.Д., Васин Ю.Г. и др. Среди
3
зарубежных ученых можно отметить следующих: Д. Марр, Р. Гонсалес, Д. Форсайт,
М. Сонка, У. Прэтт и др. В области контроля качества поверхности следует
отметить Малыгина Л.Л.
Производством систем визуального контроля поверхностей занимаются
зарубежные фирмы: ISRA VISION PARSYTEC AG, Германия; Cognex Corporation,
США; SURFACE INSPECTION, Великобритания, и др. Однако, методы, лежащие в
их основе, не публикуются в открытой печати, поскольку носят коммерческий
характер.
Разработан целый ряд автоматизированных систем для контроля труб
больших размеров (для нефтегазовой промышленности), в то же время особую
сложность вызывает инспекция труб небольших диаметров.
Предложены автоматизированные системы контроля металлопроката (НПК
"Малленом" г. Череповец). Наиболее совершенные из них основываются на богатой
базе изображений эталонных и дефектных участков различного вида. В условиях
отсутствия данной базы применение метода представляется затруднительным.
Кроме того, принципы контроля, а также характеристики дефектов поверхности
проката и внутренней поверхности труб отличаются.
Таким образом, существует необходимость создания автоматизированной
системы визуального контроля внутренней поверхности труб малых размеров на
основе методов анализа и обработки изображений.
Цели и задачи диссертационной работы
Объектом исследования является визуальный контроль внутренней
поверхности труб.
Предметом исследования являются алгоритмы обработки изображений,
применяемые для обнаружения дефектов внутренней поверхности труб малых
диаметров.
Целью исследования является повышение эффективности методов
распознавания изображений при обнаружении дефектов внутренней поверхности
труб, предназначенных для автоматизации визуального контроля.
Для достижения поставленной цели необходимо решение следующих
основных задач:
1. Анализ объекта контроля и способов получения изображений.
2. Разработка структурной схемы контроля и методов предварительной
обработки изображений.
3. Исследование и разработка методов обнаружения дефектов внутренней
поверхности труб.
4. Определение ограничений методов обнаружения дефектов внутренней
поверхности труб.
5. Исследование признаков классификации дефектов внутренней поверхности
труб.
Методы исследования
Исследования проводились с использованием аппарата математической
статистики,
двумерного
преобразования
Фурье,
двумерного
вейвлет
преобразования, метода главных компонент, нейросетевого анализа.
4
Для практической реализации разработанных алгоритмов использовалась
среда Matlab, информационное обеспечение процесса контроля внутренней
поверхности труб разработано на базе среды NI LabVIEW.
Достоверность
Полученные результаты и выводы согласуются с положениями
фундаментальных и прикладных наук, таких как системный анализ, математический
анализ, математическая статистка, кибернетика.
Результаты эксперимента анализировались и сопоставлялись с известными
экспериментальными данными других исследователей.
Научная новизна
− разработан новый метод обнаружения неоднородностей на изображениях
внутренней поверхности труб малых диаметров – метод оценки изменения
формы спектра, позволяющий определять наличие дефекта, и его
местоположение, отличающийся возможностью работы в условиях
ограниченного объема исходной информации о дефектах.
− обоснована целесообразность применения алгоритма предварительной
обработки изображений внутренней поверхности труб малых диаметров,
позволяющего приводить заданную область к прямоугольному виду,
отличающегося применением линейно-пропорционального преобразования.
− разработан алгоритм, позволяющий определять размер базового элемента
текстуры на изображении, предназначенный для использования в методах
обнаружения дефектов, отличающийся заданной точностью работы.
Практическая значимость
1. Разработаны алгоритмы обнаружения дефектов внутренней поверхности труб
в ПО Matlab для задач обнаружения заданного перечня дефектов;
2. Алгоритмы, разработанные в диссертации внедрены на предприятии ООО
«Питер Софт», занимающемся разработкой систем, на базе оборудования
фирмы National Instruments и ПО LabView.
3. Получен грант Нижегородской области в сфере науки и техники на проект
«Модуль обработки изображений системы визуального контроля внутренней
поверхности труб», согласно распоряжению правительства Нижегородской
области №1623-р от 07.08.2013.
4. Разработан регламент по накоплению электронной базы дефектов внутренней
поверхности труб на предприятии ОАО «ОКБМ Африкантов»;
5. Разработан прототип системы визуального контроля внутренней поверхности
труб, в целях отработки принципов автоматизации визуального контроля, а
также проверки алгоритмов работы системы для предприятий атомной
промышленности;
6. Разработан комплекс программ управления процессом контроля в ПО
LabVIEW;
Апробация работы
Основные положения и результаты диссертационной работы доложены и
обсуждены на следующих научно-технических конференциях:
1. Цапаев А.П. «Визуальный контроль качества поверхности изделий»
5
Международная
научно-практическая
конференция
«Технология,
автоматизация производственных систем и управление организационнотехническими системами машиностроительного кластера», Н. Новгород, 2008
г;
2. Цапаев А.П. «Метод сегментации изображений и его применение для
локализации дефектов труб», 15-я Нижегородская сессия молодых ученых
(технические науки), «Красный плес» Нижний Новгород, 2010 г;
3. Цапаев А.П. «Подходы к обработке изображений для обнаружения дефектов
внутренней поверхности труб», 4 Всероссийская
конференция молодых
учёных и специалистов «Будущее машиностроения России», Москва, 2011 г;
Публикации и личный вклад автора
Основное содержание исследования отражено в 7 печатных работах, среди
которых 4 статьи, в том числе 3 в изданиях рекомендованных ВАК. Статьи [1-2,4]
написаны в соавторстве. В работах [1-2,4] автору принадлежит построение
алгоритмов обработки изображений и проведение экспериментов, Кретинину О.В. –
разработка концепции алгоритмов, Мотовой Е.А. тестирование программ и
обсуждение результатов экспериментов.
Основные результаты и положения, выносимые на защиту, получены автором
лично. Все алгоритмы, обсуждаемые в данной работе, были разработаны и
экспериментально исследованы автором самостоятельно. Научный руководитель
принимал участие в постановке цели и задач исследования, их предварительном
анализе, определении подходов к решению задач, планировании экспериментов, а
также в обсуждении полученных результатов.
Основные положения, выносимые на защиту
- Анализ объекта контроля, структурная схема автоматизированной системы
визуального контроля;
- Алгоритм предварительной обработки изображений внутренней поверхности труб;
- Алгоритм определения размера базового элемента текстуры;
- Алгоритм обнаружения дефектов внутренней поверхности труб;
- Анализ ограничений методов обнаружения дефектов;
- Алгоритмы вычисления признаков дефектов внутренней поверхности труб и их
исследование на модельных изображениях. Оценка работы системы распознавания;
Структура и объем диссертации
Диссертационная работа состоит из введения, пяти глав, заключения, списка
литературы, включающего 103 наименования и 4 приложений. Работа изложена на
118 страницах машинописного текста, содержит 56 рисунков и 13 таблиц.
СОДЕРЖАНИЕ ДИССЕРТАЦИИ
Во введении обосновывается актуальность избранной темы, анализируется
степень ее научной разработанности, определяется цель и задачи исследования,
характеризуются
теоретические
и
методологические
основы
работы,
аргументируется научная новизна и практическая значимость результатов
исследования, излагаются основные положения, выносимые на защиту, приводится
информация о результатах апробации предложений, выводов и рекомендаций,
содержащихся в диссертации.
6
В первой главе проводится анализ особенностей визуального контроля.
Описывается объект контроля: характеристики труб, условия их работы,
требования, предъявляемые к внутренней поверхности, возможные причины
дефектов.
Фотографии
внутренней
поверхности
труб
показаны
на
рисунке 1. Приводится обзор методов визуального контроля внутренней
поверхности труб.
Представлена схема программной части автоматизированной системы
(Рисунок 2),
в структуре которой можно выделить основные модули и
вспомогательные. К основным модулям следует отнести блок предварительной
обработки изображений, подсистему обнаружения дефектов и подсистему
классификации дефектов.
а)
б)
в)
Рисунок 1. Фотографии внутренней поверхности труб.
а) эталонная поверхность; б) поверхность с травильной сыпью;
в) поверхность с ниткой;
Рисунок 2. Структурная схема программной части автоматизированной системы.
Описывается
зарубежный
и
отечественный
опыт
создания
автоматизированных систем визуального контроля. Ставятся цели и задачи
исследования.
Во второй главе приводится анализ существующих методов сегментации
изображений и их экспериментальное исследование, а также существующих
методов обнаружения дефектов текстуры.
Приведена классификация методов сегментации, представленная у различных
авторов. В результате анализа предложена следующая обобщенная классификация
основных методов: пороговые методы, методы обнаружения границ, текстурные
7
методы; теоретико-графовые методы; методы на основе анализа областей; методы
на основе преобразования водораздела; обнаружение линий, кривых; вероятностные
методы; поиск по шаблону; сегментация цветных изображений; многоразмерные
методы сегментации;
Применение представленных методов сегментации для решения задачи
обнаружения дефектов вызвало определенные трудности, на преодоление которых,
в том числе, направлена данная работа. В исследовании показано применение
следующих методов, применительно к обнаружению дефектов поверхности:
- методы, основанные на обнаружении границ;
- методы, основанные на преобразовании водораздела;
- методы, основанные на теории графов;
Дается теоретическое описание методов сегментации, выдвинутых к
исследованию.
Показано исследование существующих методов сегментации изображений:
метода водораздела, метода нормальных разрезов, метода Canny. Исследования
проводились на модельных изображениях и изображениях внутренней поверхности
труб.
а)
б)
в)
г)
д)
Рисунок 4. Изображения внутренней поверхности трубы с дефектом пятно
а) исходное изображение; б) сегментация методом водораздела; в)
сегментация модифицированным методом водораздела; г) сегментация методом
нормальных разрезов; д) сегментация методом Canny;
8
Для исследования методов обнаружения дефектов на внутренней поверхности
труб были подготовлены трубы с различными искусственными дефектами:
продольная царапина, кольцевая царапина, черное пятно.
Изображения искусственных дефектов были получены с помощью эндоскопа
(по четыре изображения каждого типа) и приведены к удобному для обработки
виду. Полученные изображения прошли сегментацию с помощью различных
методов, результат которой представлен на рисунке 4.
На рисунке 4 б-в, д черным цветом показан фон, белым цветом границы
дефектов. На рисунке 4 г оттенками серого закрашены отдельные сегменты.
Оценка качества сегментации проводилась исследователем визуально.
Критериями качества служили следующие параметры:
- пропуск дефекта;
- локализация не дефектной области;
- соответствие формы локализованных областей форме дефекта
Сделан вывод о том, что существующие методы сегментации в исходном
виде не обеспечивают локализацию дефектов в необходимом объеме.
Приводится анализ существующих методов обнаружения дефектов текстуры,
дано описание математических подходов лежащих в их основе: вейвлет
преобразование, матрица вхождений. Приводится описание алгоритмов метода
ориентированных фильтров и метода матрицы вхождений вейвлет коэффициентов,
исследование которых приведено в четвертой главе.
В основе метода ориентированных фильтров (ОРФ) лежит фильтрация
изображения с помощью ядер ориентированных фильтров и вычисление свойств
(среднее и СКО) отфильтрованных изображений. Суть метода матрицы вхождений
коэффициентов вейвлет преобразования (МВКВ) состоит в вычислении вейвлет
преобразования изображения на один уровень, в результате которого получаются
матрица приближений и три матрицы деталей. После этого алгоритм для каждой из
матриц определяет матрицы вхождений, свойства которых выступают в качестве
признаков.
В третьей главе дается описание предложенных автором методов
предварительной обработки изображений.
Первый параграф посвящен анализу схем осмотра внутренней поверхности
труб. Приводятся отличительные особенности осмотра прямым и боковым
объективом.
При прямом осмотре необходимо выполнение одного движения –
поступательного перемещения вдоль поверхности трубы. Однако, изображение,
получаемое при данном виде осмотра, имеет сложную структуру. Возникает
необходимость разработки алгоритма, позволяющего приводить изображение к виду
удобному для применения стандартных методов обработки. Предложен алгоритм
выделения информативной области при прямом осмотре. Схема работы алгоритма
представлена на рисунке 3.
9
Рисунок 3. Схема преобразования кольца изображения в прямоугольное
изображение
Алгоритм преобразования:
1. Выделить на изображении кольцо определенного размера, имеющее
наименьшее количество искажений.
2. Разбить кольцо на отдельные окружности.
3. Сопоставить каждую окружность кольца со строкой прямоугольного массива.
4. Привести каждую строку массива к длине средней окружности кольца. При
этом большие строки пропорционально уменьшаются, а меньшие
пропорционально растягиваются, используя метод линейной интерполяции.
Для того чтобы выполнить осмотр внутренней поверхности трубы с помощью
бокового объектива необходимо сочетание двух движений – поступательного
движения вдоль трубы и вращательного движения относительно центра трубы. Для
выполнения данной операции в автоматическом режиме нужно точно знать шаг, на
который нужно перемещать объектив и угол, на который нужно поворачивать
трубу. Приводятся формулы вычисления данных параметров.
Рассматривается алгоритм сшивки изображений, основанный на методе
корреляционного сопоставления.
В четвертой главе
описываются предложенные в работе методы
обнаружения дефектов, в том числе алгоритм определения размера базового
элемента текстуры и метод оценки изменения формы спектра. Приводятся
результаты экспериментального исследования методов. В работе выбрана схема
алгоритмов обнаружения, при которой вначале изображение разделяется на участки
и далее каждый участок анализируется на наличие дефекта. При использовании
данной схемы встает вопрос о выборе размера участка разделения. Любая текстура
состоит из периодически повторяющихся элементов – базовых элементов текстуры
(БЭТ). Логичным представляется разделение изображения на БЭТ.
В первом параграфе раскрывается алгоритм определения размера базового
элемента текстуры:
1. Поместить окно просмотра в точку с ярко-выраженной границей;
2. Перемещать окно просмотра по горизонтали с шагом в 1 пикс. на расстояние
N (в исследовании принято N=60 пикс.).
3. В каждой точке определить отклонение яркости пикселей ∆ окна просмотра
при начальном положении и текущем.
10
∆=
1 l b
( I 0 ( i , j ) − I тек ( i , j )) 2 ,
∑
∑
l ⋅ b i =1 j = 1
где l,b – размеры окна просмотра; I0 – окно просмотра при начальном
положении; Iтек – окно просмотра при текущем положении;
4. Определить смещение, при котором ∆ имеет локальный минимум
5. Повторить шаги 2-4 для движения по вертикали
Приводится исследование алгоритма на модельных изображениях,
изображениях текстуры из альбома текстур, а также определяется размер базового
элемента изображения внутренней поверхности трубы (Рисунок 5). По графику
(рисунок 5б) можно определить локальный минимум при размере в 36 пикс.
а)
б)
Рисунок 5. а) модельное изображение и график СКО при движении по горизонтали;
б) изображение внутренней поверхности трубы и график СКО при движении по
горизонтали.
Проводится оценка влияния шума на предложенный алгоритм.
Далее раскрывается предложенный алгоритм обнаружения дефектов - метод
оценки изменения формы спектра. Алгоритм состоит из двух этапов. На первом
производится настройка метода на наборе изображений эталонной поверхности.
Вторым этапом является классификация предложенным методом.
Алгоритм метода оценки изменения формы спектра.
1 ЭТАП. Настройка метода ОИФС
Исходные данные: 100 изображений эталонной поверхности размером 36х36 пикс.
α
Выходные данные: Spectr' , ij , P .
ЦИКЛ 1. Для каждого изображения исходного набора выполнить пункты 1-3.
1. Вычислить ДПФ изображения:
Ft ( i , j ), i , j = 1, N , где N – размер БЭТ.
2. Вычислить спектр изображения:
11
Spectr(i, j ) = 2 ⋅
Ft (i, j ) ⋅ conjFt(i, j )
2N
,
где conjFt (i, j ) - комплексно сопряженное от Ft (i , j )
3. Обрезать спектр изображения в соответствии с правилом
Spectr ' (i , j ) = Spectr (i, j ) при
i = 1,
N
+ 1, j = 1, N
2
,
где N – число строк и столбцов матрицы Spectr.
КОНЕЦ ЦИКЛА 1.
4. Вычислить среднее значение спектра Spectr ' по всему набору спектров,
каждый элемент которого
s ij '
вычисляется по формуле
100
s ij ' =
∑s
n =1
ij
' ( n)
100
,
Spectr ' ( n )
s ' (n)
где ij
- элемент спектра
.
5. Определить среднеквадратичное отклонение каждого элемента спектра:
1 100
σ =
( s ij ' ( n) − s ij ') 2
∑
100 n=1
,
s'
ij
6. Вычислить весовые коэффициенты по формуле:
α ij = 1 −
max(σ )
σ ijs '
max(σ s ' )
,
s'
где
- максимальное значение среднеквадратичного отклонения.
7. Вычислить взвешенное евклидово расстояние от каждого спектра Spectr ' ( n )
до среднего спектра, при n = 1,100 :
R( n ) =
N / 2+1 N
∑ ∑α
i =1
j =1
2
ij
( s' ij ( n) − s' ij ) 2
,
8. Вычислить среднее значение R:
100
R=
∑ R( n )
n =1
100
;
9. Вычислить среднеквадратичное отклонение:
1 100
σR =
( R( n ) − R ) 2
∑
100 n=1
10.Определить порог дефектности по формуле:
P = R + 3 ⋅ σR
2 ЭТАП. Классификация методом ОИФС
Исходные данные:
12
I – изображение поверхности размером 36х36 пикс.,
Spectr' , αij , P
Выходные данные: 1 – дефект обнаружен; 0 – дефект не обнаружен
1. Вычислить ДПФ изображения:
Ft(i, j ), i, j = 1, N , где N – размер БЭТ.
2. Вычислить спектр изображения:
Spectr(i, j ) = 2 ⋅
Ft (i, j ) ⋅ conjFt(i, j )
2N
,
где conjFt (i, j ) - комплексно сопряженное от Ft (i, j )
3. Обрезать спектр изображения в соответствии с правилом:
Spectr ' (i, j ) = Spectr (i, j ) при
i = 1,
N
+ 1, j = 1, N
2
,
где N – число строк и столбцов матрицы Spectr.
4. Определить взвешенное евклидово расстояние от данного спектра до
эталонного по формуле:
R=
N / 2+1 N
∑ ∑α
i =1
j =1
2
ij
( s' ij − s'ij ) 2
5. Принять решение о классификации:
Если R > P , то на изображении присутствует дефект;
Если R ≤ P , то изображение не имеет дефектов;
Любой метод обнаружения дефектов имеет свои ограничения, исследование
которых описано в главе. Исследование проводилось для предложенного метода
ОИФС и существующих методов ОРФ и МВКВ.
В работе оценивается чувствительность методов к размеру, текстуре, яркости
дефекта, оценивается влияние шума. Исследования проводились на моделях
дефектов внутренней поверхности, которые формировались методом наложения на
действительные изображения эталонной поверхности искусственных дефектов.
Эталонные модели выделяются на изображении эталонной поверхности случайным
образом и имеют размер 36х36 пикс. Для оценки шума на эталонное изображение и
изображение с дефектом наносился белый гауссов шум.
Для оценки влияния размера дефекта создана модель, у которой в центр
изображения помещается дефект яркостью 1. Размер дефекта меняется от 2
пикселей до 34 пикс. с шагом 2 пикс.;
Для оценки влияния текстуры дефекта создавалась модель у которой. дефект
имеет размер 18x18 пикс. и наносится в центр модели. Дефект формируется на базе
текстуры D4 из альбома текстур. Каждый пиксель дефекта определяется по формуле
I деф (i, j) = (1 − t ) I этал (i, j) + t ⋅ I D 4 ( i , j ) ,
где Iэтал – эталонный БЭТ, ID4 – изображение текстуры D4. t- мера текстурного
отличия, меняется от 0 до 1 с шагом 0.05.
Для Оценки влияния яркости создавалась модель, у которой дефект имеет
13
размер 18x18 пикс. и наносится в центр модели. Яркость каждого дефекта
определяется следующим образом.
I деф (i, j) = α ⋅ I этал (i, j) ,
где α - коэффициент изменения яркости, меняется от 0.5 до 2 с шагом 0.05.
Изображения моделей представлены на рисунке 6.
а
б
в
г
Рисунок 6. Модельные изображения для оценки влияния размера дефекта (б),
текстуры дефекта (в), яркости дефекта (г) и эталонные участки (а).
В эксперименте при значении каждого параметра исследовалось 100 моделей
и определялось количество правильных обнаружений. Результаты представлены на
рисунках 7-9.
Исходя из результатов исследования делается вывод о возможности
использования методов ОИФС и ОРФ для изображений с дефектами в рамках
данных ограничений.
Оценено время работы методов (расчет проводился на ПК со следующими
параметрами: процессор с тактовой частотой 1.66 ГГц; ОЗУ 1Гб), при этом метод
ОИФС показал лучшее быстродействие (таблица 1).
а)
б)
Рисунок 7. Оценка влияния размера дефекта (а) и текстуры дефекта (б).
14
а)
б)
Рисунок 8. Оценка влияния яркости дефекта (а) и влияния шума на эталон (б)
Рисунок 9. Оценка влияния шума на изображение с дефектом.
Таблица 1. Время работы методов
Метод
Время работы с изображением 36х36
Скорость работы,
пикс., с.
Мпикс./с
ОИФС
0.0022
0.589
МСВКВ
0.065
0.02
ОРФ
0.09
0.0144
Методы исследовались на действительных изображениях. На вход алгоритмов
подавались 100 эталонных изображений и 100 изображений с дефектами, примеры
которых показаны на рисунке 10.
а)
б)
Рисунок 10. а) участки эталонной поверхности; б) участки с дефектами.
Формируются матрицы неточностей и определяются ошибки классификации
каждого метода. Матрица неточностей и ошибки классификации метода ОИФС
15
представлены в таблицах 2, 3.
Таблица 2. Матрица неточностей. Метод ОИФС.
Класс, установленный
системой распознавания
Д
НД
Истинный
94
6
Д
класс
2
98
НД
Таблица 3. Ошибки классификации Метод ОИФС.
Класс
Ошибка 1 рода
Ошибка 2 рода
(ложное срабатывание) (пропуск события)
Д
0.02
0.06
НД
0.06
0.02
Делается вывод о достаточной надежности метода ОИФС при обработке
реальных изображений.
В четвертом параграфе показана практическая реализация результатов
исследования. Описана структура аппаратной и программной части прототипа
системы. Отмечено, что на предприятии ОАО «ОКБМ Африкантов» разработан
регламент по накоплению изображений внутренней поверхности труб.
Приведена оценка производительности контроля трубы внутренним
диаметром ∅8 мм, которая составила Пт = 12 метров/час (расчет проводился на ПК
со следующими параметрами: процессор с тактовой частотой 1.66 ГГц; ОЗУ 1Гб).
Однако, при увеличении вычислительных мощностей (например, использование 6
ядерного процессора) возможно повышение производительности до Пт ≈ 60 м/ч.
Для сравнения, производительность осмотра контролером составляет 20-24 м/ч.
В пятой главе диссертационной работы рассматриваются подходы к
классификации дефектов внутренней поверхности труб на модельных
изображениях.
Приводится анализ признаков для распознавания дефектов. Дается
теоретическое описание применяемых в исследовании признаков. С учетом
большого числа признаков, для оценки их информативности в работе используется
метод главных компонент, дается его описание.
Приводится обобщенная классификация методов распознавания с учителем:
статистические алгоритмы распознавания, решающие деревья, нейронные сети,
синтаксические методы распознавания, нечеткие системы, алгебраический
(буферный) подход в распознавании образов.
Описываются подходы к вычислению признаков дефектов. Предложено
использовать два вида признаков: признаки формы дефекта и признаки внутренней
структуры. В основе первой группы лежат характеристики эквивалентного эллипса.
В основе второй группы лежат текстурные признаки, вычисляемые на основе
ориентированных фильтров.
16
Рисунок 11. Набор фильтров состоящий из 2 фаз (четная, нечетная), 3 шкал и 6
ориентаций. Базовый фильтр – квадратурная пара производных Гауссиана с
удлинением 3:1.1
Для вычисления текстурных признаков формируется набор четно и нечетно
симметричных фильтров при различных ориентациях и масштабах (рисунок 11).
Для вычисления текстурных признаков дефекта выполняется свертка
изображения с ядрами данных фильтров (фильтрация). На выходе данной операции
получается набор отфильтрованных изображений.
Области исходных изображений, не содержащие дефект, не несут информации
об его характеристиках. Поэтому, на изображениях прошедших фильтрацию
обнуляются значения, не попадающие в поле дефекта. Далее для каждого
изображения из набора вычисляется среднее значение. Набор средних значений
представляет собой признаки дефектов.
В
качестве
геометрических
признаков
использовались
свойства
эквивалентного эллипса: отношение большой оси к малой и ориентация
эквивалентного эллипса, вычисление которых производилось по формулам,
представленным в диссертации.
Для исследования признаков используемых при распознавании были созданы
модели дефектов поверхности.
Модели создавались следующим образом:
- формировалась фоновая текстура бездефектной области. Предполагалось,
что значения пикселей в бездефектной области характеризуются нормальным
законом распределения с параметрами M и σ. Эти значения вычислялись по 10
изображениям бездефектной области размером 100х100 пикселей. Значения
пикселей моделей бездефектной области определялись по закону нормального
распределения с вычисленными параметрами.
- на фоновую текстуру наносилась форма дефекта. Параметры формы дефекта
не переводящие его в другой класс менялись случайно (например число изгибов
нитки, угол наклона царапины в пределах интервала, расположение дефекта на
области и другие)
- форма заполнялась характерной для этого дефекта текстурой;
- на модель изображения наносился шум.
Изображения моделей дефектов представлены на рисунке 12. Размер моделей
составляет 100х100 пикселей. Программы, написанные в среде Matlab, позволяют
генерировать любое количество моделей каждого вида.
1
Contour and Texture Analysis for Image Segmentation/ J. Malik, S. Belongie, T. Leung, J. Shi//
International Journal of Computer Vision, V.43, No.1, pp. 7-27, 2001.
17
Рисунок 12. Модели дефектов. Слева показана модель дефекта «черное
пятно»; справа – «нитка»; по центру «царапина».
Перечислим некоторые параметры, вычисляемые при создании моделей. Для
продольной царапины тангенс угла наклона и смещение вычисляются по формулам:
k = tg (
(5 ⋅ rand − 2.5) ⋅ π
) ; b = round (58 ⋅ rand ) + 21 .
180
В вышеприведенных формулах round – оператор округления; rand – генератор
случайных чисел от 0 до 1.
Для черного пятна большая, малая оси и угол ориентации, для нитки
координаты точек, через которые проводится сплайн, вычисляются по формулам,
приведенным в диссертации.
При исследовании разделимости дефектов на классы использовался метод
главных компонент.
На рисунке 13 представлено приведение к 3 м главным компонентам набора
текстурных и геометрических признаков – всего 20 признаков (исследовались 50
изображений каждого вида).
Из рисунка 13 видно, что три класса дефектов четко разделяются,
следовательно, предложенные признаки подходят для распознавания исследуемых
дефектов. При накоплении базы дефектов можно рекомендовать данные признаки
для их классификации.
Рисунок 13. Набор из текстурных и геометрических признаков. Пространство
3х главных компонент. «*» обозначены изображения с дефектом «черное пятно»;
«+» обозначены изображения с дефектом «нитка»; «о» обозначены изображения с
дефектом «продольная царапина».
Исследована многослойная нейронная сеть прямого распространения.
Для анализа были выбраны геометрические и текстурные признаки.
Обучающая выборка состояла из 30 представителей каждого класса. Тестовая
выборка состояла из 100 представителей каждого класса. Выяснилось, что общая
ошибка классификации нейронной сети составила 1,3%. Матрица неточностей
18
нейронной сети, представлена в таблице 4. Ошибки классификации представлены в
таблице 5.
Таблица 4. Матрица неточностей работы нейронной сети.
Класс, установленный
системой распознавания
1
2
3
Истинный 1
97
0
3
класс
1
99
0
2
0
0
100
3
Таблица 5. Ошибки классификации нейронной сети.
Класс Ошибка 1 рода Ошибка 2 рода
1
1%
3%
2
0%
1%
3
3%
0%
Для использования в автоматизированных системах визуального контроля
внутренней поверхности труб рекомендованы многослойные нейронные сети
прямого распространения.
В заключении сформулированы выводы и основные результаты
диссертационной работы, а также рекомендации, вытекающие из проведенного
исследования.
Диссертация имеет 4 приложения. В приложении 1 описываются формулы
для вычисления угла поворота трубы при боковом осмотре. Во втором приложении
приведены алгоритмы, предложенные в работе. В третьем приложении приводится
листинг программ. В четвертом приложении приведен акт внедрения.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ
1. Выполнен анализ и экспериментальное исследование существующих методов
сегментации изображений.
2. Разработан алгоритм предварительной обработки изображений внутренней
поверхности труб малых диаметров, позволяющий приводить заданную область к
прямоугольному виду.
3. Разработан алгоритм, позволяющий определять размер базового элемента
текстуры на изображении, предназначенный для использования в методах
обнаружения дефектов. Алгоритм исследован на модельных изображениях и
изображенияx внутренней поверхности трубы.
4. Разработан и экспериментально исследован новый метод обнаружения
неоднородностей на изображениях внутренней поверхности труб малых
диаметров – метод оценки изменения формы спектра. Делается вывод о
возможности применения данного метода в автоматизированных системах
визуального контроля труб.
5. Определены ограничения методов обнаружения дефектов внутренней
поверхности труб.
6. Определены подходы к классификации дефектов внутренней поверхности труб
на основе модельных изображений. Оценены ошибки классификации.
7. Предложена структурная схема автоматизированной системы визуального
19
контроля внутренней поверхности труб малых диаметров (внутренним
диаметром от 5 мм), а также схемы автоматического осмотра внутренней
поверхности.
ОСНОВНЫЕ ПУБЛИКАЦИИ
Основное содержание, положения и результаты диссертации опубликованы в
следующих работах:
Публикации в изданиях, рекомендуемых ВАК РФ:
1. Цапаев, А.П. Методы сегментации изображений в задачах обнаружения
дефектов поверхности / О.В. Кретинин, А.П. Цапаев // Компьютерная оптика.
- 2012. - т.36. - №3. - С.448-452.
2. Цапаев, А.П. Автоматизированная система визуального контроля внутренней
поверхности труб / О.В. Кретинин, А.П. Цапаев // Автоматизация в
промышленности. – 2013. - №5. - С.48-50.
3. Цапаев, А.П. Классификация дефектов внутренней поверхности труб при
автоматизированном визуальном контроле / А.П. Цапаев // Вестник
компьютерных и информационных технологий. – 2013. - №3. - С. 21-24.
В других изданиях:
4. Цапаев, А.П. Сравнение методов для визуального контроля поверхности труб /
О.В. Кретинин, А.П. Цапаев, Е.А. Мотова // Вестник научно-технического
развития. – 2010. - №10(38). –С.26-32.
5. Цапаев, А.П. Визуальный контроль качества поверхности изделий / А.П.
Цапаев // Тез. док. Международной научно-практической конференции
«Технология, автоматизация производственных систем и управление
организационно-техническими системами машиностроительного кластера»/
Н. Новгород, 2008 г. – С.120-121.
6. Цапаев, А.П. Метод сегментации изображений и его применение для
локализации дефектов труб /А.П. Цапаев // Нижегородская сессия молодых
ученых. Технические науки: Материалы докладов (15, 2010)/ Нижний
Новгород, 2010 г. – С. 59.
7. Цапаев, А.П. Подходы к обработке изображений для обнаружения дефектов
внутренней поверхности труб / А.П. Цапаев // Будущее машиностроения
России: сб. тр. Всерос. конф. молодых учёных и специалистов / МГТУ им.
Н.Э. Баумана. - Москва, 2011 г. – С.293-294.
Подписано в печать 18.11.2013. Формат 60х84 1/16. Бумага офсетная.
Печать офсетная. Уч. –изд. Л. 1,0. Тираж 80 экз. Заказ
Нижегородский государственный технический университет им. Р.Е. Алексеева.
Типография НГТУ. 603950, г. Нижний Новгород, ул. Минина, 24.
20
1/--страниц
Пожаловаться на содержимое документа