close

Вход

Забыли?

вход по аккаунту

?

Применение метода анализа облаков трехмерных точек в системах технического зрения роботов..pdf

код для вставкиСкачать
а с т ь II
I. ЧОБЗОРН
СИСТЕМНЫЙ АНАЛИЗ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 004.021
С. А. Быков, В. Г. Леонтьев, В. Н. Скакунов
ПРИМЕНЕНИЕ МЕТОДА АНАЛИЗА ОБЛАКОВ ТРЕХМЕРНЫХ ТОЧЕК
В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ РОБОТОВ*
Волгоградский государственный технический университет
E-mail: svn@vstu.ru
\
В статье рассматривается алгоритм предобработки и распознавания облаков трехмерных точек, получаемых со стереокамер и различных дальномеров. Для классификации объектов предложено использовать
метод опорных векторов. Разработано программное обеспечение для приема и анализа данных, использующее методы и функции библиотек PCL и метапакета ROS.
Ключевые слова: мобильный робот, компьютерное зрение, облака точек, метод опорных векторов.
S. A. Bykov, V. G. Leontev, V. N. Skakunov
APPLICATION OF 3D POINT CLOUD ANALYSIS METHODS
TO COMPUTER VISION SYSTEMS FOR ROBOTS
Volgograd State Technical University
The article deals with preprocessing and recognition algorithms of 3d point clouds. Support vector machine is
used to classify objects. Software for receiving and processing data was developed with methods and functions from
PCL library and ROS metapackage.
Keywords: mobile robot, computer vision, 3D point clouds, support vector machine.
Введение
Возможности современных робототехнических комплексов позволяют заменять человека
при решении широкого круга задач. Особенно
это актуально в ситуациях, когда присутствие
человека или нежелательно, или невозможно.
Автономный режим работы, способность самостоятельно принимать необходимые решения
для шагающих машин, мобильных роботов с
разными типами движителей в значительной
степени зависят от эффективности системы
технического зрения (СТЗ), интегрированной в
общую систему управления роботом [1; 4]. *
Повысить эффективность распознавания
препятствий позволяет включение в процедуру
сравнения алгоритмов поиска локальных особенностей, таких как SURF, SIFT, MSER или их
модификаций. Данные алгоритмы выделяют на
изображении не весь объект, а только некоторые точки, которые позволяют с большей достоверностью идентифицировать объект при
сравнении с заранее определенным типом препятствий.
*
Работа выполнена при финансовой поддержке
РФФИ (проект № 12-08-00301-а).
Применение этих алгоритмов неизбежно
приводит к увеличению времени обработки
изображений. Кроме того, для бортовой системы актуальной становится проблема вычислительной реализуемости алгоритма. С целью
сравнения скорости работы алгоритмов SURF и
SIFT были разработаны программы, реализующие эти алгоритмы с использованием библиотеки OpenCV. Оценка времени обработки изображений с помощью этих алгоритмов, полученная на компьютере с двухядерным процессором и расширенной памятью показала, что
алгоритм SURF обрабатывает изображение в
среднем на 60–70 % быстрее, чем алгоритм
SIFT. Абсолютное время зависит от вычислительных ресурсов компьютера. В то же время
расчеты показали, что метод эффективен при
работе с плоскими и выделяющимися на сцене
объектами, например, с уникальным рисунком
или текстурой [2; 3].
Постановка задачи
В настоящей работе рассматривались иные
подходы к распознаванию образов, позволяю-
38
ИЗВЕСТИЯ ВолгГТУ
щие работать с объемными предметами. С этой
целью для обработки изображений был применен метод анализа облака трехмерных точек,
который позволяет роботу принимать определенные решения по информации от стереокамеры. Для достижения поставленной цели необходимо решить следующие задачи:
1) реализовать предобработку данных;
2) обучить классификатор;
3) сформировать логику управления платформой.
В качестве исходных данных об окружающем робота пространстве в работе предлагается
использовать облака трехмерных точек, которые можно получить при применении стереокамер и дальномеров. Последующая обработка
данных в рассматриваемом методе разделяется
на ряд этапов, показанных на схеме алгоритма
(рис. 1), и приводящих к постепенной трансформации изображения (рис. 2–5).
Разработка алгоритма
идентификации объекта
Э т а п 1. П о л у ч е н и е д а н н ы х
Для шагающего робота крайне важно понятие формы и геометрических размеров предмета, например, для вычисления высоты и глубины ступенек. Моноскопические изображения от
обычных видеокамер дают неполную информацию [6]. Поэтому в качестве сенсорной системы предлагается использовать стереокамеру,
в частности, MSKinect. Данное устройство состоит из двух датчиков глубины и цветной видеокамеры. Датчик глубины представляет собой систему из инфракрасного проектора и монохромной КМОП-матрицы.
Э т а п 2. Ф и л ь т р а ц и я
На данном этапе обработки облака точек
производится удаление лишней информации.
В силу низкой скорости перемещения платформы, анализ далеких объектов не представляет интереса. Для экономии вычислительных ресурсов и повышения точности анализа,
со сцены удаляются все объекты, расположенные дальше 3 м. Также сужается поле зрения
робота (удаляются точки слева и справа от машины). Кроме того, это допущение позволяет
существенно снизить количество шумов.
Э т а п 3. У м е н ь ш е н и е п л о т н о с т и
облака
Анализ множества трехмерных точек весьма ресурсоемкая задача. Для ускорения обработки можно сократить число точек в облаке,
с минимальной потерей информации о сцене.
Начало
Получение данных
от сенсора
Фильтрация
Уменьшение
разрешения облака
Выделение главных
плоскостей
Выделение ключевых точек
Классификация
ключевых точек
Принятие решения
Завершение?
Конец
Рис. 1. Схема алгоритма обработки изображения
Рис. 2. Облако точек, полученное с камеры MSKinect. В качестве объекта для распознавания используется коробка изпод камеры
Для этого применяется так называемая воксельная сетка (voxelgrid) [5]. Сцена разбивается на кубы заданного размера (воксели), из ко-
39
ИЗВЕСТИЯ ВолгГТУ
торых удаляются все точки, кроме ближайшей
к центру выделенного объема. Такой подход
позволяет аппроксимировать информацию, содержащуюся в облаке. В результате, число точек для дальнейшего анализа сокращается в
среднем в 5–10 раз.
[4; 7]. Это – метод оценки параметров модели,
основанный на случайных выборках, дает стабильный результат. В ходе работы случайным
образом выбираются три точки, через которые
проводится плоскость. Затем проверяется,
сколько других точек попадает в окрестности
полученной фигуры (чем их больше – тем правдоподобнее считается модель).
Рис. 3. Фильтрация изображения
Рис. 5. Удаление главных плоскостей
Рис. 4. Уменьшение плотности облака
Э т а п 4. В ы д е л е н и е г л а в н ы х п л о скостей
Следующим важным этапом является выделение главных (наибольших) плоскостей. Это
позволяет разделить точки, относящиеся к различным объектам, в частности, лестницам и
различным препятствиям, и принадлежащие
полу и стенам. Такое решение позволяет снизить влияние лишних точек при анализе объектов. Также появляется возможности иначе обрабатывать стены, например, оценивать расстояние до них, не усложняя процесс классификации.
Для выделения плоскостей используется
метод RANSAC (RANdom Sample Consensus)
Э т а п 5. В ы д е л е н и е к л ю ч е в ы х
точек
В данной работе используются ключевые
точки VOSCH (Voxelized Shapeand Color Histograms). Это – дескриптор, который представляет собой 137-мерную гистограмму, описывающую соотношение нормали к поверхности и ее
цвета. На рис. 6 приведен пример такого дескриптора, где на оси абсцисс отмечены коэффициенты цвета предмета, а на оси ординат – коэффициент, описывающий форму предмета.
Каждый пик на графике отображает одно из
137 измерений. Наиболее интересным свойством этого вида ключевых точек является инвариантность к повороту объекта.
Э т а п 6. К л а с с и ф и к а ц и я к л ю ч е вых точек
С другой стороны, VOSCH-дескриптор
можно представить как вектор из 137 чисел с
плавающей запятой, который описывает строение объекта. Для классификации такого типа
данных в работе предлагается использовать метод опорных векторов (SVM – support vector
machine). В данном методе строится пространство, в котором каждый дескриптор представля-
40
ИЗВЕСТИЯ ВолгГТУ
Рис. 6. Гистограмма VOSCH для коробки MSKinect
ляет собой точку. После этого классификатор
подбирает весовые коэффициенты таким образом, чтобы каждый позитивный и негативный
классы дескрипторов можно было разделить
границей. На рис. 7 показан пример такой классификации. Каждая точка представляет собой
отдельное изображение некоего предмета, в
данном случае это ступеньки и коробка от сен-
сора MSKinect. Сплошная кривая разделяет дескрипторы класса «ступенька» (на рисунке
отмечены плюсами) от дескрипторов класса
«коробка» (отмечены кружками). Результатом
работы классификатора являются идентификаторы, указывающие на принадлежность
VOSCH-гистограммы к определенному классу
предметов.
Рис. 7. Пример работы SVM для классификации двумерных данных
В рассмотренном примере каждая точка обладает двумя признаками, которыми могут
быть, в частности, координаты по осям абсцисс
и ординат. Сплошная кривая на рис. 7 разделяет два класса данных.
Заключение
Для подвижной платформы большое значение имеет время обработки отдельных кадров
от видеокамеры, определяющее требования к
производительности бортовой вычислительной
системы. Была проведена серия экспериментов,
состоящая из анализа 100 кадров, цель которых
заключалась в измерении скорости и точности
распознавания различных объектов. В ходе
экспериментов замерялось время, затраченное
на отдельных этапах работы алгоритма при обработке каждого кадра. Результаты этих измерений приведены в таблице. Эксперименты
проводились на ноутбуке с процессором Intel
SU7300 на тактовой частоте 1,3 ГГц.
Полученные результаты показывают, что
предложенный алгоритм обладает достаточным
быстродействием и довольно высоким уровнем
распознавания. Однако для работы в реальном
времени потребуется более высокая скорость
41
ИЗВЕСТИЯ ВолгГТУ
Этапы работы
Виды
объектов
Всего,
с
Точность, %
0,01
0,71
72,3
0,2
0,02
0,62
67,7
0,15
0,02
0,66
58,9
0,02
0,66
Фильтрация, с
Уменьшение
плотности, с
Выделение
плоскостей, с
Удаление
шумов, с
VOSCH, с
SVM,
с
Коробка Kinect
0,01
0,38
0.0
0,09
0,22
Дверной проем
0,02
0,29
0,02
0,07
Ступеньки
0,02
0,36
0,02
0,09
Среднее время, с
0,02
0,34
0,01
0,08
0,19
обработки, которая может быть получена за
счет ускорения работы алгоритма при переносе
вычислительно сложных этапов, в особенности
уменьшения плотности облака и получения
ключевых точек, на графические ускорители, а
также при использовании технологии CUDA.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Адаптация алгоритмов технического зрения для
систем управления шагающими машинами / С. А. Быков,
А. В. Еременко, А. В. Гаврилов, В. Н. Скакунов // Известия Волгоградского государственного технического университета : межвуз. сб. науч. ст. № 3(76) / ВолгГТУ. –
Волгоград : ИУНЛ ВолгГТУ, 2011. – (Сер. Актуальные
проблемы управления, вычислительной техники и информатики в технических системах. Вып. 10). – С. 52–56.
2. Использование контурного анализа в задаче контроля качества образивных материалов / В. А. Камаев,
П. П. Кудряшов, А. А. Стец // Известия Волгоградского
государственного технического университета : межвуз. сб.
науч. ст. № 11(71) / ВолгГТУ. – Волгоград : ИУНЛ ВолгГТУ, 2010. – (Сер. Актуальные проблемы управления, вы-
числительной техники и информатики в технических системах. Вып. 9). – С. 53–56.
3. Применение алгоритмов машинного зрения для получения панорамного изображения медико-биологического препарата при микроскопии / Е. М. Артемьев, О. О. Привалов, И. В. Степанченко, В. О. Петров // Известия Волгоградского государственного технического университета:
межвуз. сб. науч. ст. № 11(71) / ВолгГТУ. – Волгоград :
ИУНЛ ВолгГТУ, 2010. – (Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. Вып. 9). – С. 44–46.
4. Hartley R., Zisserman A. Multiple View Geometry in
Computer Vision – 2nd. – Cambridge University Press, 2003. –
672 p.
5. Rusu R. B. Semantic 3D Object Maps for Everyday
Manipulation in Human Living Environments – Computer
Science Department, Technische Universitaet Muenchen,
Germany, 2009.
6. Rusu R. B., Sundaresa A., Morisset B., Agrawal M.,
Beetz M. Leaving Flatland: Realtime 3D Stereo Semantic Reconstruction – In Proceedings of ICIRA (1)'2008. – 2008,
pp. 921–932.
7. Szeliski R. Computer Vision: Algorithms and Applications – Springer-Verlag New York, LLC, 2010. – 979 p.
УДК 004.4’236
Д. А. Ересько, О. А. Шабалина
ЯЗЫК ВИЗУАЛЬНОГО ПРОГРАММИРОВАНИЯ ДЛЯ ФОРМИРОВАНИЯ
ПОВЕДЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ АГЕНТОВ
Волгоградский государственный технический университет
E-mail: Eresko.Dmitriy@gmail.com, O.A.Shabalina@gmail.com
В данной статье описано развитие языка визуального программирования для формирования поведения
интеллектуальных агентов, концепция которого была предложена авторами ранее. Показаны улучшения базовой версии и присвоены новые элементы языка – описание взаимодействия парадигм программирования,
введение строгой типизации и добавление элементов функционального программирования, описание способов формирования элементов языка, не приведенных ранее. Приведен пример описания поведения интеллектуального агента, демонстрирующий возможности текущей версии.
Ключевые слова: визуальное программирование, язык визуального программирования, интеллектуальные агенты, алгоритмы поведения.
D. A. Eresko, O.A. Shabalina
VISUAL PROGRAMMING LANGUAGE FOR DEVELOPMENT
OF INTELLIGENT AGENTS BEHAVIOR
Volgograd State Technical University
In this paper we describe modification of visual programming language for intellectual agents’ behavior development that we introduced in the previous publication. Improvements of the basic version and new elements of the language are suggested including the interaction between programming paradigms, strong typing, elements of functional
programming, language elements description. An example demonstrating the possibilities the language is shown.
Keywords: visual programming, visual programming language, intelligent agent, algorithms behavior.
Документ
Категория
Без категории
Просмотров
22
Размер файла
698 Кб
Теги
анализа, облако, метод, зрения, роботов, трехмерная, система, pdf, применению, точек, техническое
1/--страниц
Пожаловаться на содержимое документа