Материал: Системы технического зрения. Литвиненко А.М., Машаров А.В

изображений в другие с помощью линейных операторов. Обычно смысл подобных манипуляций состоит в том, чтобы уменьшить влияние помех, сузить динамический диапазон изображения или подчеркнуть некоторый его аспект. Зато на последующих этапах работы зрительной системы изображение становится более доступным для анализа. Подобные методы фильтрации часто применяются в системах выделения краев объектов в качестве шагов предварительной обработки.

.

В некоторых случаях для оценки свойств, присущих изображаемым поверхностям, можно попробовать обратить этот процесс.

Выделение краев, представляющее собой как бы дополнение к сегментации изображения. Представляющие интерес особенности сцены (граница, по которой один объект загораживает другой) часто приводят к разрывам в функции яркости или в ее градиенте. Методы выделения краев позволяют локализовать подобные участки изображения. Именно с этого места мы начинаем подчеркивать ту идею, что одной из важных сторон машинного зрения является оценка свойств изображаемых поверхностей. Задача оценки отражательных и цветовых характеристик поверхности, которая оказывается удивительно трудной.

Наконец, мы вплотную подходим к центральной проблеме машинного зрения: получение описания сцены на основе одного или нескольких изображений. Одна из точек зрения, которой придерживаются некоторые исследователи, состоит в том, что назначение системы машинного зрения заключается в обращении операции проектирования, на основе которой формируется

13

Рис. 4. Чтобы уметь по изображениям восстанавливать информацию о мире, необходимо понимать процесс формирования

изображения.

изображение. Это не совсем верно, поскольку нам нужно получить символическое описание сцены, а не восстановить картину реального мира. Все же сделанное замечание заставляет нас серьезно отнестись к изучению процесса формирования изображения (рис. 4). Главной темой становится вопрос о том, как свет отражается от поверхности. Видимая яркость поверхности зависит от трех факторов: микроструктуры поверхности, распределения падающего света, ориентации поверхности по отношению к наблюдателю и источникам света. На рис. 5 приведены изображения двух сферических поверхностей, одна из которых покрыта краской, обладающей матовой или рассеивающей отражательной способностью, а другая — металлическая, обеспе-

14

чивающая зеркальное отражение. Во втором случае мы видим реальную картину окружающего сферу мира. Ясно, что микроструктура поверхности сильно влияет на распределение яркости изображения.

Рис. 5. Наблюдаемое изображение объекта очень сильно зависит от отражательных свойств его поверхности. Абсолютно матовая и

абсолютно зеркальная поверхности представляют собой два крайних случая.

При разработке методов восстановления формы поверхности часто рассматривают поверхность в виде совокупности небольших участков, каждый из которых можно считать плоским. Если плоский участок освещается светом точечного источника, то отражение от него определяется тремя углами (рис. 6). Систематический подход, основанный на анализе яркости изображения, проводится для восстановления информации по изображениям, изменяющимся во времени и полученным с помощью камер, расположенных в различных точках пространства. На основе этих методов, можно восстановить форму поверхности, движение объекта и другую информацию, координат камеры, должны быть преобразованы в систему координат связанную с наблюдателем.

Рис. 6. Характеристики отражения света точечного источника участком поверхности объекта.

/, е, g — углы падения, излучения и фазы соответственно; N— нормаль; S, V — направления на источник света и на наблюдателя

соответственно.

ГЛАВА 1 1. ПРИНЦИПЫ ПОСТРОЕНИЯ И СТРУКТУРА СИСТЕМ

ТЕХНИЧЕСКОГО ЗРЕНИЯ РОБОТОВ

1.1. Структура и особенности систем технического зрения роботов

1.1.1.Основные функциональные задачи систем технического зрения в робототехнике

Роботы, снабженные СТЗ, достаточно широко и успешно при меняются во многих отраслях промышленности на таких операциях, как контроль и отбраковка различных деталей и изделий по внешнему виду, загрузка обрабатывающих станков деталями с конвейеров или из бункеров, сортировка и ориентированная укладка в кассеты деталей и заготовок, в том числе неупорядоченно движущихся по конвейеру или поступающих в таре навалом, сборка и комплектация узлов, сварка, окраска, упаковка изделий, монтаж электронных схем и других СТЗ используют также для обеспечения условий техники безопасности на роботизированных рабочих местах, организации учета и складирования предметов производства, маршрутизации материалопотоков в гибких производственных системах, управления мобильными транспортными роботами.

Роль адаптивных роботов с техническим зрением и элементами искусственного интеллекта еще более возрастает при расширении процесса роботизации в таких областях, как горнодобывающая промышленность, строительство, сельское и лесное хозяйство, коммунальные службы, быт, где рабочая среда носит сложный, плохо структурированный характер. СТЗ необходимы роботам, предназначенным для исследования космического и подводного пространства, используемым для тушения пожаров и при других стихийных бедствиях. В подобных приложениях СТЗ должна обеспечивать не только данные для непосредственной выработки сигналов обратной связи при

управлении движениями робота и передачу сведений об окружающей среде человеку-оператору, но и информацию для формирования роботом модели рабочей среды в целях автоматического планирования действий.

Функциональное назначение СТЗ робота в зависимости от области и конкретных условий его применения довольно многообразно. Наиболее типичными функциями, выполняемыми СТЗ в робототехнике, являются следующие: регистрация наличия объекта в поле зрения датчика внешней (по отношению к роботу) видеоинформации — видеосенсора; подсчет числа объектов, находящихся в поле зрения или прошедших перед видеосенсором; считывание и расшифровка меток (цветовых или штриховых кодов, буквенно-цифровых символов, этикеток и других маркеров); обнаружение препятствий, мешающих движениям робота; измерения геометрических и физических параметров объектов; контроль изделий на наличие видимых дефектов, полноту комплектации, соответствие эталонам; классификация (распознавание) объектов; определение местоположения и ориентации объектов в рабочей зоне робота; поиск нужных объектов на рабочей сцене; измерение скорости движущихся объектов; слежение за перемещениями и изменениями скорости объектов; визуальное определение изменений во времени наблюдаемых физических и технологических процессов; обеспечение информации для задания и коррекции траекторий рабочего органа робота в адаптивном режиме; навигация

инаведение мобильных роботов; визуальный контроль правильности выполнения операций роmботом; калибровка геометрических параметров манипулятора, привязка его системы координат к системе координат рабочего пространства; обеспечение требований техники безопасности.

Функциональные задачи СТЗ, характерные для робототехнических приложений[1,2,3], можно условно разделить по уровню их относительной сложности. К элементарным задачам обычно относят: обнаружение наличия объекта; измерение расстояния до объекта, его линейных или угловых перемещений, скорости! измерение геометрических параметров объекта (линейных

иугловых размеров, площади и т. п.); определение физических характеристик излучения от объекта (интенсивности, спектрального состава и пр.); подсчет числа объектов и др.

Более сложный круг задач выполняет, например, СТЗ, которая снабжает систему управления манипуляционного робота информацией, необходимой для захватывания неупорядоченных объектов. В число этих задач входят: обзор рабочей сцены (плоской или пространственной) для поиска представляющего интерес объекта одиночного или одного из нескольких, лежащего изолированно от других или соприкасающегося (перекрывающегося) с ними» определение местоположения и ориентации этого объекта; его классификация (если имеется несколько различных классов объектов). При этом объекты могут различаться не только размерами и формой (силуэтом), но и текстурой, цветом и т. п., покоиться или находиться в движении. Этот пример иллюстрирует тот факт, что относительная сложность функциональных задач СТЗ характеризуется целым рядом признаков, среди которых можно выделить следующие:

Размерность рассматриваемой сцены. Пространственные за-

дачи, требующие анализа трехмерных сцен, как правило, намного сложнее «плоских» задач, в которых достаточно обработки изображения одной двумерной проекции сцены на картинную плоскость. Промежуточное положение занимают квазиплоские задачи («размерности 2,5»), где рассматривается картинная плоскость с добавлением информации о «глубине» (дальности) видимых точек изображения.

Степень изолированности объектов. По этому признаку за-

дачи СТЗ классифицируются так (в порядке возрастания сложности): задачи с одиночным объектом; задачи с несколькими изолированными (т.е. несоприкасающимися) объектами на изображении; задачи с соприкасающимися (но не перекрывающимися) изображениями объектов; задачи с перекрытием одних объектов рабочей сцены другими.

Однородность объектов. Этот признак характеризует сложность задач классификации, стоящих перед СТЗ. Если все объекты, которые могут быть предъявлены СТЗ, идентичны, эта проблема вообще не возникает. При наличии ряда неодинаковых объектов задача их классификации тем сложнее, чем более «похожи» друг на друга их изображения, т. е. чем больше классифицирующих признаков необходимо для однозначного описания отличий каждого объекта от всех остальных.

18

Стационарность рабочей сцены. Изображения покоящихся объектов обрабатывать и анализировать проще, чем изображения объектов, которые перемещаются относительно видеосенсоров (например, при движении деталей по конвейеру, зрительном очувствлении мобильного робота, работе СТЗ типа «глаз на руке»).

Число элементов изображения. Чем больше размеры поля зрения и чем выше требуемая разрешающая способность СТЗ, тем сложнее задача, поскольку приходится обрабатывать больше элементов получаемого изображения (пикселов).

Число градаций яркости. Задачи, в которых достаточно анализировать силуэтные очертания объектов, т. е. работать с двухградационными (бинарными) изображениями, как правило, решаются проще задач, требующих анализа многоградационных (полутоновых) изображений.

Спектральный состав видеосигнала. Наделить робот способ-

ностью воспринимать цветные изображения, вообще говоря, сложнее, чем снабдить его монохроматическим зрением.

Кроме того, на сложность тех или иных задач СТЗ существенное влияние оказывают такие факторы, как качество освещения рабочей сцены, его стабильность, уровень оптических и электрических помех, контрастность объектов относительно фона, отражающие свойства их поверхности, и др.

Чем более сложные задачи с учетом всей совокупности описанных критериев способна решать СТЗ, тем выше уровень функциональной гибкости («интеллекта») робота может быть обеспечен с ее помощью.

Для выполнения своего функционального назначения СТЗ робота в общем случае должна обеспечивать: восприятие оптического сигнала и формирование изображения предварительную обработку изображения в целях ослабления влияния шумов, улучшения контрастности, коррекции искажений, сжатия информации и т. д.; сегментацию изображения сцены на составные части — выделение нужных объектов, их фрагментов или характерных особенностей; описание изображений — расчет их геометрических и иных характеристик, вычисление классифицирующих признаков, определение местоположения и ориентации; анализ изображения с распознаванием образов или классификацией объектов и интерпретацией сцен на основе модели проблемной среды;

2019