Материал: Системы технического зрения. Литвиненко А.М., Машаров А.В

подходы к сегментации изображений пространственных сцен, основанные на дальнометрической информации. При квазиплоском представлении сцены (размерности 2,5) в качестве свойства S, по которому проводится сегментация, может выступать не только

где наблюдаются скачки дальности, может проводиться с помощью алгоритмов сегментации, в принципе аналогичных описанным выше. Предлагались и локальные операторы дальностной сегментации, основанные на измерениях в кольце,

окружающем данную точку. Набор последовательных отсчетов дает сигнал конечной продолжительности, зависящий от угла визирования. Фурье-анализ этого сигнала .позволяет выделить гладкие участки и резкие скачки, оценить поле градиентов дальности. Эта информация не только может существенно облегчить обработку яркостных изображений, но и сама оказывается очень ценной при построении геометрических моделей среды. Непосредственное измерение или вычисление методом триангуляции координат характерных особенностей сцены, выделенных при сегментации, дает возможность аппроксимировать соответствующие области участками плоскостей или других поверхностей.

1.2.4. Принципы описания и анализа изображений

Согласно принятой терминологии, описание изображения — это преобразование исходной или предварительно обработанной двумерной функции в совокупность количественных (числовых) и/или качественных (логических, вербальных) характеристик, нужных для решения поставленной перед СТЗ задачи[20,21,22,23,25] В робототехнике этап описания изображений, как правило, сводится к, получению совокупности признаков для классификации объектов рабочей сцены, определению параметров их положения, ориентации, размеров и пр.

Расчет признаков. Классифицирующие признаки в типичных

робототехнических задачах должны обладать инвариантностью к изменениям местоположения и ориентации объекта в рабочей зоне. В качестве таких признаков могут непосредственно использоваться цвет, текстура, яркость объектов. Однако более распространены признаки, которые характеризуют форму получаемых изображений объектов. В литературе сопоставляются так называемые «методы определения формы по х», где под х понимаются самые разнообразные факторы, такие, как распределение полутонов на изображении, контуры объектов или границы их перекрытий, текстура, стереоскопические данные, дифференциальная информация об изменениях изображений на последовательности кадров, а также различные комбинации перечисленных и других возможных факторов.

Признаки формы вычисляются как по глобальным свойствам областей изображения, представляющих объекты, так и по локальным характеристикам контурных границ этих областей или их фрагментов. Можно разделить множество алгоритмов расчета признаков и по другому принципу. Одна большая группа алгоритмов базируется на формальных методах, задаваемых с помощью математических выражений (расчет коэффициентов аппроксимирующих полиномов, разложений в спектры, интегральных инвариантов, топологических показателей и т. п.). Другая группа охватывает так называемые «лингвистические» методы классификации образов, для которых признаки выбираются (в результате предварительного исследования человеком конкретных классов объектов) в виде описаний качественных свойств отдельных;- фрагментов и их отношений — способов соединения или взаимного расположения характерных элементов рабочей сцены. Лингвистический подход, свойственный для теории искусственного интеллекта, использовался для анализа («грамматического разбора») сцен, составленных из многогранников и других классических геометрических тел. Был разработан целый ряд методов представления таких сцен в виде совокупностей простейших элементов («примитивов»), описываемых графами отношений, целенаправленного поиска особенностей графического препарата на основе выдвижения гипотез (в качестве этих особенностей обычно принимались различные виды пересечений двух и более отрезков контурных линий — углы, стрелки, острия, Т-, L-, К-, Х-образные

пересечения).

Некоторые из выдвинутых при этом идей нашли отражение и в робототехнике, где иногда удается применять эвристические правила классификации объектов путем проверки наличия априорно заданных характерных фрагментов (выступов, отверстий, изломов границ определенного типа), находящихся в нужном пространственном соотношении. Для формального описания фрагментов границы нашли применение алгоритмы, основанные на преобразовании Хафа и его модификациях. Отрезок контурной линии, описываемый некоторым уравнением в декартовой системе координат, преобразуется в точку в пространстве параметров этого уравнения. Каждой точке исходного контура, которая лежит на кривой такого же вида, соответствует определенная кривая в пространстве параметров. Разбив это пространство на ячейки, строят гистограмму числа прохождений кривых, отображающих каждую контурную точку, через эти ячейки. Пики на полученной гистограмме свидетельствуют о большой вероятности наличия на изображении фрагмента, который описывается кривой с соответствующими параметрами.

Необходимо отметить, однако, что в СТЗ промышленных роботов гораздо шире распространены не чисто лингвистические алгоритмы, а методы описания формы объектов смешанными наборами признаков из двух указанных выше групп, которые можно назвать «геометрическими признаками».

Геометрическими признаками, характеризующими изображение объекта, могут быть его площадь, периметр, (нормированное отношение площади к квадрату периметра), размеры вписанного и описанного прямоугольников, длины максимального, минимального и среднего радиусов-векторов (соединяющих геометрический центр изображения объекта с его границей), значения их отношений к периметру или друг к другу, угол между максимальным и минимальным радиусами-векторами. Эти признаки так же, как и число отверстий, число углов, число выступов и т. п., инвариантны к перемещениям изображения в картинной плоскости. Они широко используются для описания формы плоских фигур в СТЗ роботов при классификации объектов по двумерным проекциям и уже начинают применяться в трехмерном случае для выбора представления элементарных поверхностей, аппроксимирующих

видимые участки пространственных объектов. Ясно, что зная математическую модель объекта, можно найти и его требуемые геометрические характеристики. Общая теория и разнообразные алгоритмы синтеза математических уравнений, количественно описывающих линии, фигуры и тела по набору измерений, всесторонне освещены в литературе. На практике наиболее широко пользуются методами аппроксимации фрагментов контурных линий совокупностью отрезков прямых, дуг окружностей или кусочнополиномиальными представлениями, коэффициенты которых определяются по методу наименьших квадратов. Не останавливаясь подробнее на этом хорошо исследованном вопросе, подчеркнем, что во многих робототехнических задачах некоторые из перечисленных выше геометрических признаков удается вычислить непосредственно по цифровому представлению изображения, минуя стадию его аналитического описания в виде математической модели.

Рассмотрим, например, бинарное изображение силуэта объекта. Площадь S объекта можно оценить, подсчитав общее число единиц в массиве яркостей, представляющем поле зрения. Для компактного изложения алгоритмов введем функцию n (<M>), указывающую на число совпадений с некоторой эталонной маской (М) при сканировании изображения. В этих обозначениях можно

крайним левым и верхним элементам объекта, полностью окруженного фоном, можно получить следующую оценку его периметра:

P ~ 2n( 01 ) 2n( 10 )

Более точные оценки получаются при использовании набора эталонных масок, объединенных в «двоичные четверки»:

S ~ 0,25n(Q1 ) 0,5n(Q2 ) 0,875n(Q2 ) n(Q4 ) 0,75n(Q5 ) P ~ n(Q2 ) (1/ 2)[n(Q1 ) n(Q3 ) 2n(Q5 )]

Коэффициентами пропорциональности при расчетах S и Р по приведенным выше формулам служат соответственно площадь пиксела и длина его стороны.

«Пользуясь введенными эталонными масками, находят и еще один геометрический признак — число Эйлера Е, равное разности между числом связных областей и числом отверстий на изображении данного объекта, которое служит важной топологической характеристикой его формы:

E 0,25[n(Q1 ) n(Q3 ) 2n(Q5 )]

К сожалению, простые геометрические признаки, хорошо понятные человеку и несложные в реализации, далеко не всегда обеспечивают однозначное распознавание объектов. Так, на рис. 1.6 показаны примеры силуэтов двух разных объектов, имеющих абсолютно одинаковые площадь, периметр и все другие перечисленные выше геометрические признаки. Разумеется, в каждом конкретном случае человек может в конце концов понять, чем отличаются объекты друг от друга, и указать правила их классификации. Однако при обучении СТЗ робота в производственных условиях человеку в силу недостаточной квалификации или дефицита времени бывает трудно или нежелательно каждый раз самому обдумывать, какой набор признаков лучше выбрать для надежной классификации всех объектов партии.

83

Рис.1.6. Примеры объектов с одинаковыми традиционно используемыми признаками

В тех случаях, когда номенклатура объектов, с которыми должен работать робот, достаточно широка или они трудно различаются человеком-оператором, вместо эвристических правил, задаваемых в рамках лингвистического описания геометрических свойств, или в дополнение к этим правилам целесообразно пользоваться формальными инвариантами, однозначно решающими задачу. Формальные процедуры дают возможность автоматически (т. е. без творческого участия человека-оператора) выби

рать достаточное число нужных признаков на этапе обучения СТЗ робота, когда ей предъявляются все типы рабочих объектов, с которыми придется иметь дело роботу на данной производственной операции, и точно .указывается их принадлежность тому или иному классу. Опишем некоторые системы формальных признаков, применяемые в СТЗ роботов.

Контур объекта можно охарактеризовать его кривизной К (s), задаваемой в функции от длины s, отсчитываемой вдоль контура от некоторой фиксированной точки. Для замкнутого контура К (s) — периодическая функция с периодом, равным периметру контура Р. Поэтому коэффициенты разложения указанной функции в ряд Фурье дают полную систему признаков данного объекта. Вместо К (s) можно взять и другое описание контурной кривой. В предлагалось раскладывать в ряд Фурье безразмерное отношение

( ) r( ) — уравнение контура в полярной системе

координат с полюсом в центре формы объекта. Аналогично можно рассмотреть периодические функции х (s), у (s), представляющие кривую на координатной плоскости (х, у). На этой основе был предложен ряд практически эффективных вычислительных схем для расчета классифицирующих инвариантов. Например, дискретное

85

84

представление контура рядами Фурье с конечным числом членов N может иметь вид

Коэффициенты av, bv, cv, dv, называемые «эллиптическими признаками», рассчитывают по формулам:

инвариантны к сдвигам и поворотам изображения и могут использоваться для классификации объектов. Если возможны изменения масштабов (например, при вариациях расстояния от камеры до рабочей плоскости), то переходят к нормализованным

характеристики кривых удается получить непосредственно из их цепных кодов. Следует отметить, однако, что алгоритмам расчета признаков на основе изменений кривизны и тому подобных свойств контура присущ общий недостаток локальных методов — большая чувствительность к шумовым искажениям границ объектов.

Во многих алгоритмах классификации, базирующихся на интегральных свойствах областей изображения, в систему формальных признаков входят моменты функции яркости изображения или их комбинации. Для дискретизованного изображения объекта момент Mpq порядка р + q (p, q — целые положительные числа) определяется выражением

где хд, уц — координаты центра формы объекта (их расчет описан ниже), а суммирование ведется по всем пикселам этого объекта. Непосредственная вычислительная реализация последней формулы может не уложиться в реальное время. Сложность вычисления моментов резко возрастает с ростом их порядка. Поэтому на практике в СТЗ роботов удается использовать лишь несколько моментов низкого порядка (чаще всего — до второго),

для расчета которых были построены специальные микросхемы и предложены упрощенные алгоритмы программной реализации. Например, моменты первого и второго порядка бинарного изображения объекта можно найти с помощью простых арифметических выражений:

n

где суммирование ведется от начального n0 до конечного пк пиксела однородного линейного сегмента объекта; Y — константа; d = nк - n0 + 1; S (n) = n (n + 1) (2n + 1)/6.

Для этого случая весьма информативными инвариантными признаками служат собственные числа матрицы моментов второго порядка

n

S - площадь объекта. Следует подчеркнуть, что, несмотря на «популярность» моментных инвариантов, с их помощью далеко не

88

всегда удается на практике классифицировать детали, широко встречающиеся в робототехнических задачах. Например, объекты, представленные на рис. 1.7, имеют совершенно одинаковые моменты как первого, так и второго порядков. Теоретически, неограниченно повышая порядок моментов, можно получить нужную полноту системы классифицирующих признаков. Однако отмеченная выше вычислительная сложность моментных инвариантов, резко усиливающаяся с увеличением порядка, не позволяет рассчитать достаточно большой их набор в реальном времени.

Была предложена иная система формальных классифицирующих признаков, инвариантных к сдвигам и поворотам изображения объектов. Для контурной последовательности точек

{( x , y )}, вычислительная формула для расчета предложенных

признаков — интегральных функционалов Jm, т = 1, М, имеет следующий вид:

где { m (u)} — система М функций, обладающих тем

свойством, что их первые производные кусочно-непрерывны для u > О и линейно независимы в их общей области определения. Доказано, что набор Jm, образует систему функционально независимых величин (т. е. ни одна из них не является функцией других). Этот факт служит основой регулярного метода формирования классифицирующих признаков с расширением размерности М признакового пространства по мере необходимости. Это позволяет уже на этапе обучения автоматически отобрать необходимое количество признаков, не привлекая квалифицированных специалистов к исследованию каждой новой партии деталей, что облегчает работу с СТЗ робота в реальных производственных условиях.

89