Материал: Системы технического зрения. Литвиненко А.М., Машаров А.В

Рис. 1.7. Вид функций Фm, используемых при расчете независимых классифицирующих признаков

В отличие от моментных инвариантов, предложенные признаки рассчитываются не по всем пикселам объекта, а лишь по сравнительно небольшому числу контурных точек (причем не обязательно упорядоченных в контурную последовательность). В то же время благодаря интегральности признаков такой метод устойчив к небольшим . локальным вариациям контура в противоположность методам, основанным на разложении контурной линии в ряд. Большим достоинством предложенных инвариантов является их однородность. В отличие от приведенных выше традиционных признаков, все Jm для т = 1, 2, ... рассчитываются по единому алгоритму, отличаясь друг от друга исключительно видом функций Фm. На практике в качестве Фm использовались функции, показанные на рис. 1.7. Их аргументами служат меры расстояний между парами контурных точек.

Важно, что при реализации алгоритма расчета признаков Jm открывается возможность эффективно распараллеливать вычисления, выполняя однотипные вычислительные операции на каждом из трех уровней: при расчете расстояний между всеми парами контурных точек; при получении всех членов суммы как значений однородных функций Фm, различающихся лишь сдвигом по аргументу; и, наконец, при нахождении инвариантов Jm для разных т по единому алгоритму.

Определение положения. Важной задачей этапа описания изображений является получение количественной информации о местоположении объектов в рабочем пространстве робота. В принципе пространственные координаты выделенных характерных точек объекта можно определить известными методами триангуляции, используя стереоскопические установки, измерения с

помощью нескольких дальнометрических сенсоров или комбинаций телекамеры и дальномеров, а также перемещения одного видеосенсора для последовательных осмотров сцены с разных точек зрения. Однако наиболее типичной задачей локализации объектов, которая решается СТЗ, широко применяемыми в промышленной робототехнике, пока можно считать определение координат хц, г/ц центра формы изображения объекта на опорной плоскости, когда удается перейти от трехмерного случая к двумерному.

При расчете координат центра формы, как правило, используются отношения моментов для данного объекта:

где суммирование ведется по i, j, принадлежащим объекту, т. е. связной области изображения, заполненной «1». Иногда для грубой локализации объектов можно воспользоваться следующими

соответствующие индексы обозначают максимальные и минимальные значения абсцисс и ординат, ограничивающих зону, занятую изображением объекта в кадре. В описан ряд нашедших применение на практике методик определения некоторых характерных точек внутри изображения объекта с помощью набора отдельных датчиков, заранее устанавливаемых человеком в нужных местах согласно результатам предварительного анализа конкретной партии объектов.

Измерив тем или иным способом пространственные координаты нескольких должным образом выбранных точек объекта, нетрудно вычислить его габаритные размеры, максимальный и минимальный радиусы и другие характерные размеры. Этот же подход в принципе можно использовать для определения ориентации объекта в рабочем пространстве, которую наряду с типом, координатами и размерами объекта необходимо знать для правильного формирования действий робота.

Определение ориентации. В СТЗ промышленных роботов эта задача чаще всего решается в предположении, что объекты находятся на известной рабочей плоскости (столе, конвейере) в одном из конечного числа устойчивых состояний. Применяемые для решения задачи в такой постановке алгоритмы можно разделить на следующие группы.

Алгоритмы первой группы основаны на определении ориентации по относительным положениям каких-либо двух выделенных точек изображения объекта: по направлению максимального (или минимального) радиуса-вектора относительно координатных осей

рабочей плоскости; по направлению вектора, идущего из (xц , yц )

некоторую характерную точку объекта (например, в центр наибольшего отверстия, в угол или какую-либо другую локальную особенность контура), либо соединяющего две такие характерные точки. Подобным методам присущ общий недостаток, связанный с тем, что на стадии обучения СТЗ робота нужен достаточно квалифицированный оператор, способный правильно выбрать и указать нужные «характерные точки» объектов. Кроме того, как указывалось выше, на практике трудно добиться высокой точности измерения координат локальных особенностей изображения.

Вторая группа алгоритмов обеспечивает определение ориентации объекта по вычисляемому через моменты направлению главных осей инерции его центрированного изображения. Угол q наклона оси минимального момента инерции к горизонтали можно

сравнительно несложен в реализации и не требует высокой квалификации оператора. Однако он непригоден в случае изображений объектов с одинаковыми главными моментами инерции (например, для широко распространенных в робототехнических приложениях

91

деталей квадратного сечения), когда числитель и знаменатель в правой части приведенной выше формулы одновременно обращаются в нуль. Кроме того, ориентацию по этому методу

несимметричных объектов однозначно, поскольку неопределенность

симметричным объектам неприменима и эта модификация метода главных осей инерции.

При практическом использовании роботов с СТЗ угол ориентации, необходимый для задания движения робота, удобно отсчитывать не от координатных осей рабочей плоскости, а по углу поворота объекта в этой плоскости относительно некоторой «эталонной» ориентации, в которой объект был предъявлен роботу на стадии обучения (считается, что при таком повороте центры формы объекта в текущем и эталонном предъявлениях предварительно совмещены). В этом случае описываемое изображение G (i, j)

каждому используемому для сравнения пикселу формул преобразования поворота G3 (i, j) -> Gkэ (i, j) . Искомая ориентация

соответствует тому угловому положению эталона, при котором достигается минимум какой-либо меры рассогласования изображений

где суммирование ведется по всем сравниваемым точкам изображе-

Вместо минимума меры рассогласования иногда ищут максимум меры сходства с эталоном, например нормированной функции

92

корреляции

Для ускорения вычислений применяют методы Фурьепреобразования, в том числе реализуемые аппаратными средствам:

R( ) F 1[F (g)F (g э )]

Чтобы обойтись без последовательных «поворотов» изображений, предлагалось вводить определенные преобразования исходной функции яркости. Например, если разложить в ряд Фурье дискретизованную функцию вида

можно воспользоваться тем фактом, что при изменении ориентации

nэ — фаза, определенная для эталонного изображения на стадии

обучения. При реализации этого алгоритма некоторые трудности (помимо громоздкости вычислений) вызывает проблема адекватного выбора номера n.

Для уменьшения объема перерабатываемой информации можно рассчитывать спектр не для всего изображения объекта, а только для его границы. Так, разложив в ряд Фурье описанное в

большему абсолютному значению Сn.

Еще один подход к уменьшению числа обрабатываемых точек изображения состоит в изучении «круговых сечений», когда рассматриваются только пересечения изображения объекта с од- ;

ной или несколькими окружностями с центром в точке (хц, уц).: 93

Например, можно пользоваться функцией корреляции изображения с эталоном вдоль окружности фиксированного радиуса r0:

R( ) g(r0 ,)g э (r0 , ) /[ g 2 (r0 ,)]1 / 2

Можно на стадии обучения запомнить последовательность длин дуг, проходящих внутри эталонного изображения и вне его, а на стадии работы сопоставлять с ней аналогичную последовательность, полученную для текущего изображения объекта.; Алгоритмам этой группы свойственна большая чувствительность точности определения ориентации даже к небольшим погрешностям измерения координат центра формы. Кроме того, вследствие отсутствия формальных критериев выбора радиуса г0, кругового сечения для обучения СТЗ необходимо привлекать [квалифицированных операторов; Описан подход, сочетающий идею круговых сечений и аппарат Фурье-анализа и обеспечивающий автоматический выбор всех необходимых параметров алгоритма определения ориентации. Вводится понятие степени симметрии

изображения объекта L 2 / min , где min — минимальный угол,

на который нужно повернуть изображение объекта вокруг центра формы, чтобы повернутый силуэт совпал с исходным. Это число связано с периодом функции g(r, ) по углу и равно номеру

первого отличного от нуля коэффициента разложения этой функции в ряд Фурье по дуге окружности фиксированного радиуса г, пересекающей изображение объекта.

Для уменьшения влияния шумов дискретизации и погрешностей измерения на стадии обучения СТЗ автоматически выбирается радиус, максимизирующий модуль соответствующего коэффициента Фурье:

На практике расчеты ведут по формуле:

94

полярные углы, соответствующие последовательным точкам пересечения окружности с контуром объекта. После выбора г„ искомая

соответствует эталонному изображению. В связи с тем, что расчет тригонометрических функций проводится не во всех точках контура, а только в точках его пересечения с окружностью, число которых в робототехнических задачах обычно бывает невелико, этот метод обладает высокой вычислительной эффективностью. Он удобен также тем, что от оператора при обучении требуется просто предъявить объект в эталонной ориентации без указания какой-либо информации о его характерных точках.

Анализ изображения. Закончив описание изображения, СТЗ переходит к следующему этапу, на котором осуществляется более или менее полная интерпретация наблюдаемой рабочей сцены. Одной из главных задач этапа анализа изображения в робототехнических приложениях является распознавание объектов, т. е. отнесение их к определенному типу. Если все возможные типы объектов известны заранее, то говорят о классификации объектов. Теория распознавания образов представляет собой самостоятельную и достаточно разносторонне освещенную в литературе научную дисциплину. Здесь мы лишь напомним несколько общих ее принципов, активно используемых в робототехнике. Среди основных алгоритмов распознавания (классификации) объектов можно выделить две следующие крупные категории средствами:

Первая категория базируется на теории принятия решений.

пространстве признаков, Координатами этого вектора могут служить, например, любые из рассмотренных выше классифицирующих признаков, количественные характеристики формы изображения объекта, параметры его математического описания в виде аналитических уравнений, показатели его яркости, цвета, текстуры, значения логических переменных, указывающие на наличие или

«лингвистического» подхода, и др. Согласно теории принятия решений, в общем случае нужно найти М дискриминирующих

d M ( p*) dl ( p*) при всех i = 1, М. Дискриминирующие функции можно искать, например, в виде разложения по системе каких-либо

Коэффициенты wmk разложения получают в результате обучения путем предъявления достаточно представительной выборки объектов с точным указанием принадлежности каждого из них к одному из перечисленных классов.

При построении дискриминирующих функций часто используют процедуры согласования с «эталонным» вектором признаков. В

качестве эталонного вектора еm для класса k ( p) можно взять,

например, вектор, координаты которого являются средними значениями соответствующих координат всех объектов из данного класса, предъявленных в обучающей выборке. Тогда для классифицируемого объекта с вектором признаков р* можно вычислить евклидовы расстояния в n-мерном пространстве признаков

дого класса и выбрать «ближайшего соседа>>, т. е. класс, соответ-

Следует отметить, что на практике в СТЗ промышленных роботов иногда не переходят в «-мерное пространство признаков, а применяют концептуально упрощенную и в общем случае несколько менее эффективную процедуру непосредственного согласования исходного изображения G(i, j) с «шаблоном» — эталонным изображением Еm (i, j) объекта данного класса. Принятие решений о классе предъявленного объекта можно осуществлять по минимуму

96

Em (i, j) о изображением вызывает пики взаимно корреляционной

ij

втой области ( , ) , где в поле зрения присутствует образ

искомого объекта.

Как указывалось выше, при расчетах такого рода целесообразно пользоваться прямым и обратным преобразованием Фурье

F 1[F(Em )F(G)], ориентируясь на их аппаратную реализацию,

поскольку программные алгоритмы поточечного согласования, вообще говоря, требуют значительных затрат времени. Кроме того, подобные меры чувствительны к шумам и геометрическим искажениям и не всегда обеспечивают инвариантность к сдвигам и поворотам объектов. Поэтому сопоставление G и Е стараются проводить для объектов, фиксируемых в определенных положениях. Предлагалось также сопоставлять не все поле зрения, а лишь некоторые фрагменты изображения внутри подбираемого окна, покрывающего окрестность выделенной характерной особенности объекта. Часто алгоритмы принятия решений дополняют логическими процедурами выбора мер сходства и различия, наведения окна и другой настройки СТЗ. Так, за счет введения сравнительно простых эвристических правил, учитывающих конкретные особенности задачи, обеспечивается возможность распознавания места захватывания деталей путем сопоставления участков изображения с согласованным фильтром в виде проекций параллельных губок захватного устройства.

Вторую категорию методов классификации образов составляют структурно-синтаксические методы. Они базируются,

97

прежде всего, на анализе структурных отношений между «примитивами» (простейшими фрагментами, составляющими образ объекта, — прямолинейными участками границы, дугами окружностей, уголками, отверстиями и т. п.) и между их упорядоченными наборами.

Разработан целый ряд различных синтаксических методов, таких как формальные грамматики порождения и разбора лингвистических описаний классов образов, процедуры проверки правильности преобразований, правила представления структурных отношений в виде деревьев, графов, сетей. В развитие чисто синтаксического подхода предпринимаются попытки ставить в соответствие каждому символу языка определенные семантические оценки, скажем, списки логических или количественных характеристик. Для количественного описания отношений между фрагментами сцены предлагалось, например, с каждым из них связать свою систему координат и поставить ей в соответствие узел графа, ребрами которого служат пространственные преобразования из одной системы координат в другую.

Совокупность примитивов и других признаков объекта вместе с формализованным описанием их отношений образует модель этого объекта. Для моделирования промышленных деталей был применен метод соединенных кривых (употребляется и термин «конкривые»): на границе объекта выделяются участки, аппроксимируемые прямолинейными отрезками (которые задаются своими концевыми точками) либо дугами окружностей (для задания которых запоминаются центр, радиус, угловой размер и ориентация). В результате исходное изображение размером в 50 ... 100 тыс. пикселов преобразуется в модельное представление типичной детали совокупностью нескольких десятков конкривых, для каждой из которых известны ее соседи.

Общий принцип распознавания заключается в выполнении следующих повторяющихся шагов: 1) хранящиеся в памяти описания конкривых модели попарно сопоставляются с конкривыми, выявляемыми на анализируемой сцене, и осуществляется упорядочение кандидатов на совпадение согласно оценке сходства каждой пары; 2) по нескольким «совпавшим» участкам (в порядке убывания сходства) выдвигается гипотеза о местоположении и ориентации детали; 3) на основе этой гипотезы выполняется геометрическое

98