Материал: Системы технического зрения. Литвиненко А.М., Машаров А.В

преобразование пространственного положения точек модели и сравнение полученных конкривых с реальными данными об изображении в окрестности прогнозируемых точек соединения. Если гипотеза не подтверждается, то процедура повторяется для новой гипотезы, выдвигаемой на основе следующих по порядку кандидатов.

Близкие идеи привели к развитию методов, которые использовались для распознавания частично перекрывающихся объектов, в том числе и промышленных деталей. В число информативных фрагментов наряду с конкривыми включались уголки и другие локальные особенности контура объекта (глобальные признаки типа периметра, площади, моментов и т. п. в случае перекрывающихся деталей непосредственно неприменимы). Для формализации алгоритмов вводятся процедуры поиска на дереве (графе) решений, узлы которого соответствуют сравниваемым модельным фрагментам, причем им приписывается вероятностная мера сходства с реальностью. Выдвинутая гипотеза о положении прогнозируемых фрагментов порождает новую ветвь дерева. Важно, что вследствие перекрытия деталей вполне вероятно, что на видимой части анализируемой сцены прогнозируемые фрагменты будут отсутствовать и, наоборот, будут, восприняты ложные кандидаты, образованные случайным пересечением границ деталей.

Поэтому возможно раскрытие довольно большого числа узлов на ветви, соответствующей гипотезе, которая вначале представлялась более вероятной, прежде чем она будет отвергнута и алгоритм перейдет к другой ветви. Не исключены также возвраты на ошибочно отвергнутые ветви.

Исследования эффективности различных — в большинстве своем эвристических — алгоритмов поиска на графах решений показали, что чем больше признаков разного уровня используется для согласования, тем меньшее число гипотез, отвечающих их разумным комбинациям, приходится проверять, т. е. существует обратная зависимость между временем, затрачиваемым на формирование самих признаков, и временем, необходимым для процедуры согласования. На практике удавалось строить модели всего из 2 ... 10 примитивов. Для согласования фрагментов контуров разработаны достаточно эффективные алгоритмы, основанные на рассмотренном выше преобразовании Хафа и его модификациях. В ряде

99

опубликованных примеров распознавание и определение положения довольно сложных перекрывающихся деталей занимало менее 1 с (разумеется, время анализа сильно зависело от количества деталей в сцене, степени их перекрытия, «похожести» и других факторов.

С ростом вычислительной мощности средств обработки и анализа изображений более практическую направленность начинают приобретать исследования трехмерных рабочих сцен (см., например). При этом для описания объектов наряду с рассмотренными выше признаками требуется знать удаленность точек сцены и пространственную ориентацию элементарных площадок поверхностей объектов. Можно пользоваться дальностными картами и распределениями локальных нормалей к поверхности («игольчатыми картами»). Для получения такой информации робот может эффективно использовать стереоскопические СТЗ, сочетание фотометрических и дальнометрических сенсоров, динамические видеоданные, поступающие в результате собственных движений объектов, целенаправленного перемещения сенсоров при» активном осмотре сцен, управляемых изменений освещенности и т, п.

На следующем иерархическом уровне формирования «знаний робота» по информации, полученной от СТЗ, на основе построенных моделей объектов и описания их отношений создается модель наблюдаемой сцены. Проанализировав ряд представительных сцен, можно сформировать модель проблемной среды («модель мира робота»). При этом начинают применять методы интерактивного моделирования сцен с использованием систем автоматизированного проектирования и средств машинной графики.

Способы работы с моделями проблемной среды в процессе «понимания» изображений широко исследовались с позиций теории искусственного интеллекта. Предлагались схемы «восходящего» анализа (объединения более простых модельных представлений в более сложные), «нисходящего» анализа (поиска на рассматриваемой сцене объектов и их признаков по предварительно построенной модели), «гетерархической» организации (целенаправленной работы различных блоков анализа, связанных между собой не иерархической субординацией, а гибкими цепочками обратных связей, используемыми только при необходимости). Предпринимались попытки использовать в СТЗ теорию «фреймов»

— определенным образом организованных структур, одни элементы

100

которых заполнены априорными сведениями о мире, а другие пусты и заполняются информацией, получаемой при рассмотрении конкретных сцен. Перечисленные методы искусственного интеллекта, применявшиеся для анализа трехмерных сцен, составленных из многогранников и других простых геометрических тел. Однако в действующих СТЗ роботов подобные методы, да и вообще структурно-синтаксический подход к распознаванию и интерпретации сцен пока применяются гораздо реже, чем алгоритмы принятия решений на основе дискриминирующих функций. Возможно, одной из причин этого является то обстоятельство, что их формальный аппарат довольно сложен и еще не столь привычен специалистам практикам.

1.2.5. Сопряжение систем технического зрения с системами управления роботов

Аппаратные и программные средства, обеспечивающие взаимосвязь СТЗ и системы управления робота, а также методика их сопряжения определяются двумя основными группами факторов.

Первая группа [25,26,27,28] отражает естественную зависимость средств и методов сопряжения от аппаратуры и программного обеспечения самих сопрягаемых систем. До сих пор примеры совместного создания СТЗ и управляющих устройств промышленных роботов с единых позиций как составных частей общей информационно-управляющей системы робота крайне редки; гораздо типичнее случай, когда их разрабатывают независимо друг от друга. Поэтому при их сопряжении встают обычные технические задачи выбора конструктивов интерфейса, номинальных значений электрических параметров, принципов, способов и режимов обмена информацией, характеристик линий связи и других аппаратных средств с максимальным учетом существующих решений, заложенных как в СТЗ, так и в устройство управления робота. То же самое относится и к обеспечению программной совместимости: необходимо согласование кодов, протоколы обмена информацией, определенные системные соглашения.

При всей важности этих проблем в данном параграфе будут

101

рассмотрены более специфичные для робототехники факторы второй группы, сильнее влияющие на методику сопряжения СТЗ и системы управления робота. Речь идет о тех функциональных задачах визуального очувствления робота, которые во многом определяют способ включения СТЗ в робототехнический комплекс, принципы использования видеоинформации для управления роботом, уровень адаптивных возможностей робота с техническим зрением, а следовательно, и конкретные характеристики интерфейса, и содержание программной поддержки совместной работы двух систем.

Как уже подчеркивалось, роботы оснащают СТЗ с весьма разнообразными целями. Самая простая функция СТЗ состоит в том, чтобы на основании воспринятой, обработанной и проанализированной видеоинформации подать роботу команду на запуск некоторой жесткой программы действий, хранящейся в памяти его управляющего устройства, или, наоборот, на останов (прерывание) текущей программы и уход на какую-то жесткую подпрограмму (например, при обнаружении непредвиденного препятствия или при отсутствии объекта манипулирования в надлежащем месте). В этом случае достаточно направить от СТЗ в систему управления робота двоичный сигнал по соответствующему логическому каналу связи. Для синхронизации работы СТЗ с работой робота его цикловое позиционное, контурное или позиционно-контурное управляющее устройство может, в свою очередь, посылать запрос СТЗ о состоянии среды, а также сигнал, подтверждающий прием и выполнение полученной команды. Необходимо четко определить, какая из сопрягаемых систем будет ведущей, а какая — действовать в ждущем режиме. Возможен и асинхронный режим совместной работы с взаимным обменом запросами и подтверждениями, когда ведущей является попеременно то СТЗ, то система управления робота в зависимости от приоритетов выполняемых операций и получаемых данных.

При наличии нескольких альтернативных вариантов действий робота, зависящих от результатов зрительного анализа рабочей сцены, по команде СТЗ может быть вызвана нужная управляющая программа из набора заранее заданных жестких программ, либо может быть выполнен условный переход (согласно априорно сформулированным условиям), изменяющий последовательность

102

команд управляющей программы. Тогда СТЗ, подавая устройству управления робота сигнал, должна сообщить ему номер варианта ситуации в рабочей среде, по которому робот выберет нужное действие на основе заранее обусловленных логических правил (например, таблицы «ситуация—действие»). Иногда выбор действия осуществляется уже в самой СТЗ, и в устройство числового программного управления передается сразу код, вызывающий переход к программе (команде) с соответствующим номером. Для декодирования применяют аппаратный дешифратор или программный способ анализа. Можно также передавать сигналы от СТЗ по нескольким альтернативным каналам, каждому из которых ставится в соответствие то или иное действие робота.

В обеих рассмотренных задачах функция СТЗ ограничивается воздействием на последовательность выполнения заранее заданных жестких программ, не приводящим к их адаптивному изменению. В случае же визуального очувствления роботов не с программным, а с адаптивным управлением по результатам анализа изображения рабочей сцены в зависимости от типа, положения и ориентации объектов манипулирования (воздействия), координат целевой точки и расположения препятствий корректируются параметры управляющих программ и строятся движения, которым робот заранее обучен, не был. В современных адаптивных роботах начинают активно использоваться модели проблемной среды, которые синтезируются (уточняются) по информации от СТЗ и служат основанием для принятия решений о действиях робота, планирования его операций и формирования движений.

При сопряжении системы управления робота с СТЗ в целях обеспечения адаптивного режима функционирования наряду с описанным выше обменом командными (запускающими, блокирующими, прерывающими, синхронизирующими) логическими сигналами и кодами номеров запросов или типов ситуаций необходимо организовать передачу из СТЗ количественной информации: размеров, характеристик формы, координат и параметров ориентации объектов, результатов интерпретации сцен и нужных сведений о модели проблемной среды. Кроме того, в процессе работы СТЗ может посылать адаптивному роботу требования на выполнение различных воздействий на объекты рассматриваемой сцены для облегчения ее зрительного восприятия (например, «Убрать

103

предмет, загораживающий нужный участок поля зрения», «Раздвинуть соприкасающиеся детали» и т. п.). В свою очередь, робот может передавать в СТЗ дополнительную вспомогательную информацию о рабочей среде, получаемую им от датчиков другого типа: тактильных, силомоментных, локационных и других, за счет чего процесс зрительного анализа сцен иногда удается существенно упростить.

При установке видеосенсора непосредственно на манипуляторе робота, что позволяет осматривать сцену с разных сторон и проводить ее динамический анализ, в СТЗ должны поступать либо текущие показания позиционных (и/или скоростных) датчиков робота, либо сразу декартовы координаты видеосенсора и параметры его пространственной ориентации, а при необходимости

искорости их изменения. Еще более насыщенный обмен данными имеет место в случае визуального сервоуправления, когда по результатам визуального наблюдения непрерывно (квазинепрерывно) минимизируется отклонение текущего состояния рабочего органа робота от желаемого.

Совершенно очевидно, что при включении СТЗ в состав адаптивного робота недостаточно решать только перечисленные выше общетехнические задачи аппаратно-программного обеспечения двустороннего обмена интенсивными информационными потоками. Особую остроту приобретает не столь типичный для традиционных приложений технического зрения вопрос о согласовании систем координат СТЗ, робота и рабочего пространства. Необходимость не только временной, но и пространственной координации работы сенсорно-информационной и исполнительной подсистем адаптивного робота требует специальной методики калибровки системы.

После физического подключения аппаратуры СТЗ к устройству управления робота и проверки работоспособности интерфейса

иправильности функционирования всех линий связи видеосенсор устанавливается и фиксируется в одном из рабочих положений. Затем прежде всего проводится обычная автономная настройка СТЗ: наведение объектива на поле зрения, фокусировка, диафрагмирование, выбор чувствительности, контрастности и других параметров видеотракта, а также подбор освещения рабочей сцены и соответствующих светофильтров. Эти операции могут осуществляться как вручную человеком-оператором, так и в авто-

104

матизированном режиме с использованием алгоритмов, рассмотренных в п. 1.2.2. На этапе автономной настройки СТЗ выполняется важная процедура калибровки масштаба изображения, т. е. определяются коэффициенты пересчета горизонтального и вертикального размеров изображения объекта в картинной плоскости видеосенсора (обычно выражаемых числом пикселов) в соответствующие линейные размеры этого объекта в рабочей плоскости. Для этого можно поместить в поле зрения какой-либо эталонный объект (например, контрастный круг или квадрат с точно известными размерами) и подсчитать число элементов полученного изображения по осям х и у. Как правило, стремятся добиться изотропного усиления, т. е. масштабных одинаковых коэффициентов по горизонтали и вертикали. С помощью набора эталонных объектов удается выявить и геометрические искажения изображения вследствие параллакса, несовершенства оптики, нелинейных эффектов при обработке видеосигнала и других причин. Если влияние искажений критично для функционирования робота, эти искажения необходимо скомпенсировать (возможно, программным путем).

Аналогичным образом, помещая на рабочее поле эталонные объекты разной высоты, калибруют дальнометрические датчики, поставляющие информацию о «глубине» точек наблюдаемой сцены. Ясно, что знание масштабных коэффициентов необходимо для сопряжения СТЗ с системой управления адаптивного робота, поскольку дает возможность измерять не только относительные, но и абсолютные размеры реальных объектов, определять расстояние между точками рабочего пространства по координатам соответствующих пикселов на картинной плоскости (дополнительно используя, если нужно, дальнометрическую информацию о «глубине» этих точек). Кроме того, при обучении калиброванной СТЗ оператор легко может указать в удобных для себя единицах требуемую разрешающую способность и точность формирования изображения, ограничения на размеры объектов снизу и сверху. Слишком маленькие изолированные «объекты» на изображении будут восприниматься как шум и отфильтровываться, а появление слишком большого объекта либо трактуется как нештатная ситуация, либо вызывает иную программу формирования и обработки изображения.

105

После этапа автономной настройки и определения масштабных коэффициентов СТЗ наступает центральный момент процедуры калибровки, заключающийся в «привязке» друг к другу координатных систем СТЗ и робота. Это делается для того, чтобы при работе в адаптивном режиме количественные данные о местоположении и ориентации объектов, поступающие от СТЗ, можно было преобразовать в соответствующие движения робота в рабочем пространстве. Обозначая, как и в п. 1.2, систему координат, связанную с телевизионной камерой, через 0KXKYKZK, а систему координат, связанную с основанием робота, через OpXpYpZp, будем искать 4х4-матрицу однородных координат Т£, задающую переход из 0KXKYKZK в OpXpYpZp.

Рис. 1.8. Калибровка робота с СТЗ по методу триангуляции

Один из способов получения этой матрицы перехода может быть основан на независимой привязке систем координат камеры и робота к некоторой абсолютной системе координат OaXaYaZa,

координат, измеряемых СТЗ, в абсолютную координатную систему. Для задания последней матрицы можно найти координаты начала абсолютной системы Оа на изображении и либо воспользоваться знанием уже полученных масштабных коэффициентов, либо специально измерить в СТЗ координаты изображений известных точек, лежащих на координатных осях системы OaXaYaZa. Напомним, что в робототехнике часто рассматриваются двумерные рабочие сцены; тогда нет надобности определять z-координату. Обычно считается, что ось 0KZK направлена вдоль оптической оси телекамеры. Если при этом направить ось OpZp робота параллельно

оси 0KZK, то преобразование Tкр сведется к переносу начала

координат и к повороту вокруг него на определенный угол. В случае сцен «размерности 2,5» информация о точке, лежащей на оси OaZa, получается, от дальномера. При необходимости зрительного анализа трехмерных сцен пространственные координаты требуемых точек по их изображениям в СТЗ можно получить, например, с помощью нескольких видеосенсоров и/или дальномеров.

Следует отметить, что описанная методика привязки координатных систем телекамеры и робота с промежуточными переходами в абсолютную систему координат имеет определенные недостатки. Во-первых, необходимы затраты труда и времени на получение

преобразований Tар и Tка , которые для многих робототехнических

задач не всегда бывают нужны сами по себе. Во-вторых, возрастает объем дополнительных вычислений на перемножение получаемых матриц. И главное, в-третьих, накопленная погрешность итогового

преобразования Tкр включает погрешности обоих промежуточных

переходов. Кроме того, необходимо иметь в виду, что для расчета перемещений рабочего органа робота по информации от СТЗ после преобразования в систему координат, связанную с основанием

робота, которое описывается матрицей Tкр далее требуется решать

обратную кинематическую задачу, т. е. по требуемому состоянию рабочего органа робота в системе OpXpFpZp находить значения всех управляемых координат робота — шарнирных углов, поступательных перемещений звеньев. Эта операция также вносит свою (и немалую) погрешность. Например, робот PUMA-560 способен обеспечивать повторяемость при позиционировании ±0,1

107

мм, но абсолютная погрешность позиционирования при расчете целевых значений управляемых координат путем решения обратной кинематической задачи в некоторых случаях достигает нескольких миллиметров. Поэтому суммарная погрешность всех преобразований при комплексной калибровке может оказаться неприемлемой.

В связи с этим на практике получила распространение методика непосредственной калибровки СТЗ совместно о роботом без промежуточных преобразований в абсолютную систему координат. Она состоит в том, что в поле зрения видеосенсора помещают эталонный объект, на котором СТЗ способна четко выделить калибровочную точку. В качестве такого объекта можно взять, например, круг с небольшим отверстием в центре, поскольку известно, что погрешность определения координат центра кругового изображения обратно пропорциональна его радиусу. На рабочем органе робота укрепляют специальный указатель, острие которого как можно точнее выводят в калибровочную точку. Непосредственно по показаниям позиционных датчиков робота, измеряющих значения его управляемых координат в данной конфигурации, рассчитывают положение калибровочной точки в системе OpXpYpZp (заметим, что при этом решается не обратная, а прямая кинематическая задача). Таким образом, получают первое соотношение между положениями точки в картинной плоскости СТЗ и в системе координат, связанной с роботом. В случае

двумерной сцены искомую матрицу преобразования Tкр можно

найти, повторив эту процедуру для трех независимых точек плоскости .

Если стоит задача калибровки СТЗ для работы с трехмерными сценами, то требуется провести независимые измерения в шести 1 точках, по аналогичной методике выводя в них указатель робота и обрабатывая показания его позиционных датчиков. В ряде случаев вместо указателя на конце манипулятора укрепляют специальную трехмерную конструкцию, на которой можно сразу локализовать несколько калибровочных точек. Один из возможных вариантов калибровки по методу триангуляции иллюстрирует рис. 1.8, где показано измерение пространственных координат перемещаемого роботом кубического отражателя с помощью двух лазерных СТЗ,

108