аппаратную часть СТЗ, оптимизировать условия освещения, положения видеосенсоров, целенаправленно модифицировать классифицирующие признаки, гибко перестраивать алгоритмы в целях максимального приспособления к особенностям конкретной задачи.
Чем более высокий уровень функциональной гибкости требуется от робота с техническим зрением, тем более глубокая обратная связь необходима между всеми основными операциями СТЗ.
Процедуры формирования, обработки, сегментации, описания и анализа изображений целесообразно строить итеративно так, чтобы в зависимости от результатов данной фазы происходил либо переход к очередному этапу, либо его пропуск, либо возврат на какую-либо из предшествующих стадий, причем с активным использованием полученных знаний и результатов текущих операций для улучшения процесса технического зрения.
При выборе структурной организации СТЗ робота необходимо исходить из требований технического задания, состава и назначения используемых функциональных блоков, сравнительных достоинств и ограничений возможных вариантов их реализации. Из структурной и функциональной схем должно быть видно, какие блоки реализуются аппаратными, какие программными, а какие аппаратно-программными средствами. Составляя схему, следует указать информационные и командно-логические связи между всеми функциональными блоками, а также их взаимодействие с вспомогательными блоками СТЗ (например, блоком контроля и диагностирования, видеомонитором, пультом оператора) и с системой управления робота. Степень детализации схемы зависит от ее целевого назначения, стадии проектирования СТЗ и глубины проработки ее составных частей, от соотношения числа типовых и оригинальных блоков, способов их соединения, принципиальной важности учета тех или иных предположений, пожеланий, технических решений, выдвинутых на данной стадии, для дальнейших этапов разработки, внедрения и эксплуатации СТЗ. Более подробно обобщенную структурную схему СТЗ можно представить так: Система содержит: К. осветительных устройств; L видеосенсоров; М схем аналоговых преобразований сигналов; N блоков, обеспечивающих оцифровку изображения (возможно, с
41
промежуточным хранением в буферной памяти), предварительную цифровую обработку и сжатие видеоинформации; одно или более вычислительных устройств (включая специализированные вычислительные блоки, запоминающие устройства, а также соответствующее математическое обеспечение, реализующее программные функциональные модули); блоки связи с человеком— оператором, системой управления робота, ЭВМ других уровней и т. д.
Разумеется, возможны и иные структурные и функциональные схемы СТЗ роботов. Применяемые в робототехнике СТЗ отличаются широким разнообразием. Иллюстрацией этого могут служить примеры нескольких конкретных СТЗ роботов, приведенные в последней главе книги.
1.2. Принципы построения и алгоритмического обеспечения систем технического зрения роботов
1.2.1. Аппаратные, программные и аппаратно-программные средства зрительного очувствления роботов
Правильный выбор конкретных средств реализации СТЗ робота имеет чрезвычайно важное значение для достижения нужных технико-экономических показателей и удовлетворения требований технического задания. Как правило, перед разработчиками СТЗ робота встают проблемы, связанные с неоднозначностью выбора возможных вариантов построения многих функциональных блоков, которые могут быть реализованы аппаратными, программными или аппаратно-программными средствами.
К числу аппаратных средств СТЗ относятся[12,13,14,15]: источники излучения; механические, оптические и электронные (оптико-электронные) узлы видеосенсора, включая приемники излучения; усилители, фильтры и другие преобразователи аналогового видеосигнала; компараторы, АЦП и ЦАП, схемы выборки-хранения, запоминающие устройства и прочие схемные элементы и блоки, функционирование которых не может гибко меняться по программе, задаваемой извне. Кроме того, в эту категорию формально попадает и сама аппаратура вычислительных
42
устройств, осуществляющих функциональные операции СТЗ программным путем.
Программные средства принципиально отличаются от аппаратных возможностью быстрой перестройки алгоритма их функционирования вплоть до полной смены выполняемой операции. Они обычно реализуются с помощью математического обеспечения используемых универсальных вычислительных средств (компьютеров, мини- и микроЭВМ) либо путем программирования спецвычислителей, микропроцессорных устройств, перекоммутации аналоговых вычислительных блоков.
В современных СТЗ роботов широкое применение находят различные комбинации аппаратных и программных способов реализации, совместно используемых при осуществлении многих функциональных операций. Так, в процедуре бинаризации изображения применяют аппаратные компараторы с программно изменяемым порогом сравнения, при расчете которого по гистограмме яркости программный модуль, в свою очередь, обращается к специальным аппаратным счетчикам. Другими примерами аппаратнопрограммных средств могут служить узлы настройки видеосенсора, снабженные микропроцессорами; АЦП с программно устанавливаемыми уровнями квантования сигнала; системы с программным управлением сканированием, моментами съема и параметрами схем преобразования видеосигнала; блоки аппаратной поддержки алгоритмов Фурье-преобразования или расчета некоторых классифицирующих признаков в программах обработки и анализа изображений и т. д.
Сопоставляя между собой аппаратные, программные и аппа- ратно-программные средства, используемые в робототехнике, можно обратиться к рассмотрению двух крайних ситуаций, которые имели место в процессе развития СТЗ роботов.
Первые системы визуального очувствления промышленных роботов, как правило, базировались на использовании только аппаратных средств реализации и традиционных принципов построения систем промышленной автоматики. До сих пор большая часть СТЗ, внедренных в роботизированные производственные процессы, строится как не слишком сложные узкоспециализированные устройства. Весьма разнообразные аппаратные системы такого рода, реализованные на базе телекамер, матриц, линеек, групп
43
фотоприемников и даже отдельных фотоэлементов, вполне успешно обеспечивают выполнение функций технического зрения в определенных промышленных приложениях, где условия работы робота более или менее стабильны, перестройка на новые виды операций происходит сравнительно редко, номенклатура объектов манипулирования остается почти неизменной. Конкретные функции, выполняемые СТЗ такого назначения, могут быть жестко заданы при ее разработке и наладке. При этом удается максимально использовать априорно известную информацию о всех возможных изображениях, их особенностях, характерных именно для данной группы объектов. Алгоритмы работы подобных устройств часто сводятся к простейшим логическим операциям, не требующим наличия ЭВМ, что упрощает и удешевляет реализацию СТЗ в конкретных случаях, но ограничивает их универсальность и гибкость, т. е. возможность их применения в адаптивных робототехнических системах, предназначенных для широко варьируемых приложений.
Высокое быстродействие и технико-экономическая эффективность, удобство эксплуатации и надежность аппаратных СТЗ, достигаемые в номинальных условиях функционирования робота, к сожалению, не сохраняются при отклонении от этих условий, в том числе при необходимости быстрого перевода робота на новые операции с другой номенклатурой объектов. Более того, в этих случаях «жесткость» аппаратной реализации СТЗ снижает общую производительность и затрудняет эксплуатацию роботизированного комплекса в целом, уменьшает надежность его работы.
Сдругой стороны, известны многочисленные примеры, когда
влабораторных робототехнических системах типа глаз—рука все основные функциональные блоки СТЗ (за исключением самих видеоприемников и некоторых вспомогательных узлов) пытались строить целиком программным путем с использованием достаточно мощных ЭВМ. Для экспериментальных исследований подобного рода характерна методология, принятая в работах по искусственному интеллекту: главные усилия направляются на создание теории и методов принятия решений на основе построения моделей проблемной среды, получения описаний пространственных сцен в некотором алфавите первичных понятий, алгоритмов выдвижения, проверки и уточнения гипотез с использованием как априорной, так и текущей контекстной информации. При рассмотрении проблемы с
44
этих позиций обычно допускают существенные упрощения реальности.
Так, многие исследователи, абстрагируя решаемые задачи, ограничивались «миром многогранников», сценами из простейших тел со специально подобранной текстурой, идеальными условиями освещения и контрастности фона и т. п. Практическая эффективность этих исследовательских систем в смысле быстродействия и затрат вычислительных ресурсов, как правило, была очень невысокой, поскольку эти требования предъявлялись к ним далеко не в первую очередь. Тем не менее активное изучение многих аспектов зрительного восприятия с точки зрения теории искусственного интеллекта позволило накопить определенный опыт по программной организации систем машинного зрения, отобрать полезные алгоритмы декомпозиции сложных сцен, нахождения пространственных соотношений между объектами, распознавания образов и др. Однако общий анализ результатов этих работ приводит к выводу, что, хотя программные средства обеспечивают высокий уровень функциональной гибкости, широкие адаптивные возможности и удобство пользования, на сегодня чисто программная реализация алгоритмов получения, обработки и анализа видеоинформации вряд ли в состоянии дать удовлетворительное решение многих первоочередных задач СТЗ роботов при приемлемых вычислительных затратах.
В настоящее время разработчики систем очувствления, ориентированных на применение в робототехнике, активно ищут компромиссы между более или менее общими, но излишне «академическими» подходами и достаточно практичными, но чересчур частными техническими решениями. Тенденция сочетания эффективности аппаратных средств и гибкости программных путей реализации характерна для большинства конкурентоспособных СТЗ современных роботов, которые все чаще строятся как единый комплекс аппаратно-программных средств зрительного очувствления. Бурный прогресс в области микроэлектроники и вычислительной техники делает вполне реальным широкое использование в общем контуре аналоговых модулей и микропроцессоров, оптико-электронных приборов и заказных СБИС, традиционных логических блоков и параллельных перестраиваемых вычислительных структур. Только доскональное знание возможностей и
44
ограничений каждого из привычных и новейших способов реализации вместе с полным учетом специфических особенностей решаемого класса робототехнических задач и конкретных техникоэкономических требований позволяет приблизиться к наиболее рациональному распределению функций между аппаратными, программными и аппаратно-программными средствами зрительного очувствления робота.
Функциональные возможности, эффективность и гибкость СТЗ робота существенно зависят от ее алгоритмического обеспечения. Продуманный выбор совокупности алгоритмов выполнения операций ввода, обработки и анализа видеоинформации столь же важен, как и применение высококачественных видеосенсоров, совершенных вычислительных устройств и другой аппаратуры СТЗ. Создание no-настоящему эффективных систем зрительного очувствления роботов вряд ли возможно путем простого «механического» объединения аппаратных средств и алгоритмического обеспечения, разработанных независимо друг от друга без учета их взаимообусловленности и совместного влияния на структурнофункциональную организацию системы в целом. С самого начала составления конкретного алгоритма решения задачи технического зрения необходимо четко определить, на какой арсенал средств аппаратной поддержки можно рассчитывать при его реализации— будет ли это более или менее мощная универсальная ЭВМ, стандартный набор микропроцессоров, заказная СБИС, параллельная вычислительная система или другие устройства, каковы их доступные технические возможности и ограничения по быстродействию, памяти и остальным существенным характеристикам.
Математические методы, логические и вычислительные процедуры, способы программного воплощения следует выбирать так, чтобы максимально использовать достоинства и обойти недостатки используемых технических средств. И наоборот, закладываемая в систему универсальная и специализированная аппаратура должна быть как можно полнее приспособлена для реализации именно тех алгоритмов, которые предполагается применять для решения поставленных задач.
Рациональное разделение функций между аппаратными и программными способами реализации, между универсальными и специализированными средствами, цифровыми и аналоговыми вы-;
45
числительными устройствами, последовательными и параллельными структурами достижимо только в результате системного подхода, предполагающего разработку алгоритмического и аппаратного обеспечения СТЗ робота с единых позиций. При этом необходимо всесторонне учитывать особенности всех основных режимов пользования СТЗ робота: настройки, обучения, работы.
Следует подчеркнуть, что специфика робототехнических приложений сказывается на алгоритмической поддержке многих этапов функционирования СТЗ робота не в меньшей — если не в большей
— степени, чем на выборе ее аппаратных средств. Как уже, указывалось, при зрительном очувствлении роботов далеко не всегда удается непосредственно воспользоваться теми методами и алгоритмами, которые успешно применяются при решении более традиционных задач технического зрения в других областях. Это связано с необходимостью одновременно удовлетворять совокупности жестких требований, которые не только сложны сами по себе, но, и могут вступать в противоречия друг с другом.
Так, с одной стороны, чтобы выполнить обязательное условие работы в реальном времени, используемые алгоритмы должны быть как можно более простыми и допускать эффективную вычислительную реализацию. С другой стороны, очень широкий круг решаемых функциональных задач, перечисленных в п. 1.1.1, и стремление повысить универсальность СТЗ робота заставляют отказываться от примитивных алгоритмических решений и обращаться к достаточно сложным методам обработки и анализа видеоинформации. Кроме того, важнейшее для робототехники требование гибкости системы обеспечивается за счет использования множества разнообразных алгоритмов с большим числом варьируемых параметров, разветвленных процедур выбора и «адаптации» нужного алгоритма при смене решаемой задачи, переходе к новому классу объектов, изменении условий рабочей среды, настройке метрологических и других характеристик. В то же время следует учитывать, что пользователями СТЗ в робототехнике (особенно в массовых применениях промышленных роботов) часто являются лица средней квалификации, не посвященные в тонкости проблемы распознавания образов( математических методов обработки и анализа видеоинформации, программирования ЭВМ. Поэтому здесь,
47 46
вотличие от многих применений машинного зрения в научных исследованиях, для достижения желаемой гибкости системы приходится дополнительно разрабатывать большой объем «сервисных» алгоритмов и программ, дающих возможность производственному персоналу удобно и оперативно выполнять настройку и переобучение СТЗ.
На этапе настройки нужны автоматизированные процедуры выбора поля зрения видеосенсоров, задания порядка сканирования, разрешающей способности, фокусировки и диафрагмирования, управления сменой объективов, светофильтров, освещением и т. п. Серьезного внимания требует специфическая проблема калибровки СТЗ с привязкой ее системы координат к координатной системе робота. При обучении СТЗ работе с объектами нового типа оператору робота не всегда удается быстро и правильно находить полный набор характерных признаков той или иной детали, однозначно отличающих ее от других. Поэтому резко возрастает роль алгоритмов автоматического формирования классифицирующих признаков при обучении «показом». Трудности реализации большого числа специфических проблемно-ориентированных алгоритмов усугубляются необходимостью включения в те же объемы памяти и развитого системного математического обеспечения, поддерживающего диалоговый режим общения пользователя неспециалиста с СТЗ, интерактивные процедуры ее настройки и обучения, наглядное представление нужной информации оператору,
втом числе с помощью средств машинной графики.
Еще одной особенностью, затрудняющей создание алгоритмического обеспечения СТЗ роботов, в котором сложность решаемых задач сочеталась бы с требованием работы в реальном времени, является практическая невозможность в подавляющем большинстве случаев при реализации разрабатываемых алгоритмов
и
программ ориентироваться на новейшие и самые мощные средства вычислительной техники. Экономические, массогабаритные и многие другие ограничения допускают использование в СТЗ роботов лишь сравнительно дешевых и простых вычислительных - устройств со средними быстродействием и объемом памяти. Существенно, что часто большая доля общего вычислительного ресурса должна быть предоставлена для осуществления других
48
функций информационно-управляющей системы и поддержки эффекторной и коммуникационной систем робота.
В то же время, как уже отмечалось, возможность активного целенаправленного воздействия на среду с помощью робота помогает в определенных случаях упростить алгоритм восприятия и анализа видеоинформации. Благодаря наличию робота часто удается свести задачу СТЗ к рассмотрению изолированных объектов, обойти проблему окклюзии (загораживания одних объектов: в поле зрения видеосенсора другими), эффективно организовать осмотр рабочей сцены, оперативно проверять и уточнять гипотезы, выдвигаемые по результатам работы СТЗ. Реализация возможности гибко комбинировать данные, получаемые от СТЗ и от других систем очувствления робота, требует нетрадиционных алгоритмов: «слияния информации».
Перечисленные особенности робототехнических задач делают актуальной — наряду с попытками приспособить известные алгоритмы переработки видеоинформации, хорошо зарекомендовавшие себя в других приложениях, для очувствления роботов — разработку новых алгоритмических и программных средств, обеспечивающих эффективную поддержку всех режимов функционирования СТЗ робота (настройки, обучения, работы) и всех этапов t технического зрения, отраженных на обобщенной схеме. Перейдем к рассмотрению алгоритмов формирования, , сегментации, описания и анализа изображений, которые получили широкое распространение в СТЗ роботов либо представляются перспективными для решения робототехнических задач.
1.2.2. Алгоритмы формирования изображений в системах технического зрения роботов
Этап формирования изображений включает следующие подэтапы: настройка системы, в том числе подбор освещения рабочей сцены; аналоговые преобразования видеосигнала; собственно вводе изображения в ЭВМ или другое решающее устройство; предварительная обработка оцифрованного изображения в соответствии с различными алгоритмами его «улучшения» и сжатия информации в целях облегчения дальнейших этапов технического зрения.
Настройка СТЗ. Алгоритмы автоматизированной настройки
48
системы очень сильно зависят миг используемой аппаратуры (датчиков, источников света, вычислительных средств, оборудования рабочей среды), а также от конкретного вида рассматриваемой сцены (типа объектов, степени их изолированности, фона, наличия известных особенностей в поле зрения для «привязки» СТЗ). Обычно алгоритмы освещения сцены сводятся к заранее задаваемым жестким программам управления моментами включения и выключений осветительных приборов в определенном порядке, смены транспарантов при использовании структурированного освещения и др. В ряде современных систем применяется управляемая .подстройка интенсивности источников света и/или их пространственной направленности, которая осуществляется в контуре обратной связи по специальным программам до удовлетворения выбранных критериев зрительного восприятия. Концептуально эти процедуры близки к алгоритмам подбора параметров яркости и контрастности в видеоканале СТЗ, с которыми они, вообще говоря, должны использоваться совместно, дополняя друг друга. Это же относится и к автоматизированному выбору светофильтров, согласованно устанавливаемых как перед источниками, так и перед приемниками излучения.
Автоматизация настройки видеосистемы предусматривает также наведение видеосенсора на нужный объект — выбор поля зрения, фокусировку и диафрагмирование объектива. При рассмотрении сцен с изолированными объектами определяется такое расположение камеры и такие параметры оптического тракта, при которых объекты полностью попадают в заданную рамку; в других случаях эту рамку можно наложить на нужный фрагмент сцены, «привязывая» ее к некоторым характерным точкам. В робототехнической практике получили распространение алгоритмы грубо-точного наведения, когда сначала поле зрения выбирают приближенно на основе наиболее резких отличий объекта от фона (по яркости, цвету, текстуре и т. д.), а затем итеративно уточняют с увеличением разрешающей способности и нахождением более тонких характеристик. Появляются системы наведения, в которых используется более одного видеосенсора. Так, в СТЗ мобильного робота одна подвижная телекамера с широкоугольным объективом служит для осмотра всей сцены, а вторая с длиннофокусным объективом — наводится на выбранные участки для их
49