технического зрения, но действие сразу всей совокупности |
горячих цехах и на холоде, в зонах повышенной радиации, высокого |
ограничений во многих случаях определяет качественно новый |
и низкого давления, в атмосфере агрессивных паров, сильной |
уровень сложности визуального очувствления роботов. К числу |
запыленности, в экстремальных средах (в космосе, под водой, в |
основных требований, предъявляемых к СТЗ адаптивных роботов, в |
местах пожаров и т. п.). Поэтому при визуальном очувствлении |
первую очередь можно отнести следующие. |
роботов необходимо принимать специальные меры по защите |
Повышенная степень универсальности. В отличие от тради- |
видеоаппаратуры от воздействия этих факторов, а также по |
ционных средств технического зрения, применяемых в узкоспе- |
повышению устойчивости СТЗ к влиянию электромагнитных |
циализированных устройствах автоматики, СТЗ универсальных |
наводок и оптических помех, механических толчков и вибраций, |
роботов по своей сути должны обеспечивать решение возможно |
влажности и других неблагоприятных воздействий. |
более широкого круга разнообразных функциональных задач |
Необходимость миниатюризации. Элементы СТЗ, устанавли- |
(например, указанных в п. 1.1) и быть пригодными для работы в |
ваемые на подвижных звеньях манипуляторов («глаз на руке»), |
различных, в том числе нестационарных, условиях. |
а также на мобильных роботах, должны иметь как можно меньшие |
Гибкость. Это важное для робототехнических приложений |
размеры и массу, чтобы не ухудшать маневренность и динамические |
понятие включает в себя: возможность частой сменяемости решае- |
характеристики робота. |
мых задач, быстроту и удобство перехода к новым типам сцен и |
Сильная ограниченность допустимых средств реализации, |
классам объектов, в том числе путем переобучения СТЗ (как ме- |
Обычно из экономических соображений в СТЗ роботов приходится |
тодом «показа», так и с помощью автономного перепрограммирова- |
использовать широкодоступную элементную базу, устройства, не |
ния); способность работать с объектами, размеры, форма и другие |
обладающие очень высокими техническими характеристиками, |
параметры которых меняются в широком диапазоне; желательность |
сравнительно маломощные вычислительные средства. Проблема |
целенаправленного выбора точности измерений, разрешающей |
осложняется и тем, что в отличие от многих других случаев при- |
способности, поля зрения, числа градаций яркости и прочих |
менения ЭВМ для обработки видеоинформации, здесь на тех же |
характеристик на разных стадиях осмотра сцены; простоту опера- |
вычислительных средствах бывает необходимо полностью или |
тивной перестройки (вплоть до автоматической) при изменениях |
частично решать одновременно другие — не менее важные — |
освещенности, контрастности фона, расстояния до объектов, угла |
задачи (планирование действий роботов, расчет программных |
обзора и т. п. |
траекторий, управление движениями, обеспечение связи), которые |
Высокое быстродействие. Если недостаточная скорость СТЗ |
также требуют значительной доли общих вычислительных ресурсов. |
во многих традиционных приложениях приводит лишь к снижению |
Связь с существующими устройствами управления роботов. |
общей ее производительности, то несвоевременное поступление |
Требуется обеспечить аппаратную и программную совместимость со |
результатов обработки и анализа видеоинформации в устройство |
стандартными системами управления роботов, соответствие |
управления робота может не просто ухудшить технико-эко- |
характеристикам применяемых вычислительных средств, воз- |
номические характеристики робототехнической системы, но и ока- |
можность эффективного сопряжения с имеющимися интерфейсами. |
заться абсолютно несовместимым с требованиями технологии и |
Несколько менее специфичны, но также весьма важны такие |
техники безопасности. СТЗ робота должна удовлетворять жестким |
требования, как: большая разрешающая способность и точность |
требованиям работы в реальном времени, т. е. не задерживать дей- |
измерений; высокая надежность; простота и удобство эксплуатации, |
ствия робота и не снижать темп роботизируемого процесса. |
технического обслуживания, ремонта; по возможности низкая |
Устойчивость к воздействиям окружающей среды. Одной из |
стоимость. |
основных побудительных причин роботизации является необходи- |
С другой стороны, наличие в едином комплексе с СТЗ столь |
мость выполнения работ в тяжелых, а часто и вредных условиях— в |
гибкого устройства, как робот, открывает определенные допол- |
31 |
32 |
нительные возможности, которые в ряде случаев могут существенно облегчить процессы восприятия и анализа видеоинформации. Так, с помощью робота можно осуществлять активные воздействия на внешнюю среду в целях более эффективного осмотра сцен: убирать предметы, загораживающие нужные участки поля зрения, изолировать соприкасающиеся объекты друг от друга, подносить осматриваемые объекты к видеосенсору, поворачивать их, фиксируя в пространстве требуемым образом. При этом важно, что воздействие на среду формируется сразу же в процессе сбора видеоинформации по результатам ее оперативной обработки и анализа.
Робот может также обеспечить для СТЗ режим динамического восприятия сцены, либо осуществляя управляемые движения объектов относительно неподвижного видеосенсора, либо целенаправленно перемещая сами видеосенсоры (типа «глаз на руке»). Это позволяет вводить видеоинформацию путем последовательного сканирования рабочей области, осматривать сцены с разных точек зрения, находить и отслеживать характерные особенности объектов (края, места 'стыков, отверстия и т. п.). Имеется возможность выводить в нужные точки пространства источники освещения, укрепляемые на звеньях робота, организовывать управляемую подсветку объектов рассеянным, направленным или структурированным светом с разных сторон.
Кроме того, СТЗ при решении своих функциональных задач может использовать дополнительную информацию от других систем очувствления робота: тактильных, силомоментных, локационных. Например, при определении текстуры поверхности объекта число вариантов анализа изображений снижается, если имеются данные о шероховатости материала, полученные от датчика проскальзывания.
Совокупность перечисленных выше особенностей как осложняющих, так и упрощающих использование технического зрения в робототехнике, необходимо комплексно учитывать при формулировании технического задания на разработку СТЗ для конкретных робототехнических приложений. Такое техническое задание должно включать: полное техническое описание решаемых функциональных задач; требования к гибкости перестройки, перепрограммирования, возможности развития системы; сведения об объектах; данные о
33
геометрии рабочей зоны, освещенности сцены, контрастности фона; метрологические требования; требования к быстродействию СТЗ; необходимые характеристики систем управления роботов и применяемых вычислительных средств, с которыми должна быть обеспечена аппаратная и программная совместимость СТЗ; требования к надежности и ремонтопригодности; эксплуатационные требования, характеристики условий функционирования; конструктивно-технологические требования; требования эргономики и технической эстетики; технико-экономические требования.
Комментируя отдельные пункты технического задания, прежде всего, нужно подчеркнуть, что с самого начала формулирования функциональных задач для СТЗ следует стремиться максимально их упрощать. Методики упрощения функций СТЗ базируются на следующих принципах:
сведение трехмерных сцен к двумерным проекциям: используется то обстоятельство, что рассматриваемые объекты часто лежат на опорной плоскости и имеют конечное число устойчивых состояний либо фиксируются в пространстве (иногда самим же роботом), что позволяет надлежащим образом выбрать фокальную плоскость видеосенсора;
механическое разделение «навала» объектов на неперекрывающиеся и даже несоприкасающиеся объекты, для чего разработан целый ряд хорошо отлаженных технологий; здесь также можно использовать робот;
переход от многоградационных изображений к бинарным, поскольку во многих приложениях почти вся полезная информация об объекте заключена в его контуре (в этих целях целесообразно использовать специальные способы освещения);
перемещение объектов относительно видеосенсоров (и наоборот) для извлечения дополнительной информации: используются как неуправляемые (например, на конвейере), так и целенаправленные (с помощью робота или координатного стола) движения объектов, система типа «глаз на руке», сканирующие устройства;
применение специального освещения: рассеянный свет, устраняющий тени и блики; управляемая поочередная подсветка с разных сторон, позволяющая использовать их как дополнительную
34
информацию; встречная подсветка, облегчающая переход к бинарным изображениям; структурированное освещение пространственно модулированным светом, дающее информацию о вносимых объектом искажениях регулярных точек, полое или сеток, проецируемых на рабочую сцену; импульсное освещение, обеспечивающее «мгновенное» изображение движущихся объектов, и т. п.; использование в процессе обработки и анализа изображений в СТЗ информации от других систем очувствления роботов, а также модельных представлений робота о рабочей среде, базы данных САПР и др.
Требования к функциональной гибкости СТЗ должны формулироваться на основе данных о предполагаемой частоте сменяемости заданий роботу, связанной с его назначением (в крупносерийном, среднесерийном, мелкосерийном или единичном производстве, в непромышленной сфере, в специальных применениях). При определении потребностей в перестройке и развитии СТЗ должны учитываться перспективы аппаратных изменений (возможность перестановки и подключения, новых видеосенсоров, необходимость в резервных разъемах, каналах связи, местах для установки дополнительных электронных плат и т. п.), степень возможных модификаций алгоритмического и программного обеспечения, требования к простоте и удобству переобучения СТЗ на новые виды объектов как путем автономного перепрограммирования (если имеется их формальное описание и оператор обладает достаточной квалификацией), так и путем «показа» (если это проще по условиям работы и доступны средства автоматического формирования классифицирующих признаков).
Описывая в техническом задании объекты, с которыми предстоит работать СТЗ, следует указывать диапазон их геометрических размеров, возможные формы, физические параметры (цвет, текстуру, отражательную способность и др.), характерные различные особенности, выявление которых способствует классификации объектов. При необходимости задают эталонные образцы объектов и разброс характеристик относительно эталона, данные о всех устойчивых положениях каждого объекта на опорной плоскости, наличии ржавых или масляных пятен, дефектов и т. п.
Размеры и форма рабочей зоны вместе с информацией об объектах и метрологическими данными во многом определяют
35
выбор типа и мест установки видеосенсоров и осветительных устройств. При этом необходимо учитывать не только абсолютные", но и относительные размеры объектов и рабочей зоны, а также ее геометрию, чтобы обеспечить восприятие изображений нужных участков сцены с требуемыми метрологическими характеристиками. Важно также не создавать помех движениям исполнительных органов робота и технологического оборудования и наоборот — не загораживать поля зрения видеосенсора при выполнении манипуляционных операций.
Метрологические требования характеризуют выполнение СТЗ функций измерений геометрических или физических параметров объектов, их поиска, локализации и классификации. Они задают диапазоны изменений измеряемых величин, разрешающую способность (цену деления, число элементов изображения), меру и класс точности, стандартную и предельно допустимую погрешности при измерениях, приемлемые вероятности ошибок первого и второго рода (ложная тревога и необнаружение) при поиске, контроле и классификации.
Требования к быстродействию при обработке и анализе видеоинформации определяют допустимые временные затраты на решение всей функциональной задачи, т. е. производительность СТЗ. Они формулируются с учетом скоростных характеристик робота и темпов роботизируемых процессов или существенных изменений в окружающей среде, чтобы гарантировать работу СТЗ в реальном времени. Производительность СТЗ современных промышленных роботов достигает тысяч изображений в минуту. Типичное время обработки и анализа данных об одном объекте в зависимости от конкретных приложений меняется от миллисекунд до секунд.
Данные, необходимые для сопряжения разрабатываемой СТЗ с системой управления робота, контроллерами другого внешнего оборудования, а также с вычислительными устройствами роботизированного комплекса и с ЭВМ верхнего уровня, должны включать конструктивные характеристики используемых стоек, модулей, плат и разъемов, значения напряжений, токов и мощностей источников питания, уровни аналоговых и цифровых сигналов, их временные характеристики, типы интерфейсов, принципы, способы и режимы обмена информацией, вид организации связей, количество, частотные и нагрузочные характеристики линий связи и другую
36
информацию об аппаратной совместимости. Для обеспечения программной совместимости необходимо знать стандарт применяемого кода, протокол обмена информацией, имеющиеся средства системного обеспечения, включая операционную систему, систему отладки, а также языковые средства, библиотечные программы, семантические и программометрические характеристики существующих пакетов пользовательских программ.
В числе требований к надежности и ремонтопригодности следует указывать приемлемые значения времени наработки на отказ, среднее время восстановления или вероятность восстановления за заданное время (с учетом желаемого состава и объема ЗИП), средний срок службы и другие характеристики сохраняемости, возможность нагруженного и ненагруженного резервирования, потребность в самоконтроле и самодиагностировании.
Эти требования тесно связаны со следующим пунктом технического задания, где должны быть описаны ожидаемые условия функционирования СТЗ робота и соответствующие эксплуатационные параметры, определяющие характер пользования системой, сроки, процедуры и удобство ее технического обслуживания.
Необходимо в явном виде формулировать потребности в защите всех элементов СТЗ от вредных факторов внешней среды (радиации, теплоты, влажности, агрессивных газов, брызг красителей или расплавленного металла, электромагнитных полей, оптических помех, вибраций и других механических воздействий).
Конструктивно-технологические и эргономические требования формулируются на основе действующих стандартов, а также правил техники безопасности с учетом перечисленных выше специфических особенностей СТЗ роботов, обусловливающих необходимость снижения размеров и массы, повышения гибкости, надежности и защищенности систем. Желательно ориентироваться на общедоступные технологии и элементную базу, шире использовать агрегатно-модульный принцип построения, позволяющий компоновать систему из унифицированных блоков, гибко учитывая особенности конкретной решаемой задачи.
Технико-экономические требования задают допустимую стоимость СТЗ, срок ее окупаемости, а также приемлемые затраты (средств, времени, материалов фондов) на ее разработку, изготов-
37
ление, установку, наладку, испытания и эксплуатацию. Важно сопоставлять эти показатели с соответствующими затратами на робот и весь роботизированный комплекс, сравнивая интегральные технико-экономические характеристики работы роботов без визуального очувствления с вариантами возможного использования СТЗ, различающихся стоимостью и функциональными возможностями.
1.1.4. Обобщенные структуры и функциональные схемы систем технического зрения роботов
Изучив требования технического задания, разработчик СТЗ робота должен, прежде всего, определить ее структурную и функциональную схемы, раскрывающие суть всех принципиальных операций по формированию, обработке и анализу изображений и устанавливающие порядок и условия преобразования видеоинформации, а также организацию взаимосвязи различных подсистем и блоков.
Кратко охарактеризуем основные группы функциональных операций обобщенной СТЗ робота.
Формирование изображения:
освещение рабочей сцены, включая управление порядком и временем включения и выключения осветительных приборов, направленностью и интенсивностью источников света, выбор вида структурированного освещения, изменение расположения осветителей;
автоматизированная настройка системы: наведение видеосенсора; фокусировка; выбор объективов и светофильтров; калибровка СТЗ и ее «привязка» к абсолютной системе координат или к системе координат робота;
аналоговые преобразования видеосигнала: фильтрация, линейное и нелинейное усиление, смещение нулевого уровня и другие
преобразования, обеспечивающие требуемые амплитудные и частотные характеристики, отношение сигнал—шум, электрические параметры;
ввод изображения в вычислительное устройство: выбор
последовательности |
и |
частоты |
опроса |
видеосенсоров, |
|
|
38 |
|
|
пространственных точек съема видеоинформации (схемы сканирования); определение порога бинаризации (при вводе двухградационных изображений) или уровней квантования видеосигнала (для многоградационных изображений); собственно оцифровка видеосигнала с помощью аналого-цифровых преобразователей или компараторов; запоминание всего изображения или его части; пересылка данных в соответствующие блоки обработки видеоинформации;
предварительная обработка формируемых изображений: удаление шумов путем цифровой фильтрации и сглаживания; повышение контрастности (преобразование шкалы интенсивности, обострение перепадов, подчеркивание границ); коррекция геометрических и оптических искажений; вспомогательные математические операции над изображением (дифференцирование, логическое сравнение и т. п.); сжатие (кодирование) информации и пр.
Сегментация изображения:
декомпозиция изображения рабочей сцены на составляющие ее объекты, их группы, фрагменты и другие части;
выбор одного или нескольких «окон»; разбиение изображения на характерные участки: выделение и
прослеживание контуров; нахождение однородных областей; выявление типичных особенностей изображений (уголков,
отверстий, выступов, выемок, меток, цветовых и текстурных неоднородностей).
Описание изображения:
проведение измерений и расчетов для получения количественных характеристик (признаков) объектов;
определение качественных (логических, «лингвистических») признаков для классификации объектов;
установление местоположения объектов (координат геометрического центра и/или других характерных точек);
нахождение ориентации объектов в рабочей области.
Анализ изображения:
распознавание образов или классификация объектов (сопоставлением с эталонными изображениями, принятием решения на основе дискриминирующих функций, структурно-синтаксически- ми и другими методами);
интерпретация сцены;
39
построение (уточнение) модели проблемной среды; принятие решений о дальнейших операциях СТЗ.
Связь с системой управления робота:
обмен логическими сигналами (командными, синхронизирующими, блокирующими, прерывающими и др.); поддержка протокола обмена данными;
получение от системы управления робота запросов на выполнение функциональных задач технического зрения;
сообщение системе управления робота типов распознанных (классифицированных) объектов;
передача координат и параметров ориентации объектов и других количественных результатов обработки видеоинформации;
передача результатов интерпретации сцен и необходимых сведений о модели проблемной среды;
посылка требований на выполнение воздействий на среду в целях облегчения зрительного восприятия.
В конкретных СТЗ, применяемых в робототехнике, удельный вес каждой из описанных операций неодинаков, те или иные из них могут отсутствовать, объединяться с другими, выполняться в различной последовательности.
По характеру организации процесса прохождения информации через систему функциональные схемы СТЗ можно разделить на три следующие группы: 1) разомкнутые с неизменяемой последовательностью операций, когда видеоинформация регистрируется фиксированным способом, обрабатывается и анализируется по жестко определенной линейной цепочке алгоритмов; 2) с условными переходами, в которых в зависимости от условий внешней среды и/или от результатов текущей операции предусмотрено изменение порядка выполнения различных процедур формирования, обработки и анализа изображений, повторение уже пройденных этапов, установка новых значений определенных параметров системы, прохождение иных ветвей выполнения алгоритмов (при этом все условия переходов и решающие правила однозначно задаются еще до начала работы СТЗ, алгоритмы и параметры системы выбираются из заранее фиксированного набора); 3) адаптивные с обратной связью между различными этапами процесса технического зрения, позволяющей оперативно использовать новую информацию, приобретаемую по ходу их выполнения: автоматически настраивать
40