Материал: Системы технического зрения. Литвиненко А.М., Машаров А.В

ВВЕДЕНИЕ

Современный период развития экономики промышленно развитых стран характеризуется переходом ко второму этапу научнотехнической революции — научно-технологическому, на основе компьютеризации и информатизации всего общественного производства. Для реализации этого этапа во всем мире приняты широкие программы разработки компьютеров пятого и роботов третьего поколений. Последние представляют собой адаптивные системы, гибко программируемые, снабженные средствами, очувствления для получения информации об окружающей среде и предметах производства. Перед обществом встают задачи комплексной механизации и автоматизации всего хозяйства, освобождения человека от тяжелого физического и многих аспектов умственного труда с предоставлением широких возможностей для творческой деятельности. Полная автоматизация позволит перейти к безлюдным технологиям, решить проблемы качества продукции, улучшения условий работы, нехватки рабочих рук.

За двадцать лет своего развития автоматизированные системы первых поколений стали широко применяться при автоматизации процессов обработки металлов, окраске химически активными веществами или легковоспламеняющимися красителями, на сборочных и монтажных работах, при контроле ряда процессов ядерной энергетики и химической промышленности, процессов опасного и вредного производств.

Проблема автоматизации промышленного производства характеризуется новыми требованиями, основные из которых — гибкость (возможность быстрого перепрограммирования системы для внесения изменений в технологический процесс), универсальность (возможность применения системы с минимальными изменениями в различных отраслях промышленности), очувствленность (возможность реагировать на изменения условий, оптимальным образом перестраивая порядок конкретных действий). Еще одно важное требование, которому должны удовлетворять системы автоматизации, — невысокая стоимость. Решение любой конкретной задачи автоматизации должно быть экономически оправданным.

В современном производстве наиболее распространены системы

3

с жесткой программой, используемые в условиях полной определенности. Такие системы не имеют средств анализа изменений параметров внешней среды и внутреннего состояния и применяются для реализации многократных однотипных операций. Однако уже в условиях современного производства возникают задачи, в которых создание детерминированной внешней среды (точное положение деталей на конвейере, строго определенная последовательность операций) требует затрат, сравнимых с затратами на производство всей системы.

Допущение недетерминированного характера рабочей обстановки приводит к необходимости разработки средств анализа состояния и внешней среды в автоматизированных системах, т. е. средств очувствления, позволяющих в зависимости от конкретной ситуации управлять ходом технологического процесса.

Дальнейшее развитие средств автоматизации связано с широким применением роботов и робототехнических комплексов. В роботах и робототехнических комплексах наличие средств очувствления играет важную роль. Очувствление — это преобразование соответствующих характеристик или свойств объекта в информацию, требуемую для выполнения устройством заданной целевой функции. На рисунке показана последовательность восприятия окружающей среды. Она включает два этапа: 1) преобразование (в аппаратуре) соответствующих свойств объекта в сигналы; 2) обработку, т. е. превращение сигнала в информацию, необходимую для планирования и выполнения роботом целевой функции. Обычно 2-й этап содержит стадии предварительной обработки (улучшения сигнала) и интерпретации (анализа улучшенного сигнала и извлечения требуемой информации).

Средства очувствления по принципу их действия можно разделить на контактные и бесконтактные. К контактным системам относятся силомоментные и тактильные системы очувствления. Бесконтактные системы условно можно разделить на системы технического зрения и локационные системы очувствления.

В таблице приведены данные о том, какой процент информации получает человек с помощью различных органов чувств. Полной аналогии между датчиками очувствления и органами чувств нет и быть не может. В качестве доказательства достаточно привести тот факт, что техническая система может анализировать информацию,

4

недоступную человеческому ощущению (рентгеновское излучение, радиоволны и др.). И поэтому следует ожидать, что в развитых адаптивных автоматизированных системах будущего аналогичная таблица будет выглядеть иначе. Нельзя не учесть, однако, что в результате природной эволюции человека и его органов чувств 90,6 % информации о внешней среде он получает с помощью зрения. Это позволяет предположить, что системы технического зрения будут играть важнейшую роль в промышленности. Уже в настоящее время реализация этих систем в некоторых развитых странах во многих случаях приводит к более дешевым и надежным решениям по сравнению с другими средствами очувствления.

Т а б л и ц а 1

Зрение является самым мощным из наших органов чувств. Оно снабжает нас поразительно большим объемом информации о том, что нас окружает, и дает возможность свободно взаимодействовать с внешним миром, причем все это без непосредственного физического контакта. Благодаря нему мы узнаем расположение объектов, идентифицируем их, соотносим, их друг с другом и потому ощущаем значительное неудобство, если лишены этого чувства. Поэтому неудивительно, что, как только цифровые вычислительные машины оказались достаточно доступными, начали предприниматься попытки наделить их способностью «видеть».

В то же время зрение является самым сложным из органов чувств. Накопленные нами знания о том, как функционируют биологические зрительные системы, до сих пор фрагментарны и

5

ограничены в основном теми этапами переработки информации, которые следуют непосредственно за поступлением сигналов от сенсоров. Что мы действительно знаем, так это то, что биологические зрительные системы сложны. Поэтому не является неожиданным тот факт, что многие попытки наделить машины способностью «видеть» окончились неудачей. Тем не менее, удалось достичь значительного прогресса, и сейчас можно найти зрительные системы, которые включены в состав машинных комплексов и успешно функционируют в условиях изменяющейся окружающей среды.

Сфера применения СТЗ включает три основных аспекта: 1) визуальный контроль; 2) управление и регулирование; 3) измерения и определение положения. Визуальный контроль решает важнейшую задачу проверки качества продукции автоматического производства. Рабочий, производящий такую продукцию, иногда осуществляет «неявную» визуальную проверку, т. е. следит, чтобы производственный процесс шел без нарушения технологии. В других случаях рабочий осуществляет «явную» проверку, т. е. производит специальный анализ продукции для определения ее качества. Оба эти аспекта могут быть автоматизированы с помощью СТЗ. Задачи управления возникают часто в процессе сборки или сортировки, складывания или извлечения со склада. В этом случае необходимо уметь разглядеть и обойти препятствие, не задеть при переносе другие детали и т. д. Эта задача является одной из сложнейших при реализации СТЗ.

Задачи измерения и определения положения решаются в робототехнических системах, в частности, для правильного подвода манипулятора (например, при необходимости перенести обнаруженную деталь в другое место).

Основными являются следующие функции СТЗ: получение изображения в поле зрения;

определение наличия требуемых объектов; распознавание и выделение заданного объекта на

изображении; определение координат объекта или его характерных точек

относительно координатной системы датчика изображения; формирование сигналов управления.

Значительный прогресс был, достигнут в промышленных

6

применениях, где окружающую среду можно контролировать, а задание, стоящее перед системой машинного зрения, четко обозначено. Типичным примером может служить зрительная система, предназначенная для управления рукой робота при захвате деталей с ленты конвейера (рис. 1.).

Не столь значителен успех в тех областях, где компьютеры использовались для извлечения плохо определенной информации из изображений, которые нелегко интерпретировать даже человеку. Особенно это относится к изображениям, полученным с помощью средств, отличных от обычных оптических приборов, работающих в видимом диапазоне спектра. Типичной задачей подобного рода является интерпретация рентгеновских снимков человеческого легкого.

Рис. 1. Наличие системы машинного зрения придает манипулятору существенно больше гибкости и позволяет ему работать в условиях, когда положения и ориентации деталей могут изменяться. В некоторых случаях подходящими для этой цели оказываются простые бинарные системы обработки изображений.

Как это всегда бывает при изучении какой-либо сложной области, некоторые первоначальные идеи постепенно отмирали, а их место со временем занимали новые. Все это, несмотря на случающиеся порой неизбежные разочарования, составляет часть увлекательнейшего процесса поиска решения. Некоторые,

7

например, считают, что понимать подробности процесса формирования изображения необязательно. Другие слишком увлекаются специальными вычислительными методами довольно узкого круга применения. Несомненно, что часть изложенных здесь идей также будет в свое время пересмотрена или отброшена. Слишком уж быстро развивается область, чтобы такого не произошло.

В настоящий момент мы не можем создать «универсальную» зрительную систему. Вместо этого мы обратим внимание либо на системы, выполняющие какое-либо конкретное задание в контролируемой окружающей среде, либо на отдельные модули, которые со временем могут стать частью системы общего назначения. Естественно, нам нельзя также забывать о практических соображениях, связанных со скоростью обработки и стоимостью системы. Ввиду огромного объема данных и характера требуемых вычислений часто трудно достичь удовлетворительного компромисса между этими факторами.

Система машинного зрения анализирует изображения и выдает описание изображения. Эти описания должны содержать те характеристики изображенных объектов, которые нужны для выполнения некоторого определенного задания. Тем самым мы рассматриваем систему машинного зрения как часть более общей системы, взаимодействующей с окружающей средой. Ее можно считать элементом контура обратной связи, относящегося к восприятию, в то время как другие элементы предназначены для принятия и исполнения решений.

В дальнейшем это описание можно использовать для контроля взаимодействия робота с окружающей средой. В некотором смысле задачу зрительной системы можно рассматривать, как обращение процесса формирования изображения

Входом системы машинного зрения служит одно или несколько изображений, а выходом — описание, которое должно удовлетворять двум условиям:

-оно должно быть как-то связано с тем, что изображено;

-оно должно содержать исчерпывающую информацию, необходимую для выполнения некоторого конкретного задания. Первое условие обеспечивает определенную зависимость описания от визуального входа, а второе — что полученная информация

8

небесполезна. Описание объекта неоднозначно; мы можем представить себе множество уровней детализации и точек зрения. Невозможно исчерпывающим образом описать объект. К счастью, концентрируясь на том задании, для которого предназначено описание, мы можем избежать потенциально возникающего логического противоречия, т. е. мы не нуждаемся просто в каком-то описании, а только в таком, которое даст возможность произвести соответствующее действие.

Простой пример поможет лучше уяснить сказанное. Рассмотрим снова задачу захвата деталей с ленты конвейера. Ориентация и положение деталей на конвейере могут быть случайными. Допустим, имеется несколько различных типов деталей, причем установочные позиции для каждого типа деталей различны. Изображения объектов попадают в зрительную систему по мере того, как объекты проходят под камерой, расположенной над лентой конвейера. В этом случае описания, которые должна выдавать система, просты. Необходимо лишь определить положение, ориентацию и тип каждого объекта. Описание может состоять всего лишь из нескольких чисел. В других задачах может потребоваться гораздо более подробное символическое описание.

Случается, что обратная связь замыкается не через машину, а через человека, и тогда полученное описание предъявляется ему для интерпретации. Приведенные выше требования должны соблюдаться и здесь, хотя разобраться в том, насколько успешно система справилась с поставленной перед ней зрительной задачей, в этом случае труднее.

Машинное зрение тесно соприкасается с тремя областями: обработкой изображений, классификацией образов и анализом сцен.

Обработка изображений в основном касается получения новых изображений по уже имеющимся. Большинство применяемых здесь методов заимствовано из теории линейных систем. На новом изображении можно подавить шум, устранить размывание или подчеркнуть границы. Окончательный результат представляет собой изображение, которое, как правило, предназначено для интерпретации человеком. Как мы увидим далее, некоторые методы обработки изображений оказываются полезными для понимания ограничений, существующих

в системах формирования изображений, и для создания модулей

9

предварительной обработки в системах машинного зрения. Основной задачей классификации образов является отнесение

«образа» к тому или иному классу, причем образ обычно представляется в виде набора чисел, соответствующих измеренным характеристикам объекта (высоте, ширине). Хотя на вход классификатора подается не изображение, сами методы классификации образов оказываются иногда полезными и для анализа изображений, получаемых с помощью зрительной системы. Распознать объект - это значит отнести его к одному из известных классов. Однако нужно подчеркнуть, что распознавание -это лишь одна из многих задач, стоящих перед зрительной системой Исследователи, занимавшиеся распознаванием, разработали много простых методов получения характеристик по изображениям. Однако

Рис. 2. В анализе сцен символическое описание низкого уровня (контурные рисунки) используется для составления описания высокого уровня. Последнее может содержать информацию о пространственных отношениях между объектами, об их форме и тождественности.

в этих методах изображения обычно рассматриваются как двумерные распределения яркости, а объекты не могут занимать произвольное положение.

В анализе сцен рассматривается задача перехода от простых описаний, полученных непосредственно по изображениям, к более сложным, представленным в форме, которая более приспособлена для выполнения определенного задания. Классической иллюстрацией этого служит интерпретация контурных рисунков

10