Корреляционная обработка изображений в системах технического зрения
Прокофьева П.А., Якименко Ю.И.
Филиал ФГБОУ ВПО «Национальный
исследовательский университет»
МЭИ» в г. Смоленске
В статье изложен способ обработки изображений в системах технического зрения, необходимый для оценки динамики технологического процесса. Предлагаемый способ основан на использовании изменения величины коэффициента корреляции для оценки степени развития технологического объекта. На основе этого способа реализован алгоритм обработки изображений систем технического зрения и доказана его работоспособность
Ключевые слова: система технического зрения, технологический процесс, коэффициента корреляции, алгоритм обработки изображений.
CORRELATION PROCESSING OF IMAGES IN SYSTEMS OF TECHNICAL SIGHT. Prokofieva P.A. YakimenkoYu.I.
In article the way of processing of images in systems of the technical sight, necessary for an assessment of dynamics of technological process is stated. The offered way is based on use of change of size of coefficient of correlation for an assessment of extent of development of technological object. On the basis of this way the algorithm of processing of images of systems of technical sight is realized and its working capacity is proved
Key words: System of technical sight, technological process, correlation coefficient, algorithm of processing of images
В основу способа обработки изображений систем технического зрения, предназначенного для оценки динамики технологического процесса, предлагается включить расчет нормированного коэффициента корреляции между двумя матрицами изображений, зафиксированными через равные установленные интервалы времени.
Нормированный коэффициент корреляции принимает значение от 0 до 1. В случае, когда изменений в изображении не наблюдается, величина коэффициента стремится к 1. Если изменения в изображении происходят, то величина коэффициента корреляции будет стремиться к 0.
Считается, если коэффициент корреляции стал ниже 0,5, то изменения можно считать значительными. Поэтому, учитывая скорость, особенности протекания технологического процесс и степень допустимых изменений, необходимо экспериментально установить величину порога принятия решения и временные сдвиги между наблюдаемыми изображениями.
В основе корреляционного способа лежит процедура сравнения коэффициента корреляции с пороговым значением. Величина коэффициента корреляции ниже порогового значения свидетельствует о динамике (изменениях),происходящей в технологическом процессе, в противном случае динамика (изменения) отсутствует (рисунок 1).
Рисунок 1 - Законы распределения вероятностей распределения значений коэффициентов корреляции
Таким образом, пороговая обработка полученных значений коэффициентов корреляции позволит сделать вывод о динамике (изменениях) технологического процесса и перейти к формированию команд управления.
Корреляционный алгоритм обработки изображений содержит ряд действий, которые можно условно разделить на подготовительную часть и основную часть, непосредственно расчет и пороговая обработка результата, итогом которой становится вывод - есть изменения в развитии объекта на время наблюдения или нет. Исходя из этого вывода, вырабатываются управляющий сигнал на исполнительный механизм системы дозированной подачи активной жидкости к выбранному объекту (рисунок 2).
Подготовительная часть содержит два этапа последовательного получение массивов изображения развивающегося объекта через установленный период времени T.
Основная часть содержит расчет нормированного коэффициента корреляции между двумя матрицами изображений, зафиксированными через равные установленные интервалы времени.
В ходе выполнения алгоритма нормированный коэффициент корреляции принимает значение от 0 до 1. В случае, когда изменений в изображении объекта не наблюдается, величина коэффициента стремится к 1. Если изменения в изображении объекта происходят, то величина коэффициента корреляции будет стремиться к 0.
Учитывая скорость, особенности протекания технологического процесс и степень допустимых изменений, экспериментально устанавливается величина порога принятия решения. Величина порога используется для выполнения блока сравнения с порогом, что приведет к принятию бинарного решения, есть изменения или их нет в процессе развития объекта наблюдения.
Исходя из результата принятого решения блоком формирования кода управления, будет сформирован управляющий сигнал, поступающий в систему дозированной подачи активной жидкости, обеспечивающей развитие объекта наблюдения.
Рисунок 2 - Блок-схема корреляционного алгоритма обработки изображений
корреляционный изображение техническое зрение
Для проведения предварительной оценки работоспособности и определения уровня порога принятия решения было проведено предварительное математическое моделирование с использованием математического пакета MathCad.
В качестве экспериментального видеопотока был использованы кадры видеофильма ускоренного развития грибоподобной структуры. Использовался фрагмент ускоренного видеофильма длительностью 4 минуты, в котором была сосредоточено 4 часа реального времени съемки.
Таким образом, протекание процесса грибоподобных структур было ускорено в 60 раз. Следовательно, при сдвижке между кадрами в 1 секунду реальный интервал будет соответствовать 1 минуте.
Образное представление пачек видеокадров полученных через равные промежутки времени, представлено на рисунке 3.
Рисунок 3 - Образное представление пачек видеокадров полученных через равные промежутки времени
Из видеопотока было вырезано 400 видеокадров, которые были сформированы через 1 с и разделены на четыре группы по 100 штук. Временной интервал между группами составляет 60 мин.
Для оценки величин коэффициентов корреляции между массивами изображений были рассчитаны нормированные коэффициенты корреляции. Оценка велась с целью установления интервала времени, после которого функционал начинает устойчиво работать.
Для этого была создана программа MathCad расчета корреляционных матриц на основе подготовленных выше пачек изображений(рисунок 4).
Рисунок 4 - Программа MathCad для расчета корреляционных матриц
Корреляционная матрица имеет вид, представленный на рисунке5. Информационной является первая строка, которая информирует о величине нормированного коэффициента корреляции. Элемент r11=1 получен при расчете массива №1 первой пачки сам с собой. Элемент r12=1 получен при расчете массива №1 первой пачки с массивом №1 второй пачки. Элемент r13=1 получен при расчете массива №1 первой пачки с массивом №1 третий пачки. Элемент r14=1 получен при расчете массива №1 первой пачки с массивом №1 четвертой пачки. Расчет повторялся для массивов с №2 - 100 для всех 4 пачек. Таким образом, получалась группа зависимостей коэффициента корреляции от временного сдвига. Примерный вид зависимостей коэффициента корреляции представлен на рисунке 6.
Рисунок 5 - Внешний вид рассчитанной корреляционной матрицы с выделенной информационной строкой
Рисунок 6. - Зависимости значений коэффициентов корреляции от интервалов времени наблюдения
Оценка значений коэффициентов корреляции между изображениями динамичного технологического процесса позволила зафиксировать изменения величин коэффициентов от интервалов времени наблюдения. Оптимальный временной интервал сдвига был выбран в количестве 120 мин.
Для дальнейших исследований необходимо исследовать чувствительность функционала - нормированный коэффициент корреляции от размера исследуемых изображений (электронного увеличения). Для исследования чувствительности от размера исследуемых изображений (электронного увеличения) несколько изображений были сегментированы в близи элементов, несущих информацию о развивающимся объекте (рисунок 7). Для них были рассчитаны зависимости величины коэффициента корреляции в зависимости от временного сдвига (рисунок 8)и от кратности электронного увеличения (рисунок 9).
Рисунок7. - Изменение вида изображений при уменьшении размерности (при электронном увеличении): а) размер 240Ч320 - нет увеличени; б) размер 120Ч180 - увеличение в 2 раза; в) размер 60Ч90 - увеличение в 4 раза; г) размер 30Ч45 - увеличение в 16 раза
Уменьшение размерности матрицы изображения приводит к повышению чувствительности, но при этом теряется информативность изображения. Следовательно, необходимо сохранять изображение объекта наблюдения в пределах кадра разделять его на сегменты и проводить расчет функционала для каждой части отдельно.Оптимальный размер сегмента для анализа изображения размером 240Ч320 был выбран 120Ч180 элементов, что предполагает деление изображения на 4 равные части.
При разделении кадра на сегменты (рисунок 9) анализ величин коэффициентов корреляции между сегментами, полученными в одном направления, не изменяются более чем на 10%.
аб
Рисунок 8. - а) зависимости величины коэффициента корреляции рассчитанные для разных размеров в зависимости от временного сдвига: 1) Размер 240Ч320 - нет увеличения; 2) Размер 120Ч180 - увеличение в 2 раза; 3) Размер 60Ч90 - увеличение в 4 раза; 4) Размер 30Ч45 - увеличение в 16 раза. б) зависимости величины коэффициента корреляции, рассчитанные для разных размеров (К - кратность электронного увеличения) при сдвиге120 мин
Рисунок 9. - Сегментация массивов изображений одной пачки
Уменьшение размерности матрицы изображения приводит к повышению чувствительности функционала, но при этом терялась информативность изображения (рисунок 10).Необходимо сохранять изображение объекта наблюдения в пределах кадра, разделять его на сегменты и проводить расчет функционала для каждой части отдельно.
Рисунок 10. - Зависимости величины коэффициента корреляции рассчитанные для разных сегментов в зависимости от временного интервала
Оптимальный размер сегмента для анализа массива изображения размером 240Ч320 был выбран 120Ч180 элементов, что предполагает деление изображения на 4 равные части.
Для получения пороговых значений принятия решения о коррелированности между отдельными выборками используются в основном такие статистические критерии, как критерий идеального наблюдателя, критерий Неймана-Пирсона, критерий Байеса, критерий максимального правдоподобия. Эти критерий относятся к группе параметрических критериев, которые включают в формулу расчета параметры распределения, то есть средние и дисперсии [1]. Причем, эти критерии применялись без проверки распределения «на нормальность», что заведомо ошибочно, так как полученные в ходе математического моделирования значения коэффициента корреляции распределяются по неизвестному закону. Следовательно, применение параметрических методов оценки является затруднительным (таблица 1).
Из таблицы 1 видно, что параметрические критерии могут оказаться несколько более мощными, чем непараметрические, но только в том случае, если признак измерен по интервальной шкале и нормально распределен. С интервальной шкалой есть определенные проблемы. Лишь с некоторым приближением можно считать данные, представленные не в стандартизованных оценках, как интервальные. Кроме того, проверка распределения «на нормальность» требует достаточно сложных расчетов, результат которых заранее неизвестен.
Может оказаться, что распределение признака отличается от нормального, и так или иначе все равно придется обратиться к непараметрическим критериям.
Непараметрические критерии лишены всех этих ограничений и не требуют таких длительных и сложных расчетов. По сравнению с параметрическими критериями они ограничены лишь в одном - с их помощью невозможно оценить взаимодействие двух или более условий или факторов, влияющих на изменение признака. Эту задачу может решить только дисперсионный двухфакторный анализ.
Таблица 1 - Возможности и ограничения критериев принятия решения
|
Параметрические |
Непараметрические |
|
|
1. Позволяют прямо оценить различия в средних, полученных в двух выборках (t -критерий Стьюдента). |
Позволяют оценить лишь средние тенденции, например, ответить на вопрос, чаще ли в выборке А встречаются более высокие, а в выборке Б - более низкие значения признака (критерии Q, U, ц* и др.). |
|
|
2. Позволяют прямо оценить различия в дисперсиях (критерий Фишера). |
Позволяют оценить лишь различия в диапазонах вариативности признака (критерий ц*). |
|
|
3. Позволяют выявить тенденции изменения признака при переходе от условия к условию (дисперсионный однофакторный анализ), но лишь при условии нормального распределения признака. |
Позволяют выявить тенденции изменения признака при переходе от условия к условию при любом распределении признака (критерии тенденций L и S). |
|
|
4. Позволяют оценить взаимодействие двух и более факторов в их влиянии на изменения признака (двухфакторный дисперсионный анализ). |
Эта возможность отсутствует. |
|
|
5. Экспериментальные данные должны отвечать двум, а иногда трем, условиям: а) значения признака измерены по интервальной шкале; б) распределение признака является нормальным; в) в дисперсионном анализе должно соблюдаться требование равенства дисперсий в ячейках комплекса. |
Экспериментальные данные могут не отвечать ни одному из этих условий: а) значения признака могут быть представлены в любой шкале, начиная от шкалы наименований; б) распределение признака может быть любым и совпадение его с каким-либо теоретическим законом распределения необязательно и не нуждается в проверке; в) требование равенства дисперсий отсутствует. |
|
|
6. Математические расчеты довольно сложны. |
Математические расчеты по большей части просты и занимают мало времени (за исключением критериев ч2 и л). |
|
|
7. Если условия, перечисленные в п.5, выполняются, параметрические критерии оказываются несколько более мощными, чем непараметрические. |
Если условия, перечисленные в п.5, не выполняются, непараметрические критерии оказываются более мощными, чем параметрические, так как они менее чувствительны к «засорениям». |