Реферат: Системы распознавания текста

Министерство образования Российской Федерации

Государственное образовательное учреждение

высшего профессионального образования

Воронежский государственный технический университет

Кафедра систем информационной безопасности

РЕФЕРАТ

на тему:

«Системы распознавания текста»

Выполнил: студент гр. КБ-11

Чупраков А. Р.

Воронеж 2018

1. История развития

В 1929 году Gustav Tauschek получил патент на метод оптического распознавания текста в Германии, а в 1935 в США. Машина Таушека представляла собой механическое устройство, которое использовало шаблоны и фотодетектор.

В 1950 году David H. Shepard, криптоаналитик из агентства безопасности вооружённых сил Соединённых Штатов, проанализировав задачу преобразования печатных сообщений в машинный язык для обработки компьютером, построил машину, решающую данную задачу. После того как он получил патент США, он сообщил об этом в «Вашингтон Дэйли Ньюз» (27 апреля 1951) и в «Нью - Йорк Таймс» (26 декабря 1953). Затем Шепард основал компанию, разрабатывающую интеллектуальные машины, которая вскоре выпустила первые в мире коммерческие системы оптического распознавания символов.

Первая коммерческая система была установлена на «Ридерс Дайджест» в 1955 году. Вторая система была продана компании «Стандарт Ойл» для чтения кредитных карт для работы с чеками. Другие системы, поставляемые компанией Шепарда, были проданы в конце 1950 - х годов, в том числе сканер страниц для национальных воздушных сил США, предназначенный для чтения и передачи по телетайпу машинописных сообщений. IBM позже получила лицензию на использование патентов Шепарда.

Примерно в 1965 году «Ридерс Дайджест» и «Ар-Си-Эй» начали сотрудничество с целью создать машину для чтения документов, использующую оптическое распознавание текста, предназначенную для оцифровки серийных номеров купонов «Ридерс Дайджест», вернувшихся из рекламных объявлений. Для печати на документах барабанным принтером «Ар-Си-Эй» был использован специальный шрифт OCR - A. Машина для чтения документов работала непосредственно с компьютером RCA 301 (одна из первых полупроводниковых ЭВМ). Скорость работы машины была 1500 документов в минуту: она проверяла каждый документ, исключая те, которые она не смогла обработать правильно.

Почтовая служба Соединённых Штатов с 1965 года для сортировки почты использует машины, работающие по принципу оптического распознавания текста, созданные на основе технологий, разработанных исследователем Яковом Рабиновым. В Европе первой организацией, использующей машины с оптическим распознаванием текста, был британский почтамт. Почта Канады использует системы оптического распознавания символов с 1971 года. На первом этапе в центре сортировки системы оптического распознавания символов считывают имя и адрес получателя и печатают на конверте штрих-код. Он наносится специальными чернилами, которые отчётливо видимы в ультрафиолетовом свете. Это делается, чтобы избежать путаницы с полем адреса, заполненным человеком, которое может быть в любом месте на конверте.

В 1974 году Рэй Курцвейл создал компанию «Курцвейл Компьютер Продактс», и начал работать над развитием первой системы оптического распознавания символов, способной распознать текст, напечатанный любым шрифтом. Курцвейл считал, что лучшее применение этой технологии -- создание машины чтения для слепых, которая позволила бы слепым людям иметь компьютер, умеющий читать текст вслух. Данное устройство требовало изобретения сразу двух технологий -- ПЗС планшетного сканера и синтезатора, преобразующего текст в речь. Конечный продукт был представлен 13 января 1976 во время пресс-конференции, возглавляемой Курцвейлом и руководителями национальной федерации слепых.

В 1978 году компания «Курцвейл Компьютер Продактс» начала продажи коммерческой версии компьютерной программы оптического распознавания символов. Два года спустя Курцвейл продал свою компанию корпорации «Ксерокс», которая была заинтересована в дальнейшей коммерциализации систем распознавания текста. «Курцвейл Компьютер Продактс» стала дочерней компанией «Ксерокс», известной как «Скансофт».

Первой коммерчески успешной программой, распознающей кириллицу, была программа «AutoR» российской компании «ОКРУС». Программа начала распространяться в 1992 году, работала под управлением операционной системы DOS и обеспечивала приемлемое по скорости и качеству распознавание даже на персональных компьютерах IBM PC/XT с процессором Intel 8088 при тактовой частоте 4,77 МГц. В начале 90-х компания Hewlett - Packard поставляла свои сканеры на российский рынок в комплекте с программой «AutoR». Алгоритм «AutoR» был компактный, быстрый и в полной мере «интеллектуальный», то есть по-настоящему шрифтонезависимый. Этот алгоритм разработали и испытали ещё в конце 60-х два молодых биофизика, выпускники МФТИ -- Г. М. Зенкин и А. П. Петров. Свой метод распознавания они опубликовали в журнале «Биофизика» в номере 12, вып. 3 за 1967 год. В настоящее время алгоритм Зенкина-Петрова применяется в нескольких прикладных системах, решающих задачу распознавания графических символов. На основе алгоритма компанией Paragon Software Group в 1996 была создана технология PenReader. Г.М Зенкин продолжил работу над технологией PenReader в компании Paragon Software Group. Технология используется в одноименном продукте компании.

В 1993 году вышла технология распознавания текстов российской компании ABBYY. На её основе создан ряд корпоративных решений и программ для массовых пользователей. В частности, программа для распознавания текстов ABBYY FineReader, приложения для распознавания текстовой информации с мобильных устройств, система потокового ввода документов и данных ABBYY FlexiCapture. Технологии распознавания текстов ABBYY OCR лицензируют международные ИТ-компании, такие как Fujitsu, Panasonic, Xerox, Samsung, EMC и другие.

2. Обзор систем оптического распознавания изображений

Оптическое распознавание символов (OCR) - перевод изображений рукописного, машинописного или печатного текста в текстовые данные, использующие для представления символов в компьютере (например, в текстовом редакторе).

Распознавание широко используется для конвертации книг и документов в электронный вид, автоматизации систем учёта в бизнесе или публикации текста в интернете. Распознанный текст может быть отредактирован, его удобно хранить, осуществлять поиск слов или фраз, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь. Оптическое распознавание изображений, содержащих текст, является широко исследуемой проблемой на стыке областей распознавания образов, искусственного интеллекта и компьютерного зрения.

На стадии подготовки и обработки информации, особенно при компьютеризации предприятия, автоматизации бухучета, возникает задача ввода большого объема текстовой и графической информации в персональный компьютер. Основными устройствами для ввода графической информации являются: сканер, факс - модем, реже, цифровая фотокамера. Кроме того, используя программы оптического распознавания текстов, можно вводить в компьютер (оцифровывать) также и текстовую информацию. Современные программно - аппаратные системы позволяют автоматизировать ввод больших объемов информации в компьютер, используя, например, сетевой сканер и параллельное распознавание текстов на нескольких компьютерах одновременно.

2.1 ABBYY Finereader

ABBYY Finereader - программа для распознавания текста, позволяет быстро и точно (до 98% на «чистых» изображениях) переводить изображения документов и PDF - файлы в электронные редактируемые форматы без необходимости перепечатывания.

Программа позволяет переводить изображения документов (фотографий, результатов сканирования, PDF - файлов) в электронные редактируемые форматы. В частности, в Microsoft Word, Microsoft Excel, Microsoft Powerpoint, Rich Text Format, HTML, PDF/A, searchable PDF, CSV и текстовые (plain text) файлы. Начиная с 11 версии файлы можно сохранять в формате djvu. Версия 12 поддерживает распознавание текста на 190 языках и имеет встроенную проверку орфографии для 48 из них.

2.2 SimpleOCR

SimpleOCR - это популярное бесплатное программное обеспечение для распознавания текста на английском и французском языках. Стоит отметить, что если документы содержать разметку с несколькими колонками, нестандартные шрифты, цветные изображения или изображения в низком качестве, в таком случае потребуется скачать одно из четырех платных приложений для программы распознавания.

Программа может работать с документами на английском и французском языках, но не сможет распознать символы с различными надстрочными и подстрочными знаками (например, ц, д, й и т.д.), используемые только в других языках.

SimpleOCR - простая программа для распознавания текста, но, к сожалению, программа не рассчитана на работу с русским языком. При необходимости получения более широкого функционала потребуется приобретение платных дополнений.

2.3 FreeOCR

FreeOCR - бесплатная программа для распознавания отсканированного текста. Она работает только с файлами изображений, но и с PDF - файлами и непосредственно со сканером. Для сканирования необходим только подключенный сканер. Для установки данной утилиты необходим доступ к интернету, т.к. запускаемое приложение весит около 150 Кб, дополнительные базы и словари скачиваются во время работы из сети Интернет. В общей сложности программа займет на жестком диске не более 11 Мб. Основным плюсом программы является ее полная автоматизация и отсутствие каких - либо настроек. Поддерживаются форматы JPG, GIF, TIFF BMP и PDF (только первая страница, в скором времени обещают поддержку первых 10 страниц). Так же существует лимит на 10 изображений в час. Утверждается, что система способна распознавать большинство восточноевропейских языков, в том числе русский и украинский. Поддержка русского языка была анонсирована в октябре 2010 года для движка Tesseract 3.0.

2.4 Microsoft Office Document Imaging

Microsoft Office Document Imaging (MODI) - компонент, входящий в состав пакета Microsoft Office и служащий для распознавания и редактирования документов, отсканированных в Microsoft Office Document Scanning. Впервые появился в Microsoft Office XP и включается в последующие версии пакета, в том числе Office 2007. Не доступен, начиная с Office 2010. Для установки Document Imaging в Office 2010 Microsoft выпустила пакет SharePoint Designer 2007.

MODI может читать и писать небольшие изображения формата TIFF. Он также может сохранять распознанный текст в оригинальный TIFF - файл. По умолчанию движок OCR требует правильной ориентации страницы при распознавании. Если вызвать метод objectname.save (), он может записать исправленное положение страницы в исходный файл.

Имеет невысокую точность распознавания символов, кроме того, предъявляет высокие требования к качеству входных изображений.

2.5 OCRFeeder

OCRFeeder -- программа, предоставляющая графический интерфейс пользователя для нескольких систем оптического распознавания символов, таких как CuneiForm, Tesseract, GOCR и Ocrad. OCRFeeder является свободно распространяемой программой для операционной системы Linux.

Используемые компоненты:

1) PIL -- библиотека Python для работы с изображениями.

2) Unpaper -- для обработки изображений.

3) ReportLab -- для импорта PDF - файлов.

4) PyGTK и Libgnome -- для графического интерфейса.

5) PyeEnchant («привязка» Enchant для Python) и PyGtkSpell («привязка» GtkSpell для Python) -- для проверки орфографии.

Функции:

1. Графические форматы ввода данных: PNG, JPEG, BMP, TIFF, GIF, Portable anymap (PNM, PGM, PBM, PPM) и другие. Импорт PDF - файлов.

2. Форматы вывода данных: текстовый файл, , ODT, HTML, PDF.

3. Обработка изображений для улучшения качества распознавания - фильтры шумов, чёрного цвета и оттенков серого; и другие виды обработок, доступных для Unpaper (компонента для обработки изображений).

4. Ручное выделение блоков на странице.

5. Проверка орфографии.

6. Получение изображений со сканера посредством программы SANE.

7. Распознавание нескольких изображений по порядку за один проход

(пакетное распознавание).

3. Сравнение систем оптического распознавания изображений

Представленные OCR - системы являются наиболее популярными и известными, однако ввиду активного развития области распознавания, подобных систем существует очень мало. Проведем сравнительный анализ по приведенным выше системам оптического распознавания символов.

Для оценки качества OCR - систем существуют различные критерии оценки качества. Поток всех операций, входящий в процесс оптического распознавания, можно разделить на два этапа, которые с большой значимостью влияют на конечный результат: это структурный анализ и распознавание текста. Для каждого этапа существуют собственные оценки качества.

1) Оценка результатов структурного анализа документов;

2) Оценка результатов распознавания по эталоном;

3) Оценка результатов распознавания без эталонов.

Имеется ряд существенных проблем, связанных с распознаванием рукописных и печатных символов. Наиболее важные из них:

1. Разнообразие форм начертания символов;

2. Искажение изображения символов;

3. Вариации размеров и масштаба символов.

В таблице 1 представлено сравнение систем по приведенным проблемам и с учётом способов оценки качества:

Таблица 1 - Сравнение систем на предмет решения типовых проблем