Цифровая запись вносит двойное искажение в сохраняемые параметры сигнала: во-первых, при дискретизации теряется информация об истинном изменении звука между измерениями, а во-вторых, при квантовании сохраняются не точные параметры, а только близкие к ним дискретные значения.
Рис.7
В ПК используется так называемые импульсно-кодовое и частотное представление звуковой информации, для обозначения которых чаще всего используются названия технических способов воспроизведения звука: импульсно-кодовая модуляция и частотная модуляция.
Импульсно-кодовая модуляция.
Импульсно-кодовая модуляция (Pulse Code Modulation, PCM) заключается в том, что звуковая информация хранится в виде значений амплитуды, взятых в определенные моменты времени (т.е. измерения проводятся «импульсами»).
При записи звука в компьютер амплитуда измеряется через равные интервалы времени с некоторой достаточно большой частотой.
При воспроизведении звука компьютер использует сохраненные значения для того, чтобы восстановить непрерывную форму выходного сигнала.
Процесс получения цифровой формы звука называют оцифровкой.
Устройство, выполняющее оцифровку звука, называется аналого-цифровым преобразователем (АЦП).
Устройство, выполняющее обратное преобразование, из цифровой формы в аналоговую, называется цифро-аналоговым преобразователем (ЦАП).
В современных ПК основная обработка звука выполняется звуковыми картами.
Помимо АЦП и ЦАП звуковые карты содержат сигнальный процессор - специализированный микрокомпьютер для обработки оцифрованного звука, выполняющий значительную часть рутинных расчетов при обработке звуков (смешение звуков, наложение спецэффектов, расчет формы выходного сигнала и т.п.; центральный процессор не тратит время на выполнение этих работ).
Моменты измерения амплитуды называются отсчетами. Частоту, с которой производят измерения сигнала, называют частотой дискретизации.
Квантование звука заключается в следующем. Сначала мгновенные значения звукового давления (амплитуда звуковых колебаний) измеряются с ограниченной точностью, затем, как и в случае с квантованием цветов, диапазон значений амплитуды разбивается на подуровни. По измеренному значению определяется подуровень, в который попадает значение, и в компьютере сохраняется только его номер.
Количество бит, используемых для записи номеров подуровней, называетсяглубиной кодирования звука.
Если сравнить способы представления графической и звуковой информации, то импульсное кодирование звука соответствует растровому представлению изображений:
- структура звука (в графике - изображения) не анализируется;
- время (в графике - пространство) разбивается на небольшие области;
- в пределах этих областей параметры звука (изображения) считаются постоянными.
При сохранении импульсного представления звука достаточно единожды сохранить параметры оцифровки (глубину кодирования, частоту дискретизации и длительность звукового фрагмента), а затем сохранять только номера подуровней единым потоком.
Увеличивая частоту дискретизации и глубину кодирования, можно более точно сохранить и впоследствии восстановить форму звукового сигнала. При этом улучшается субъективное качество оцифрованного звука, однако увеличивается объем сохраняемых данных.
При цифровой записи звука в различных случаях используют разные значения частоты дискретизации и глубины кодирования.
Например, в цифровых автоответчиках используют частоту дискретизации 8-11 кГц и 8 бит для записи амплитуды, а стандарт записи звука на компакт -дисках соответствует частоте дискретизации 44,1 кГц и 16 бит для записи амплитуды на каждый аудио - канал (стерео - 2 канала, моно - один канал).
1. Оценим объем стереоаудиофайла в формате PCM с глубиной кодирования 16 бит и частотой дискретизации 44,1 кГц, который хранит звуковой фрагмент длительностью звучания 1 секунда.
Объем такого звукового фрагмента равен:
V = глубина кодирования * частота дискретизации (Гц) * количество каналов * время звучания (в сек.) = 16 бит * 44100 Гц * 2 * 1 с = 1 411 200 бит = 176 400 байт ? 172, 3 Кбайт.
2. Для хранения 5-минутной аудиозаписи CD-качества (частота дискретизации - 48 кГц, глубина звука - 16 бит, режим - стерео) необходимый объем памяти составит:
48.000 Гцґ16 битґ2 каналаґ300 с = 460.800.000 бит = 57.600.000 байт = 56.250 Кбайт ? 55 Мбайт.
Вопрос, до какой степени можно уменьшить параметры оцифровки, чтобы при восстановлении звук оставался достаточно близок к исходному?
В 1928 году американский инженер и ученый Гарри Найквист высказал утверждение, что частота дискретизации должна быть в два или более раза выше максимальной частоты измеряемого сигнала.
В 1933 году советский ученый В.А. Котельников и независимо от него американский ученый Клод Шеннон сформулировали и доказали теорему о том, при каких условиях и как по дискретным значениям можно восстановить форму непрерывного сигнала. Эта теорема в России называется теоремой Котельникова, на Западе теоремой Найквиста-Шеннона; есть у нее и «нейтральной» название - теорема об отсчетах.
Приемы и методы работы со звуковой информацией пришли в вычислительную технику наиболее поздно. К тому же, в отличие от числовых, текстовых и графических данных, у звукозаписей не было столь же длительной и проверенной истории кодирования. В итоге методы кодирования звуковой информации двоичным кодом далеки от стандартизации. Множество отдельных компаний разработали свои корпоративные стандарты, но если говорить обобщенно, то можно выделить два основных направления.
Метод FM (Frequency Modulation)основан на том, что теоретически любой сложный звук можно разложить на последовательность простейших гармонических сигналов разных частот, каждый из которых представляет собой правильную синусоиду, а, следовательно, может быть описан числовыми параметрами, то есть кодом. В природе звуковые сигналы имеют непрерывный спектр, то есть являются аналоговыми. Их разложение в гармонические ряды и представление в виде дискретных цифровых сигналов выполняют специальные устройства - аналогово-цифровые преобразователи (АЦП). Обратное преобразование для воспроизведения звука, закодированного числовым кодом, выполняют цифро-аналоговые преобразователи (ЦАП). При таких преобразованиях неизбежны потери информации, связанные с методом кодирования, поэтому качество звукозаписи обычно получается не вполне удовлетворительным и соответствует качеству звучания простейших электромузыкальных инструментов с окрасом, характерным для электронной музыки. В то же время, данный метод кодирования обеспечивает весьма компактный код, и потому он нашел применение еще в те годы, когда ресурсы средств вычислительной техники были явно недостаточны.
Метод таблично-волнового (Wave-Table) синтеза лучше соответствует современному уровню развития техники. Если говорить упрощенно, то можно сказать, что где-то в заранее подготовленных таблицах хранятся образцы звуков для множества различных музыкальных инструментов (хотя не только для них). В технике такие образцы называют сэмплами. Числовые коды выражают тип инструмента, номер его модели, высоту тона, продолжительность и интенсивность звука, динамику его изменения, некоторые параметры среды, в которой происходит звучание, а также прочие параметры, характеризующие особенности звука. Поскольку в качестве образцов используются «реальные» звуки, то качество звука, полученного в результате синтеза, получается очень высоким и приближается к качеству звучания реальных музыкальных инструментов.
Представление видеоинформации в ЭВМ
В последнее время компьютер все чаще используется для работы с видеоинформацией. Простейшей, с позволения сказать, работой является просмотр кинофильмов и видеоклипов, а также (куда компьютерным пользователям без них!) многочисленные видеоигры. Более правомерно данным термином называть создание и редактирование такой информации с помощью компьютера.
Следует четко представлять, что обработка видеоинформации требует очень высокого быстродействия компьютерной системы, причем не только процессора, но и CD-ROM, с которого считываются данные, конечно, видеосистемы, а также всех информационных шин, по которым данные передаются от одного устройства к другому. В частности, в [1] приводится очень наглядный пример, когда при весьма скромном размере окна видеоизображения 360x240 и 16 битах цветовой информации на каждый пиксел скорость передачи данных превышает один мегабайт в секунду. "То есть за десять минут должно быть передано более 600 Мбайт данных, что эквивалентно немного немало целому диску CD-ROM!" Таким образом, если для прочих видов информации сжатие лишь повышает удобства работы, то для видеоинформации технологии сжатия имеют поистине жизненно важное значение.
Что представляет собой фильм с точки зрения информатики? Прежде всего, это сочетание звуковой и графической информации. Кроме того, для создания на экране эффекта движения используется дискретная по своей сути технология быстрой смены статических картинок. Исследования показали, что если за одну секунду сменяется более 10-12 кадров, то человеческий глаз воспринимает изменения на них как непрерывные. В любительской киносъемке использовалась частота 16 кадров/сек., в профессиональной - 241.
Традиционный кадр на кинопленке "докомпьютерной" эпохи выглядел так, как показано на рис.1. Основную его часть, разумеется, занимает видеоизображение, а справа сбоку отчетливо видны колебания на звуковой дорожке. Имеющаяся по обоим краям пленки периодическая система отверстий (перфорация) служит для механической протяжки ленты в киноаппарате с помощью специального механизма.
Казалось бы, если проблемы кодирования статической графики и звука решены, то сохранить видеоизображение уже не составит труда. Но это только на первый взгляд, поскольку, как показывает разобранный выше пример, при использовании традиционных методов сохранения информации электронная версия фильма получится слишком большой. Достаточно очевидное усовершенствование состоит в том, чтобы первый кадр запомнить целиком (в литературе его принято называть ключевым), а в следующих сохранять лишь отличия от начального кадра (разностные кадры).
Принцип формирования разностного кадра поясняется рис.2, где продемонстрировано небольшое горизонтальное смещение прямоугольного объекта. Отчетливо видно, что при этом на всей площади кадра изменились всего 2 небольшие зоны: первая сзади объекта возвратилась к цвету фона, а на второй - перед ним, фон перекрасился в цвет объекта. Для разноцветных предметов произвольной формы эффект сохранится, хотя изобразить его будет заметно труднее.
Конечно, в фильме существует много ситуаций, связанных со сменой действия, когда первый кадр новой сцены настолько отличается от предыдущего, что его проще сделать ключевым, чем разностным. Может показаться, что в компьютерном фильме будет столько ключевых кадров, сколько новых ракурсов камеры. Тем не менее, их гораздо больше. Регулярное расположение подобных кадров в потоке позволяет пользователю оперативно начинать просмотр с любого места фильма: "если пользователь решил начать просмотр фильма с середины, вряд ли он захочет ждать, пока программа распаковки вычислит все разности с самого начала" [1]. Кроме того, указанная профилактическая мера позволяет эффективно восстановить изображение при любых сбоях или при "потере темпа" и пропуске отдельных кадров на медленных компьютерных системах.
Заметим, что в современных методах сохранения движущихся видеоизображений используются и другие типы кадров [1,2].
Существует множество различных форматов представления видеоданных. В среде Windows, например, уже более 10 лет (начиная с версии 3.1) применяется формат Video for Windows, базирующийся на универсальных файлах с расширением AVI (Audio Video Interleave - чередование аудио и видео)2. Суть AVI файлов состоит в хранении структур произвольных мультимедийных данных, каждая из которых имеет простой вид, изображенный на рис.3. Файл как таковой представляет собой единый блок, причем в него, как и в любой другой, могут быть вложены новые блоки. Заметим, что идентификатор блока определяет тип информации, которая хранится в блоке.
Внутри описанного выше своеобразного контейнера информации (блока) могут храниться абсолютно произвольные данные, в том числе, например, блоки, сжатые разными методами. Таким образом, все AVI-файлы только внешне выглядят одинаково, а внутри могут различаться очень существенно.
Еще более универсальным является мультимедийный формат Quick Time, первоначально возникший на компьютерах Apple. По сравнению с описанным выше, он позволяет хранить независимые фрагменты данных, причем даже не имеющие общей временной синхронизации, как этого требует AVI. В результате в одном файле может, например, храниться песня, текст с ее словами, нотная запись в MIDI-формате, способная управлять синтезатором, и т.п. Мощной особенностью Quick Time является возможность формировать изображение на новой дорожке путем ссылок на кадры, имеющиеся на других дорожках. Полученная таким способом дорожка оказывается несоизмеримо меньше, чем если бы на нее были скопированы требуемые кадры. Благодаря описанной возможности файл подобного типа легко может содержать не только полную высококачественную версию видеофильма, но и специальным образом "упрощенную" копию для медленных компьютеров, а также рекламный ролик, представляющий собой "выжимку" из полной версии. И все это без особого увеличения объема по сравнению с полной копией.
Все большее распространение в последнее время получают системы сжатия видеоизображений, допускающие некоторые незаметные для глаза искажения изображения с целью повышения степени сжатия. Наиболее известным стандартом подобного класса служит MPEG (Motion Picture Expert Group), который разработан и постоянно развивается созданным в 1988 году Комитетом (группой экспертов) международной организации ISO/IEC (International Standards Organization/International Electrotechnical Commission) по стандартам высококачественного сжатия движущихся изображений. Методы, применяемые в MPEG, непросты для понимания и опираются на достаточно сложную математику. Укажем лишь наиболее общие приемы, за счет которых достигается сжатие. Прежде всего, обрабатываемый сигнал из RGB-представления с равноправными компонентами преобразуется в яркость и две "координаты" цветности. Как показывают эксперименты, цветовые компоненты менее важны для восприятия и их можно проредить вдвое. Кроме того, производится специальные математические преобразования (DCT - дискретно-косинусное преобразование), несколько загрубляющее изображение в мелких деталях. Опять таки из экспериментов следует, что на субъективном восприятии изображение это практически не сказывается. Наконец, специальными методами (в том числе и методом, изображенным на рис.2) ликвидируется сильная избыточность информации, связанная со слабыми отличиями между соседними кадрами3. Полученные в результате всех описанных процедур данные дополнительно сжимаются общепринятыми методами, подобно тому, как это делается при архивации файлов.