ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ
УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ
«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»
Факультет бизнеса и менеджмента
КОЛИЧЕСТВЕННЫЙ РЕКУРРЕНТНЫЙ АНАЛИЗ В ОБНАРУЖЕНИИ ЭСТРЕМАЛЬНЫХ СОБЫТИЙ
Выпускная квалификационная
работа по направлению подготовки 38.03.05 Бизнес-информатика
образовательная программа «Бизнес информатика»
Заспенко Владислав Владимирович
Москва 2019
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ
Актуальность
Методологические предпосылки исследования
Цель исследования
Задачи исследования
Объект исследования
Методы исследования
Краткое описание структуры работы
ГЛАВА 1: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ОБЗОР ЛИТЕРАТУРЫ
1.1 Обзор выбранной литературы
1.1.1 Фракталы
1.1.2 Нелинейные динамические системы
1.1.3 Рекуррентный график
1.1.4 Структуры рекуррентных диаграмм
1.1.5 Реконструкция пространства состояний
1.1.6 Количественный рекуррентный анализ
1.1.7 Экстремальные события
1.2 Ключевые термины и формулы
ГЛАВА 2: ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ
2.1 Применение количественного рекуррентного анализа к моделируемым данным
2.2 Значимость результатов практической части работы
2.2.1. Проблемы сбора и анализа информации
Данные
2.3 Способ получения данных
2.4 Временные ряды и рекуррентные графики
ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
ВВЕДЕНИЕ
Актуальность
Развитие прикладных наук с каждым годом ставит перед исследователями увеличивающееся количество вопрос для изучения, по большей части требующие тесного понимания естественных явлений и «сотрудничества» с Природой. Вопрос изучения временных рядов стоит у исследователей на одном из первых мест, поскольку они затрагивают почти каждую область, где происходит изменения показателей в сложных системах во времени. Например, социально-демографические, экономические, природные (к ним в большей степени относятся данные о состоянии погоды). (Мишулина О. А., 2004)
Теория нелинейной динамики и хаоса позволило существенно расширить возможности для изучения временных рядов, предоставив в распоряжение исследователей нелинейные методы анализа, которые отличались от традиционных линейных методик. Многие исследования, базировавшиеся на новых методах, были направлены на оценку нелинейных характеристик и свойств процессов. Однако для подобных методов требуется рассмотрение достаточно длинных или стационарных рядов данных из Природы, получение которых является трудной задачей. Но даже при всем этом, результат использования данных и методов в совокупности удовлетворяют идеализированные модели реальных систем. (Manuca R, Savir R, 1996)
Изучение сложных систем, будь они природные или искусственные дают большое количество информации на базе которой можно описать и понять природу процессов для того, чтобы использовать полученные знания в прогнозировании на некоторых временной промежуток вперед. Из этого формируется основная цель подобных исследований - построение математических моделей, которые максимально приближенно отражали бы реальные процессы и могли быть использованы для решения существующих задач по раннему выявлению и предсказыванию экстремальных событий
В данной дипломной работе будет рассмотрена информация об идеи и теории количественного рекуррентного анализа в обнаружении экстремальных событий. Помимо всего прочего, прикладная часть работы будет посвящена применению количественного рекуррентного анализа для сбора и обработки данных микроблоггинговой социальной сети Twitter, а также интерпретация рекуррентных диаграмм на основе смоделированных данных.
Методологические предпосылки исследования
Для сложных систем источником данных которых является природа или что-либо иное, свойственно рекуррентное поведение. Это означает, что для подобных систем свойственно иррегулярная цикличность, либо, другими словами, периодичность. Являясь фундаментальным для диссипативных динамических систем свойством, рекуррентные диаграммы используют его и позволяют отобразить фазовую траекторию любой размерности на квадратичной матрице двумерной системы, размер осей которой определяется длинной временного ряда. Помимо визуальных возможностей, на основе изображения рекуррентной диаграммы используется также количественный анализ структур. (Эркман, Кампхорстом, Рюэль, 1987)
анализ рекуррентный событие экстремальный
Цель исследования
Цель данного исследования заключается в изучении методов и алгоритмов получения временных рядов из данных микроблоггинговой социальной сети Twitter, и последующая обработка полученных временных рядов в виде построения фазовых портретов, что могут отображать критические точки с заложенными внутри них экстремальными событиями.
Задачи исследования
Ключевые цели для достижения поставленной цели являются:
· Обзор литературы, затрагивающую выбранную тематику исследования;
· Анализ применения фазовых портретов (рекуррентных диаграмм) к количественному анализу временных рядов;
· Сбор данных для получения временного ряда;
· Создание собственного программного обеспечения или поиск существующего программного решения для анализа временного ряда и преобразования данных в фазовый портрет (рекуррентную диаграмму);
· Рассмотреть и проанализировать полученные фазовые портреты.
Объект исследования
Объектом исследования является микроблоггинговая социальная сеть Twitter, свойства которой схожи со свойствами сложных нелинейных систем. Автор работы хочет рассмотреть социальную сеть как источник данных, на основе которых можно обнаружить экстремальные события.
Методы исследования
Для исследования данной темы автору требуется изучить существующие методы анализа временных рядов и их преобразования в фазовые портреты. Для достижения поставленной цели в работе применены следующие исследовательские методы:
· Анализ литературы;
· Изучение методологий построение временных рядов;
· Изучение существующих способов получения данных для построения временных рядов;
· Практическое применение изученных методов;
· Теоретический анализ обработка результатов исследования.
Краткое описание структуры работы
Во введении описана актуальность работы, заданы цель и задачи исследования. Дано краткое описание используемых методов в данной работе.
В первой главе идет разбор основной литературы по исследуемой проблеме, литература представлена в виде теоретического обзора основных понятий и определений, которые используются в изучаемой области. Все приведенные понятия, формулы, определения могут в свою очередь использоваться или не использоваться для решения поставленной задачи в данной работе.
Во второй главе приведены результаты практической реализации методов построения рекуррентного графика.
В заключении подводится итог реализованной работы. Делаются основные выводы и рекомендации для дальнейшего изучения вопроса.
ГЛАВА 1: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ОБЗОР ЛИТЕРАТУРЫ
1.1 Обзор выбранной литературы
На данный момент существует большое количество литературы в виде научных работ и статей от исследователей направления прикладных аспектов нелинейной науки, следовательно можно сделать вывод о том, что уровень интереса к направлению поддерживался продолжительное количество времени.
Автор данного исследования проанализировал несколько источников. Количественный рекуррентный анализ не может быть осуществлен без фазовых портретов, которые изучались еще в 19 веке. Автор в обзоре литературы затрагивает историю становления способов построения и анализа фазовых портретов.
1.1.1 Фракталы
Фрактал -- это геометрическая форма с нецелым числом измерений, что означает, что они не заполняют все 2-мерное или 3-мерное пространство. Фракталы также имеют повторяющиеся структуры. Один и тот же общий шаблон виден, если мы увеличиваем или уменьшаем масштаб изображения до разных уровней. Их существенные структуры можно найти во многих примерах в природе - формы снежинок, овощей, молний, нейронных структур.
Одной из наиболее практичных фрактальных функций является диффузионно-ограниченная агрегация. Эта концепция была использована для картирования потока инфекционных заболеваний через физическое пространство. Возбудитель быстро распространяется по центральному пути, затем разветвляется в нескольких направлениях, а затем рассеивается. Однако этот принцип сложнее применять, когда патоген распространяется посредством глобального транспорта, а не простой физической близости.
Существует важная связь между фрактальной структурой и хаосом: бассейн или внешняя граница хаотического аттрактора -- это фрактал. Это открытие быстро привело к вычислению фрактальных измерений в данных временных рядов, которые, в свою очередь, использовались для характеристики сложности временных рядов биометрических или психологических данных. В принципе, должна быть возможность найти фрактальную структуру на одном уровне шкалы, которая повторяется на других (более мелких, более широких) уровнях шкалы.
В какой-то момент в истории считалось, что наличие фрактальной структуры во временном ряду было явным признаком того, что временной ряд был хаотичным. Однако это предположение оказалось слишком упрощенным. Хаотический временной ряд состоит из расширяющихся и сжимающихся сегментов. Гораздо лучшим «тестом на хаос» является показатель Ляпунова, связанный с временными рядами.
Показатель Ляпунова на самом деле представляет собой спектр значений, который вычисляется из чисел последовательных разностей во временном ряду. Положительный показатель указывает на расширение, а отрицательное значение указывает на сжатие в направлении фиксированной точки. Идеальный 0.0 указывает на чистый генератор, который на практике может быть немного возмущен в хаотическом направлении или ослаблен в направлении фиксированной точки. Решение о динамическом характере временного ряда принимается по наибольшему показателю Ляпунова, который должен быть положительным, а сумма других значений должна быть отрицательной.
Удобно, что наибольший показатель Ляпунова можно преобразовать во фрактальную размерность. Размеры фракталов от 0 до 1,0 указывают на гравитацию в направлении фиксированной точки. Значение 1.0 может указывать либо на линию, либо на идеальный осциллятор. Значения между 1,0 и 2,0 обычно интерпретируются как диапазон самоорганизованной критичности, которая отражает баланс между порядком и хаосом. Связь между фрактальными структурами, самоорганизацией и возникающими событиями, которая развивается позже вместе с самоорганизацией.
Размеры фракталов между 2,0 и 3,0 хаотичны, но с уклоном в сторону относительно небольших колебаний во времени, которые перфорированы несколькими крупными. Примером может служить траектория полета хищной птицы, которая проверяет свою местность, внезапно налетает на группу, чтобы проверить что-нибудь вкусное. Люди выбирают похожую модель в продуктовом магазине, вероятно, не задумываясь об этом. Однако здесь есть одна оговорка: продуктовые магазины гораздо более организованы, чем твари, бегающие по лесу. Продуктовый магазин хочет, чтобы мы нашли то, что ищем; твари не хотят быть найденными ястребом.
Размеры фракталов больше 3,0 хаотичны. Еще одна оговорка, однако, заключается в том, что существует много известных хаотических аттракторов с фрактальными размерами менее 3,0 и ближе к 2,0. Не все примеры хаоса являются хаотическими аттракторами.
1.1.2 Нелинейные динамические системы
Нелинейные динамические системы описывающие изменения в переменных с течением времени могут показаться хаотичными, непредсказуемыми или противоречащими интуиции, что в свою очередь противоречит установкам более простых систем, линейных.
Как правило, поведение нелинейной динамической системы описывается в математике нелинейной системой уравнения, которая представляет собой набор одновременных уравнений в которых неизвестные переменные (или неизвестные функции в случае дифференциальных уравнений) появляются как переменные многочлена степени выше единицы или в аргументе функции, которая не является полиномом степени один. Другими словами, в нелинейной динамической системе уравнений решаемое уравнение не может быть записано как линейная комбинация неизвестных переменных или функций, которые появляются в них. Системы могут быть определены как нелинейные вне зависимости от того, появляется ли в уравнениях линейная часть функции или нет. В частности, дифференциальное уравнение является линейным, если оно является линейным по неизвестной функции и ее производным, даже если оно нелинейно по отношению к другим переменным, появляющимся в нем.
Нелинейные динамические системы являются областью, которую рассматривает в первую очередь фрактальная теория. Динамическая система является моделью, которая способна определить жизненный цикл системы, принимая во внимание ее начальное состояние, что может свидетельствовать о наличии свойства запоминать параметры начального состояния у подобной модели: нынешнее состояния представляет собой функцию прошлого состояния. В итоге динамическая система описывает сразу два понятия: динамика и состояние.