Дипломная работа: Количественный рекуррентный анализ в обнаружении экстремальных событий

RQA может применяться практически к любому виду данных. Он широко используется в физиологии, но также успешно применяется для решения задач в области инженерии, химии, наук о Земле и т. Д.

Для количественной оценки мелкомасштабных структур рекуррентных графиков и извлечения информации о базовых временных рядах было предложено несколько мер (Збилут и Веббер, 1992, 1994, Марван, 2002), собранные в количественный рекуррентный анализ.

Меры основаны на плотности точек рекуррентности и количественно определяют численность и длину диагональных и вертикальных линий в рекуррентном графике.

1.1.7 Экстремальные события

Экстремальные события (катастрофические события) -- это внезапные изменения; они не обязательно являются плохими или нежелательными событиями, как можно предположить. Модели катастроф содержат комбинации аттракторов, репеллеров, седел и бифуркаций. Согласно теореме классификации, разработанной Рене Томом, все разрывные изменения событий могут быть описаны одной из семи элементарных топологических моделей. Модели являются иерархическими, так что более простые встраиваются в более крупные. Самая простая модель -- это складчатая катастрофа. Он описывает переходы между устойчивым состоянием (аттрактором) и неустойчивым состоянием. Сдвиг между двумя модальностями определяется одним управляющим параметром (он же независимая переменная). Когда значение этого параметра достигает критической точки, система переходит в состояние аттрактора или выходит из него. Каждая модель катастрофы содержит набор бифуркаций. В модели сгиба бифуркационный набор состоит из одной критической точки.

Модели катастроф -- это полиномиальные структуры. Ведущий многочлен для поверхности отклика сгиба представляет собой квадратичный член, такой что f (y) / dy = y2 - a, в котором a является параметром управления, а y является наблюдаемой переменной поведения (или зависимой мерой). Модели катастроф также имеют потенциальную функцию, которая характеризует поведение агентов, действующих в модели, как позиции, а не скорости. Другими словами, для представления скорости мы бы сказали f (y) / dy или dy / dt (t = время). Чтобы представить потенциальную функцию, мы бы интегрировали функцию поверхности отклика; таким образом, для сгиба f (y) = y3 - ay.

Модель каспа является второй по простоте в серии - достаточно сложной, чтобы быть очень интересной и уникально полезной. Фактически это самая популярная модель катастроф в поведенческих науках. Для бугорка требуются два контрольных параметра: асимметрия и бифуркация. Чтобы визуализировать динамику, начните с устойчивого состояния слева и следуйте по внешнему краю поверхности, где бифуркация высока. Если мы изменим значение параметра асимметрии, ничего не произойдет, пока он не достигнет критической точки, в которой мы внезапно изменим поведение: контрольная точка, которая показывает, какое поведение работает, переворачивается на верхний лист поверхности. Аналогичный обратный процесс происходит при переходе из верхнего в нижнее устойчивое состояние.

Когда бифуркация низкая, изменение относительно плавное. Точка каспа - седло, и это самое нестабильное место на поверхности. С небольшим толчком он движется к одному из стабильных состояний аттрактора. Траектории, нарисованные голубым цветом, представляют собой градиенты, созданные двумя управляющими переменными. Красное пятно указывает на присутствие отражателя; там сравнительно мало точек.

Куспид часто рисуется с его бифуркационным набором, который по сути является двухмерной тенью поверхности отклика. Там вы можете увидеть два градиента, которые соединены в точке возврата. В приложении к несчастным случаям на производстве, показанным на диаграмме, было несколько психосоциальных переменных, которые влияли на параметр бифуркации. Некоторые из них оказали отрицательное «влияние» на них, а другие оказали положительное «влияние». Вместе градиентные переменные фиксируют диапазон движений, которые возможны вдоль бифуркационного коллектора.

Ведущий многочлен для поверхности отклика каспа представляет собой кубический член, такой что f (y) / dy = y3 - by-a, в котором a является параметром асимметрии, а b является параметром бифуркации. Его потенциальная функция f (y) = y4 - by2 - ay.

Модель катастрофы с ласточкиными хвостами показывает движение вдоль четырехмерной поверхности отклика, которая должна быть показана в двух трехмерных разрезах. Ведущий многочлен для его поверхности отклика является квартичным многочленом: f (y) / dy = y4 - cy2 - by - a. Когда параметр асимметрии a имеет низкое значение, объекты на поверхности могут перемещаться из нестабильного состояния в более интересную часть поверхности (показанную в верхней части рисунка справа), где находятся стабильные состояния. Параметр бифуркации, b, определяет, будут ли точки перемещаться от задней поверхности к передним областям, где находятся устойчивые состояния. Точки могут перепрыгивать между двумя устойчивыми состояниями, или они могут проваливаться через скол на поверхности обратно в нестабильное состояние (низкое а). Параметр смещения c определяет, достигает ли точка того или иного устойчивого состояния.

Следующие четыре модели катастроф являются более сложными по структуре, и, таким образом, их применение в социальных науках значительно меньше по сравнению с каспами. Вкратце, однако, катастрофа бабочки описывает движение вдоль 5-мерной поверхности отклика. Он содержит три устойчивых состояния с репеллерами между ними. Точки объектов могут перемещаться между соседними состояниями в виде куспида или между разнородными состояниями более сложным образом. Модель имеет четыре параметра управления. Первые три -- это асимметрия, бифуркации и снова шумы. Четвертый параметр бабочки, который побеждает связь между слухами и параметром бифуркации

1.2 Ключевые термины и формулы

· Частота рекуррентности (Recurrence Rate, англ.) - процентное содержание рекуррентных точек на рекуррентном графике.

Соответствуют сумме корреляции

· Детерминизм (Determinism, англ.) - Процентное соотношение точек, которые образуют диагональные линии.

P(l) - гистограмма длин l диагональных линий

· Ламинарность (Laminarity, англ.) - Процентное соотношение рекуррентных точек, которые образую вертикальные линии

P(v) - гистограмма длинны v вертикальных линий

· Соотношение (Ratio, англ.) - соотношение между DET и RR

· Средняя длина диагональной линии (L) - средняя длина диагональных линий

· Время отлова (Trapping time) - средняя длина вертикальных линий

· Наиболее длинная диагональная линия (L_max) - длина наиболее длинной диагональной линии

· Наиболее длинная вертикальная линия (V_max) - длина наиболее длинной вертикальной линии

· Дивергенция (Divergence, англ) - значение обратное значению L_max

Показатель, связанный с энтропией системы, т. е. суммой положительных показателей Ляпунова

· Энтропия (Entrophy, англ.) - Энтропия Шэннона распределения вероятностей длин диагональной линии P(l)

· Трэнд (Trend, англ.) - частокол рекуррентного графика направленный к его краям

N - количество точек на фазовом пространстве траектории

N_l - количество диагональных линий на рекуррентном графике

N_v - количество вертикальных линий на рекуррентной графике

P(l), P(v) - гистограмма длин линий диагональных, вертикальных линий

- Максимальное число диагоналей, параллельных линии идентичности, которое будет учитываться при расчете трэнда.

ГЛАВА 2: ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ

2.1 Применение количественного рекуррентного анализа к моделируемым данным.

В данном параграфе RP и DET рассчитываются для набора имитированных наборов данных с использованием набора инструментов Matlab. Временные ряды были получены с использованием разных частот выборки: 2pi/600, 2pi/52, 2pi/12 для имитации частоты выборки с очень высокой, еженедельной или ежемесячной частотой соответственно в течение трех лет.

Таблица 2

На рисунке __ изображены RP моделируемых временных рядов с частотой дискретизации, равной 2pi/600 за три года. RP, относящиеся к временным рядам, полученным с помощью других частот дискретизации, здесь опущены как аналогичные тем, что изображены на рисунке __

Согласно шаблонам и текстурам, описанным Eckmann et al. (1987) и Marwan (2003), характеристики изображенных RP здесь получены. Периодическая рекуррентная структура видна в RP, соответствующая сезонной функции a), и такое рекуррентное поведение выделяется диагональными линиями, параллельными основной диагональной линии RP; поскольку диагональные линии являются максимально длинными, это будет означать, что даже DET примет свое максимальное значение. Повторяющаяся структура, видимая в RP, соответствующая сезонной функции с аддитивным трендом b), показывает модифицированный сезонный фактор, а видимые кластеры идентифицируют компонент аддитивного тренда временного ряда спроса. Затухание в верхнем левом углу RP, соответствующее сезонной функции с мультипликативным трендом c), показывает более важный вклад компонента тренда временного ряда спроса, в то время как параллельные линии все еще показывают сезонность. Однородная RP, соответствующая случайной функции (d), идентифицирует равномерно распределенные временные ряды спроса, а отдельные точки характеризуют значения спроса, которые не сохраняются во времени. Сносы к верхнему левому и нижнему правым углам диагональных линий в сочетании с большими белыми областями, характеризующими RP, соответствующие тренду с функцией аддитивного шума e), описывают систему с медленно меняющимися параметрами, то есть трендом и шумом. Мультипликативная роль шума в функции f) улавливается изменениями текстуры соответствующего RP, поскольку линии являются ортогональными. Линии прерываются шумом, тем не менее, низкое разрешение графика не позволяет визуально осмотреть это прерывание.

2.2 Значимость результатов практической части работы

Каждый год область исследования данных микроблоггинговой сети Twitter растет и привлекает к себе внимание большого количества исследователей. Практическая часть работы, в частности, будет посвящена сбору и обработке данных из соц. сети Twitter, а также попытке применить метод количественного рекуррентного анализа для обнаружения экстремальных событий на основе этих данных.

Сразу стоит отметить, что обработка данных и последующее получение результатов нельзя назвать полноценной реализацией метода RQA в связи с несколькими причинами:

2.2.1 Проблемы сбора и анализа информации

· Применение формул вычисления:

Формулы вычисления, что были приведены в теоретической части работы на практике лично исследователем не применяются, поскольку в тексте они носят информативный характер.

· Неполный объем данных:

Согласно политике центра разработки Twitter API (Twitter Developer Policy, 2017) выгружаемые данные доступны в ограниченном объеме. Для того, чтобы пользоваться полным набором данных необходимо платить Twitter за сбор, хранение и обработку результатов «майнинга» данных.

· Большой объем данных:

При условии оплаты и получения данных для обработки результатов, набор данных был бы настолько большим, что вычислительных мощностей среднестатистического компьютера не хватило бы, чтобы обработать огромные массивы полученных данных.

· Скорость загрузки:

Загрузки ограниченного набора данных осуществляется с достаточно высокой скоростью. В течение 10 минут программа осуществляет сбор и одновременно обработку полученных данных, предоставляя к анализу временной ряд на основе выборки. Однако, если использовать полные возможности сбора данных от Twitter API, то скорость получения данный резко снизиться. Сбор данных всех интересующих постов за достаточно длинный временной период (например, 2-3 года) осуществлялся бы на протяжении нескольких дней.

Данные

Выборка содержит около 7 тысяч твитов и ретвитов сделанных в период с 15:00 06 апреля 2019 г. по 12:00 16 апреля 2019 г. Данные в рассматриваемый промежуток времени был богат на события и претендуют на репрезентативную выборку. Критерием сбора информации было соответствие имени пользователя twitter аккаунта нескольким наименованиям:

Список учетных записей twitter:

· CNN

· CNN Breaking News

· CNN International

· CNN Politics

· CNN News 2018

· CNN Philippines

2.3 Способ получения данных

Данные получены при помощи программы сбора твиттов и ретвитов MozdehBigDataTextAnalysis

Программа представляет собой десктопное приложение с широким диапазоном возможностей для анализа получаемой информации:

* Поиск в собранных текстах, по ключевым словам, и/или настроению и/или полу автора.

* Поиск по настроению, измерить среднее настроение для запроса или найти термины, связанные с положительным или отрицательным настроением.

* Формирование временного ряда по объему сообщений в интересующей тематике или процентного содержания текстов, соответствующих любому запросу в теме.

* Формирование временного ряда по среднему значению положительных и отрицательных настроений текстов в целом или для текстов, соответствующих запросу в теме.