* Поиск слов ассоциаций, чтобы получить представление о важных вопросах в теме.
* Распознавание гендерного различия в текстах.
* Поиск среднего числа ретвитов/цитирований/лайков для текстов, соответствующих запросу/полу/настроениям
* Создание сети пользователей из их текстов.
* Создание графиков временных рядов для отдельного пользователя в общем запросе
MozdehBigDataTextAnalysis может собирать твиты, соответствующие одному или нескольким запросам. Эти запросы могут быть перечислены на экране сбора данных (см. рисунок ___). Когда программа запускается, она циклически просматривает эти запросы, отправляет их в Twitter через API и сохраняет возвращенные совпадения. Этот процесс повторяется бесконечно, чтобы постоянно проверять наличие нового контента. Если его оставить на компьютере, который постоянно подключен к Интернету и не переходит в спящий режим или режим гибернации, Mozdeh может собирать данные годами без остановки. Однако есть три основных ограничения.
· Старые посты не извлекаются: API поиска не возвращает твиты, которые старше примерно недели, даже если они соответствуют поиску по ключевым словам. Поэтому, чтобы собрать бесплатные твиты для события, важно запускать процесс сбора информации перед событием и оставить его на протяжении всего события.
· Не все посты извлекаются: API возвращает максимум 1% всех твитов, опубликованных во время сбора данных. Это известно как «ограничение скорости». Большинство запросов генерируют гораздо меньше совпадений, чем 1% всех твитов, поэтому это часто не является проблемой (Thelwall, 2015). Это в основном проблема при выполнении большого набора запросов с большим совокупным количеством совпадающих твитов или нескольких очень популярных запросов, например, для важнейшей новости. Твиттер не говорит, является ли предел в 1% случайной выборкой.
· Некоторые посты отфильтрованы. API, кажется, удаляет подобные спаму твиты, а также дублирующие твиты, особенно ретвиты. Например, если твит имеет 10 000 ретвитов, то API может вернуть только несколько из этих идентичных ретвитов. Точный процесс фильтрации твитов не сообщается в Твиттере.
Второй и третий пункты описанные выше проблематичны для исследовательских проектов, потому что они вводят неизвестное количество в источник данных и потенциальный источник смещения. Это должно быть принято и недвусмысленно признано ограничением процесса сбора данных.
Запросы должны быть тщательно составлены, чтобы соответствовать как можно большему количеству соответствующих твитов и как можно меньшему количеству неактуальных твитов. Если запросы соответствуют множеству не относящихся к делу твитов, тогда будет сложно проанализировать полученные данные. Если многие соответствующие твиты не найдены, это ослабит анализ. Поэтому необходимо выбрать баланс, чтобы собрать как можно больше соответствующих твитов. Поскольку целью практической части исследования было выявление экстремальных событий в сети twitter, то выбор источника данных пал на один из популярнейших новостных порталов - CNN и все остальные связанные с ним учетные записи зарегистрированных в twitter (список см. выше)
Соответствующие запросы в программе Mozdeh:
Queries used:
· From:CNN
· From:cnnbrk
· From:cnni
· From:CNNPolitics
· From:CNNnews18
· From:cnnphilippines
Результатом обработки данных является временной ряд с несколькими пиковыми значениями с наибольшим количеством опубликованных постов в тот или иной промежуток времени.
RR: 0.13 DET: 0.13 RATIO: 2.73
DIV: 0.03 Lmean: 2.13 ENT: 0.33
LAM: 0.23 TT: 2.23
2.4 Временные ряды и рекуррентные графики
Обработка данных и построение графиков рекуррентности осуществлялась на основе программного обеспечения BioAnalyzer
По результатам сбора данных было выявлены ключевые события с рассматриваемый промежуток времени, а именно:
· Выборы в США
· Арест Джулиана Ассанжа
· Первый в мире снимок черной дыры
· Пожар в Соборе Парижской Богоматери.
Далее будут рассматриваться более детально каждое из событий, что произошли в рассматриваемый промежуток времени. При помощи стороннего ПО, которое применяет формулы расчета и базируется на теоретических данных, описанных в теоретической части данной работы будут построены рекуррентные диаграммы для каждого события с подбором необходимых параметров для более качественной их интерпретации.
Выборы в США:
Данные отбирались из общего числа постов по ключевому слову «election», в переводе с англ. - выборы. Полученный временной ряд постов смотрите ниже.
Описание полученных данных:
Embedding 610, radius as 1 % of a range of time series
Арест Джулиана Ассанжа:
Описание полученных данных:
Embedding 85, radius as 4 % of a range of time series
Первый в мире снимок черной дыры:
Описание полученных данных:
Embedding 550, radius as 1.9 % of a range of time series
Пожар в Соборе Парижской Богоматери:
Описание полученных данных:
Embedding 25, radius 80
ЗАКЛЮЧЕНИЕ
В данной исследовательской работе была рассмотрена теоретическая составляющая теории нелинейных динамических систем и связанных с ней теоретических основ. Поэтапно, начиная с теории фрактальной геометрии и заканчивая теорией о количественном рекуррентном анализе были рассмотрены ключевые подразделы теории, необходимые для понимания и последующего применения их на практике. Ключевой пункт теории заключается в описании структур, возникающих в рекуррентных диаграммах.
С точки зрения практической части, использование готового программного обеспечения от 3-х лиц существенно упростило реализацию поставленной задачи в виде построения рекуррентных графиков на основе полученных временных рядов. При помощи стороннего программного обеспечения были собраны и обработаны данные из микроблоггинговой социальной сети Twitter. Полученный результат в виде временного ряда был обработан другим ПО, что преобразовало его в рекуррентный график. Помимо этого, было смоделированы рекуррентные графики и построены временные ряды на базе простых функций.
Мишулина О. А. Статистический анализ и обработка временных рядов. - М: МИФИ, 2004. - 180 с.
Manuca R., Savit R. Stationarity and nonstationarity in time series analysis // Physica D. 1996. Vol. 99 No. (2-3). P 134 - 161.
Eckmann J.P., Pamphorst S.O., Ruelle D. Reccurence plots of Dynamical Systems // Europhysics Letters. 1987. Vol. 5. P. 973 - 977.
Marvan N., Wessel N., Meyerfieldt U., Schirdewan A., Kurths J. Recurrence plot-based measures of complexity and their application to heart rate variability data // Physical review., 2002. Vol. 66. No. 2
Cao L. Prastical method for determining the minimum embedding dimension of a scalar time series // Physica D: Nonlinear Phenomena., 1997. Vol. 110 No. (1-2). P. 43 - 50.
Marwan N., Romano M.C., Thiel M., Kurths J. Recurrence plots for the analysis of complex systems // Physics reports., 2007. Vol. 438 No. 5. P. 237 - 329.
Динамический хаос. Модели биологических сообществ [электронный ресурс] / Справочник «Биофизики России» - URL: http://www.library.biophys.msu.ru/LectMB/lect10.htm (дата обращения: 19.04.2019)
Формула Шеннона [электронный ресурс] / Учебные материалы Южного федерального университета - URL: http://www.physchem.chimfak.rsu.ru/Source/KT2012/pages/M02-03.htm (дата обращения: 10.05.2019)
Политика разработчика [электронный ресурс] / Developer API policy - URL: https://developer.twitter.com/en.html (дата обращения: 12.05.2019)
Thelwall M., Evaluation the comprehensiveness of Twitter Search API results: A four step method // Cybermetrics., 2015. P. 18 - 19
Zbilut, J.P., Thomasson, N. and Webber, C.L. Recurrence quantification analysis as a tool for nonlinear exploration of nonstationary cardiac signals. // Medical engineering & physics., 2002. Vol. 24(1), P.53-60.
Tratar L.F., Forecasting method for noisy demand // International journal of production economics. 2015. Vol. 161., P. 64 - 73
Кроновер Р.М. Фракталы и хаос в динамических система. Основные теории - М: ПОСТМАРКЕТ, 2000. - 372 с.
Zbilut J.P., Webber C.L., Jr. Embedding and delays as derived from quantification of reccurence plots // Physics Letters A., 1992. Vol. 171. P. 199 - 203.
BiosAnalyser [электронный ресурс] / Data Analysis Software Page - URL:
http://www.inverudio.com/programs/BiosAnalyzer/BiosAnalyzer.php (дата обращения: 29.04.2019)
Zbilut J.P., Webbew C.L. Jr.Recurrence quantification analusis: Introduction and historical context // International Journal of Bifurcation and Chaos, 2007. Vol. 17. No 10. P. 3477-3481
Marvan N., Kurths J. Line structures in recurrence polts
N. Marwan and J. Kurths. Line structures in recurrence plots. Physics Letters A, 336(4-5):349-357, 2005.