Материал: 1484

3) масса тела неизменна; 4) тело движется с одинаковым постоянным ускорением в любой точке. При моделировании многих физических явлений мы используем закон Ньютона и делаем выводы.

Результат моделирования может соответствовать действительности, а может и нет. В последнем случае исследователю ничего не остается, как выбрать другую модель или другой метод ее исследования.

При аналитическом подходе модель не «подстраивается» под действительность, а мы пытаемся подобрать существующую аналитическую модель таким образом, чтобы она адекватно отражала реальность.

Модель всегда исследуется каким-либо методом (численным, качественным и т.п.). Поэтому выбор метода моделирования часто означает выбор модели.

3.1.2. Информационный подход к моделированию

При использовании традиционного, аналитического подхода к решению задач анализа в бизнесе неизбежно возникнут проблемы.

Основным фактором, определяющим неблагополучие в использовании аналитических методов для решения бизнес-задач, является соответствие между этими методами и реальностью, которые они призваны отражать. Существуют трудности, связанные с формализацией бизнес-процессов. Здесь факторы, определяющие явления, столь многообразны и многочисленны, их взаимосвязи так «переплетены», что почти никогда не удается создать модель, удовлетворяющую таким же условиям. Простое «наложение» известных аналитических методов, законов, зависимостей на изучаемую картину реальности не принесет успеха.

В сложности и слабой формализации бизнес-процессов главным образом «виноват» человеческий фактор, поэтому о характере закономерностей бывает трудно судить априори (а иногда и апостериори, после реализации какого-либо математического метода). С одинаковым успехом описывать эти закономерности могут различные модели. Использование разных методов для решения одной и той же задачи нередко приводит исследователя к противоположным выводам. Какой метод выбрать? Получить на подобный вопрос можно, лишь глубоко проанализировав как смысл решаемой задачи, так и свойство используемого математического аппарата.

51

Поэтому в последние годы получил распространение информационный подход к моделированию, ориентированный на использование данных. Его цель – освобождение аналитика от рутинных операций возможных сложностей в понимании применении современных математических методов.

В информационном подходе реальный объект рассматривается как «черный ящик», имеющий ряд входов и выходов, и моделируются некоторые связи между входами и выходами. Иными словами, известна лишь структура модели (например: нейронная сеть, линия регрессии), а сами параметры модели «подстраиваются» под данные, которые описывают поведение объекта. Для корректировки параметров модели используется обратная связь – отклонение результата моделирования от действительности, а процесс настройки модели часто носит итеративный (т.е. цикличный) характер (рис. 6).

Результат

Факт

Рис. 6. Информационный подход к моделированию

Таким образом, в информационном подходе отправной точкой являются данные, характеризующие исследуемый объект, и модель «подстраивается» под действительность. И если в аналитическом мы можем выбрать модель, даже не имея никаких экспериментальных данных, характеризующих свойств системы, и начать ее использовать, то в информационном подходе без данных невозможно построить модель, т.к. ее параметры полностью определяется ими.

Пример. В банковском риск-менеджменте широко известна модель Дюрана для расчета рейтинга кредитоспособности заемщика, которая получила распространение в 40-50-е гг. ХХ в. Дюран на основе собственного опыта разработал бальную модель для оценки заемщика по совокупности его имущественных и социальных параметров (возраст, пол, профессия и т.д.). Если у современного российского банка стоит задача рассчитать рейтинг заемщика, он может воспользоваться существующей моделью Дюрана. Однако будет ли адекватной в современной российской действительности модель, разработанная в середине прошлого века на Западе? Естественно не будет, так как она

52

никак не учитывает закономерности между современными заемщиками и дефолтностью по кредитам. Если же этот банк возьмет существующие собственные данные по кредитным историям и на их основе построит модель, рассчитывающую рейтинг клиента, то, вполне вероятно, получит работоспособную на практике модель расчета кредитного рейтинга клиента.

Впервом случае, когда мы брали модель Дюрана, мы использовали аналитический подход. Во втором – информационный, но для построения модели нам понадобились данные кредитные истории заемщиков банка.

Аналитические модели более универсальны, тогда как модели, полученные с помощью информационного подхода, учитывают специфику моделируемого объекта, явления. Для бизнес-процессов последнее качество очень важно, поэтому информационный подход лег

воснову большинства современных промышленных технологий и методов анализа данных: KDD, Data Mining, машинное обучение.

С другой стороны, концепция «моделей от данных» требует тщательного подхода к качеству исходных данных, поскольку ошибочные, аномальные и зашумленные данные могут дать модели выводы, не имеющие никакого отношения к действительности, а значит, ввести исследователя в заблуждение. Поэтому в информационном моделировании важную роль играет консолидация данных, их отчистка и даже обогащение.

Модель, построенная на некотором множестве данных, описывающих реальной объект или систему, может оказаться неработающей на практике, поэтому в информационном моделировании применяют специальные приемы: разделение данных на обучающие и тестовые множества, оценка обучающей и обобщающей способностей модели, проверка предсказательной силы модели.

Вдальнейшем под анализом данных будет пониматься именно информационный подход. Поскольку данные могут быть определены

вразличной форме, круг рассмотрения будет сужен областью структурированных данных. Инструментальной поддержкой процесса построения моделей на основе информационного подхода выступают современные технологии анализа данных KDD и Data Mining, а средством построения прикладных решений в области анализа – аналитические платформы.

53

3.2.Технология Data Mining

3.2.1.Общие сведения о технологии Data Mining

Ванглоязычной среде термин Data Mining имеет несколько определений и дословно переводится как «добыча данных» или «раскопка данных». Нередко рядом с Data Mining встречаются слова "обнаруже-

ние знаний в базах данных" (knowledge discovery in databases) и "ин-

теллектуальный анализ данных". Их можно с некоторой степенью обобщения считать синонимами Data Mining. Возникновение всех указанных терминов связано с новым витком в развитии средств и методов обработки данных.

Наиболее общее определение Data Mining можно сформулировать следующим образом.

Определение. Data Mining – это обнаружение в «сырых» данных ранее неизвестных нетривиальных, практически полезные и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Из определения следует, что Data Mining представляет собой технологию обнаружения знаний, а, следовательно, новой информации. К такой информации предъявляется ряд требований.

Информация, найденная в процессе применения методов Data Mining, должна быть нетривиальной и ранее неизвестной, например, средние продажи не являются таковыми. Знания должны описывать новые связи между свойствами, предсказывать значения одних признаков на основе других. Информация должна быть логически понятна и доступна для интерпретации.

Цель Data Mining состоит в выявлении скрытых правил и закономерностей в наборах данных. Дело в том, что человеческий разум сам по себе не приспособлен для восприятия больших массивов разнородной информации.

Современные технологии Data Mining (discovery-driven data mining) перелопачивают информацию с целью автоматического поиска шаблонов (паттернов), характерных для каких-либо фрагментов неоднородных многомерных данных. В отличие от оперативной ана-

литической обработки данных (online analytical processing, OLAP) в Data Mining бремя формулировки гипотез и выявления необычных (unexpected) шаблонов переложено с человека на компьютер. В постановке задачи Data Mining для специалистов нет ничего нового. Они на

54

протяжении нескольких последних десятков лет решали подобные задачи ("поиск эмпирических закономерностей", "эвристический поиск в сложных средах", "индуктивный вывод" и т. п.). Но только сейчас общество в целом созрело для понимания практической важности и широты этих задач. Во-первых, в связи с развитием технологий записи и хранения данных сегодня на людей обрушились колоссальные потоки информационной руды в самых различных областях, которые без продуктивной переработки грозят превратиться в никому не нужные свалки. И, во-вторых, средства и методы обработки данных стали доступными и удобными, а их результаты понятными любому человеку.

3.2.2. Сферы применения

Сфера применения Data Mining ничем не ограничена она везде, где имеются какие-либо данные. Но в первую очередь методы Data Mining сегодня, мягко говоря, заинтриговали коммерческие предприятия, развертывающие проекты на основе информационных храни-

лищ данных (Data Warehousing).

Опыт многих таких предприятий показывает, что отдача от использования Data Mining может достигать 1000%. Например, известны сообщения об экономическом эффекте, в 10 70 раз превысившем первоначальные затраты от 350 до 750 тыс. дол. [1]. Приводятся сведения о проекте в 20 млн дол., который окупился всего за 4 месяца. Другой пример годовая экономия 700 тыс. дол. за счет внедрения Data Mining в сети универсамов в Великобритании. Data Mining представляют большую ценность для руководителей и аналитиков в их повседневной деятельности. Деловые люди осознали, что с помощью методов Data Mining они могут получить ощутимые преимущества в конкурентной борьбе. Кратко охарактеризуем некоторые возможные бизнес-приложения Data Mining.

Розничная торговля

Предприятия розничной торговли сегодня собирают подробную информацию о каждой отдельной покупке, используя кредитные карточки с маркой магазина и компьютеризованные системы контроля. Вот типичные задачи, которые можно решать с помощью Data Mining в сфере розничной торговли:

55