Эффективной оценкой для Pj(E0) является величина
(3.14)
Оценивая результаты испытаний на каждом этапе, получаем последовательность оценок
P1*( E0), ..., Pj*( E0), ..., Pm*( E0). (3.15)
Если предположить, что от этапа к этапу ИС улучшается, то оценки (3.15) с увеличением количества испытаний по вероятности будут приближаться к неизвестному значению вероятности P(E0), величина которой зависит от способности ИС находиться в состоянии, соответствующем установленным требованиям по качеству.
Важной оценкой P(E0) является величина интегрального характера
(3.16)
где k определяется по формуле (3.11).
Тогда P1*(E0) , ... , Pj*(E0) , ... , Pm*(E0) и, следовательно, их оценки (3.15) должны иметь тенденцию к улучшению, так как КС УКИС после некоторого объема наблюдений (измерений) в реальном масштабе времени определит необходимые мероприятия, направленные на улучшение КИС. Поэтому можно предположить, что значения фактических показателей качества (3.16) будут хуже на первоначальных этапах и выше на завершающих. По этой формуле может вычисляться средневзвешенное значение по всем этапам ИС относительно единичных, групповых и других значений показателя качества.
3.2 Модель определения состава показателей качества информационных систем
В рамках обобщенной модели СКИС рассмотрим теперь более конкретное развитие модели оценки качества ИС с позиций принципов квалиметрии [1,73]. Это рассмотрение целесообразно проводить с учетом требований к оценке качества ИС, рассмотренных в разделе 2.2.
Дефекты ИС могут быть заданы случайными величинами, каждая из которых характеризуется временем и (или) стоимостью обнаружения и исправления дефекта и отображаемые статистической структурой в соответствии с формулами (3.9) и (3.10). Исходя из характера ИС, наиболее приемлемым представляется провести сбор данных выборочно комбинированным методом. По каждому этапу должны быть взяты репрезентативные выборки серий обрабатываемых документов. В целях обеспечения репрезентативности, в частности, относительно запаздывания документов, сбор сведений можно выполнить с использованием технологических журналов регистрации поступления документов (пачек документов) по этапам, если таковые имеются в наличии. При условии сбора и регистрации сведений статистические данные о состоянии ИС подвергаются обработке на ЭВМ. Выбор пакета прикладных программ определяется целями оценки, характером решаемых задач, имеющимся парком ЭВМ и набором имеющихся пакетов.
Классификация дефектов и получение на этой основе состава и содержания показателей качества ИС могут быть выполнены методом агломеративного кластер-анализа посредством реализации соответствующих программ с применением ЭВМ. Исходя из существа кластер-анализа, дефекты, оказавшиеся в одной группе, должны быть сходными между собой, а дефекты, принадлежащие разным классам, разнородными, относящимися к различным ветвям дерева классификации. Критерием разнородности выберем некоторую метрику, посредством которой дефекты могут быть объединены в некоторый класс по количественному критерию сходства (различия) классифицируемых дефектов. Можно использовать различные критерии, например, евклидово расстояние [118,141,188]. Определение состава первичных показателей качества ИС выполним посредством агломеративного кластер-анализа. По существу кластер-анализа, дефекты, сходные между собой, должны быть в одной группе, а дефекты, принадлежащие разным классам, разнородными, относящимися к разным ветвям дерева классификации.
Пусть множество D={} отображает выборку, состоящую из дефектов, регистрируемых по этапам ИС. Имеется некоторое множество характеристик G={}, присущих каждому из . Количественное измерение j-ой характеристики дефекта обозначим , тогда вектор =[] размерности mx1 будет соответствовать каждому ряду измерений для каждого . Отсюда множество дефектов D располагает множеством векторов измерений , которые характеризуют множество D. Отметим, что множество D может быть отображено как n точек в p-мерном пространстве . Задача кластеризации дефектов заключается в том, чтобы для анализа некоторого целого числа S (s < n) на основе Х разбить множество D на конечное число подмножеств
(3.17)
где , так, чтобы
, i,j (3.18)
. (3.19)
Отправной точкой для определения состава и содержания показателей качества ИС является получение укрупненных классов дефектов, сформированных в результате кластеризации. Априори можно предположить, что в результате будут получены классы дефектов соответствующих оценкам по достоверности, полноте, своевременности и др.
Для дальнейшего рассмотрения существа иерархической агломеративной классификации статистической структуры дефектов ИС с учетом подходов к кластер-анализу, изложенных в [20,51,67,76,98], конкретизируем обозначения дефектов и процесс их кластеризации: - элементы (дефекты) матрицы исходных данных Х (ведомость дефектов), где i=1,2,..,n - номер строки (шифр, код дефекта), j=1,2,…,m - номер столбца (шифр, код признака - время и/или стоимость обнаружения и исправления дефекта); - среднее значение признака для n дефектов (среднее по столбцу j), определяемое по формуле
= (3.20)
-среднее квадратическое отклонение признака xj, определяемое по формуле
(3.21)
затем определяется - нормированный элемент матрицы Х
=()/ (3.22)
после чего матрица дефектов Х заменяется матрицей Z. Затем вычисляются всевозможные расстояния - квадрат евклидова расстояния между дефектами i и k.
=. (3.23)
После подсчета расстояния для всех пар дефектов матрица Z заменяется симметричной матрицей Q (матрица расстояний). На основе этой матрицы проводится кластеризация. Вначале кластеризации каждый дефект обозначается как отдельный кластер. На первом шаге кластеризации определяется пара дефектов, расстояние dij между которыми минимально. Эти дефекты объединяются в один кластер, в матрице расстояний «вычёркиваются» строка и столбец, соответствующие первому из этих дефектов. Затем матрица расстояний рассчитывается вновь, так как расстояние пары дефектов нового будущего кластера может измениться относительно оставшихся в матрице расстояний дефектов.
На втором шаге процедуры в матрице расстояний, уменьшенной на одну строку и один столбец, снова определяется минимальное расстояние и формируется новый кластер. Этот кластер может быть сформирован в результате объединения либо двух дефектов, либо одного дефекта с кластером, сформированном на первом (предыдущем) шаге. Снова в матрице расстояний вычёркивается одна строка и один столбец, снова пересчитывается матрица расстояний и т.д. После выполнения каждого шага число кластеров уменьшается на единицу, а матрица расстояний уменьшается на одну строку и один столбец.
Алгоритм заканчивает работу тогда, когда все дефекты будут объединены в один общий кластер, т.е. при условии сформирования ствола дерева классификации. При получении на ЭВМ распечатки дендрограммы можно будет путем анализа выявить состав и свойства классов дефектов. С учетом состава и свойств сформированных классов дефектов будут определяться показатели качества ИС. Более расширенное рассмотрение кластер-анализа статистической структуры дефектов ИС представлено в [98, 140].
Полученные в результате кластеризации однородные статистические структуры должны быть подвергнуты дальнейшей обработке на ЭВМ с целью получения статистических параметров, в частности, средних выборочных, среднеквадратических отклонений, оценок параметров в виде доверительных интервалов, выполняемых по векторам времени и стоимости. Кроме того, могут быть определены также типы эмпирических распределений случайных величин по времени и стоимости, наиболее согласующиеся с теоретическими [188].
В результате дальнейшей обработки должны быть получены оценки математического ожидания по времени и по стоимости относительно классов дефектов. Для этого потребуется определить также количество дефектов по их видам и этапам, на которых они зарегистрированы. Кроме того, на ЭВМ должны быть обработаны данные по причинам-факторам, обусловившим возникновение дефектов.
В результате измерения и обработки данных на ЭВМ получится определенный объем информации о качестве ИС. Затем, с целью рационализации дальнейшей работы, информацию о качестве необходимо представить в удобной для восприятия форме, т.е. в виде набора унифицированной технологической документации.
3.3 Модель расчета значений показателей оценки качества информационных систем
Исходной точкой для определения состава и содержания показателей качества ИС является получение укрупненных классов дефектов, задаваемых в результате кластер-анализа. Априори можно предположить, что в результате получены классы дефектов соответственно по достоверности, полноте, своевременности. Определение конкретных формул для расчета значений показателей оценки качества ИС можно выполнить с учетом методологических положений, концептуальной модели, а также формул (3.9-3.16) принципиальной модели СКИС.
Определим понятие «значение показателя достоверности информации - это величина противоположная вероятности ошибки в определенном объеме информации». В соответствии с вышерассмотренной математической моделью вероятность ошибки представляется как отношение числа дефектов к определенному объему информации. Отсюда значение достоверности можно рассчитать по формуле
(3.24)
где - значение единичного фактического показателя достоверности информации i-го вида на j-м этапе обработки (); - количество обнаруженных ошибочных символов (дефектов) в информации i-го вида на j-м этапе обработки; - объем информации в символах, содержащейся в информации i-го вида
на j-м этапе.
Теперь определим понятие «значение показателя полноты информации - это величина противоположная вероятности пропуска единицы информации в определенном объеме информации» и это значение рассчитаем по формуле
(3.25)
где - значение единичного фактического показателя полноты информации в документации i-го вида на j-м этапе обработки (); -количество отсутствующих показателей, регламентированных форматом документа i-го вида на j-м этапе; - количество показателей в документах i-го вида, обрабатываемых на j-м этапе.
Определим также и понятие «значение показателя своевременности информации - это величина противоположная вероятности запаздывания информации относительно регламентного объема информации, предназначенного к выдаче пользователю на заданное время». Значение этого показателя можно рассчитать по формуле
(3.26)
где - значение единичного фактического показателя своевременности обработки информации (документации) i-го вида на j-м этапе обработки (); -фактическое количество документов (пачек документов) i-го вида, выданных с опозданием, j-м этапе обработки; -общее количество документов (пачек документов) i-го вида, необходимое к выдаче по регламенту на заданное время на j-м этапе .
Тогда значения групповых показателей достоверности, или полноты, или своевременности по все этапам и/или по всем видам информации (документации) можно определить по формуле
(3.27)
где - значение группового фактического показателя 1-го вида (); -значение единичного фактического показателя 1-го вида (достоверность, полнота, своевременность и др.); l, i, j, - индексы соответственно видов показателей, документации и этапов обработки.
В роли базовых значений принимается вероятность одного дефекта соответственно по достоверности, полноте, своевременности относительно соответствующих объемов обрабатываемой документации. При данном условии значение базового показателя определяется по формуле
(3.28)
где - значение базового показателя 1-го вида (); -объем обрабатываемой документной информации i-го вида; 1- индекс показателя.
В зависимости от вида показателя - достоверности, полноты, своевременности, объем информации измеряется соответственно в символах, показателях, документах.
Оценку относительного уровня качества можно выполнить по значению относительных показателей, отображаемых как отношение фактических показателей к базовым, и определяемых по формуле
(3.29)
где - значение относительно уровня показателя 1-го вида (); -значение фактического показателя 1-го вида; -значение базового показателя 1-го вида.
С учетом обратно функциональной зависимости значение относительного показателя качества по себестоимости и принятого нами принципа унификации измерения (раздел 2.2) указанное значение определяется по формуле
(3.30)
где с- индекс показателя себестоимости, остальные значение эквивалентны соответствующим значениям формулы (3.29).
Исходя из иерархичности свойств объектов и содержания оценки КИС, интегральные показатели определяются как средневзвешенные величины по набору значений показателей в целом - единичных, групповых, базовых и относительных.