Монография: Теоретико-методологические основы качества информационных систем

С целью получения данных для проведения сравнительного анализа и оценки эффективности рассматриваемой программы экспериментальная обработка осуществляется по двум вариантам. По первому варианту входной контроль отчетов выполняется средствами системы подготовки данных (СПД) с подключением программы автоматического восстановления достоверности значений показателей. Затем указанные отчеты контролируются по второму варианту - только средствами СПД, то есть с отключением рассматриваемой программы. Как по первому, так и по второму вариантам должны быть получены соответствующие протоколы ввода и диагностики ошибок во входных документах (распечатка принтера).

Последующий анализ протоколов ввода показал следующее. Одиночные ошибки автоматически обнаруживаются, вычисляются достоверные значения, затем последние заменяют ошибочные значения и оператору для контроля правильности работы программы выдаются сообщения типа «В документе ХХХХХ УУ обнаружена ошибка, строка ХХХХХХ-графа ХХ, значение ХХ скорректировано на значение УУУУ (таблица 4.11, позиции 1-5,7-12,14-15,17). По двойным и более ошибкам программа обнаруживала ошибки, однозначно идентифицируя их адреса, и выдавала сообщения типа «В документе ХХХХХ УУ обнаружено более одной ошибки, строка ХХХХХХ, содержит ошибку, строка ХХХХХХ, графа ХХ содержит ошибку» (таблица 4.11, позиция 18). Ошибочное значение определяется путем взятия пересечения номеров соответствующих строк и (или) граф. При условии случайной механической перестановки значений показателей по строкам и отсутствия нарушения контрольной суммы по графе (в строке 01) было выдано сообщение типа «В документе ХХХХХ УУ обнаружено более одной ошибки, строка ХХХХХ содержит ошибку, строка ХХХХХХ содержит ошибку, графа ХХ содержит ошибку» (таблица 4.11, позиция 19). Точно также идентифицируется «перестановка» значений показателей по графам. В процессе экспериментального исследования оператором подготовки данных была внесена непреднамеренная ошибка в отчет предприятия «Магнитогорский». В строке 180100, графа 10, в значении показателя 890 цифра 9 была ошибочно заменена на цифру 0, то есть, получено ошибочное значение 800. Поскольку в этот отчет ранее была внесена ситуационная ошибка, то программа выдала сообщение о двух ошибках и их адресах (таблица 4.11, позиция 6). В отчет предприятия «Самарский» ситуационные ошибки не вносили, при подготовке данных ошибок также не было, поэтому программа идентифицировала указанный отчет как безошибочный.

4.3 Оценка и анализ адекватности моделей и результатов экспериментов

По результатам обработки ЭВМ были получены данные, содержащие статистические оценки, в частности, среднее выборочное, среднее квадратичное отклонение, мода, медиана, коэффициенты вариации, ассиметрии, эксцесса, гистограммы классов дефектов по параметрам времени и стоимости, согласия эмпирических распределений дефектов с теоретическими и др. По каждой КДРД (таблицы 4.1-4.6) приведены выборочные оценки. На основе этих, а также в последующем полученных данных, были проведены необходимые расчеты (приложение 4) с целью заполнения «Карты оценки и анализа качества» (таблица 4.14) и выполнения анализа по соответствующей методике [122].

Оценка параметров ИС обычно проводится при уровне значимости 0,05, так как с учетом содержания данной задачи этого достаточно. Таблицы показывают, что полученные средние значения по указанному уровню достаточно хорошо укладываются в границы доверительных интервалов. В результате обработки распечатываются также гистограммы распределения частот дефектов, как по времени, так и по стоимости. Проверка эмпирических распределений показала, что случайные величины подчиняются нормальному закону распределения.

Для определения функциональной зависимости между временем и стоимостью обнаруженных и исправленных дефектов использована программа канонического анализа. В результате обработки, в частности, установлено, что между указанными переменными существует сравнительно тесная зависимость. Так, коэффициент канонической корреляции равен 0,99999, коэффициент множественной корреляции равен 0,99998. Вариации значений указанных коэффициентов относительно массивов находится в границах 5-го знака после запятой. Данное условие, в частности, свидетельствует о том, что в последующих измерениях и оценки качества обработки УБ можно не регистрировать стоимость дефектов, так как полученное по соответствующей программе соотношение «время (мин.)»: «стоимость (коп.)» равно 1:13. Однако это положение правомерно до изменения условий эксплуатации ИС, например, обновления комплекса технических средств, изменения оплаты труда работников и др.

Для проверки адекватности регрессионной модели обратимся к содержанию полученных в результате экспериментальной обработки оценок (таблицы 4.9, 4.10). Проверка регрессионных моделей показала в целом по гипотезе № 1 их адекватность экспериментальным данным. Относительно коэффициентов множественной корреляции, коэффициентов детерминации, критериев Фишера, уровней значимости нулевой гипотезы и других оценок, можно принять, что качество линейного прогноза хорошее.

Более четкое заключение можно дать на основе анализа остатков. В результате обработки получена информация по анализу остатков. Она приведена в таблицах 4.12 и 4.13. Графики зависимости величины нормированного остатка от величины процента приведены на рис. 4.7 и 4.8.

Значения производительности и себестоимости и анализ параметров показывает, что значения остатков незначительны как в абсолютном, так и относительном измерениях. Визуальную проверку адекватности модели удобнее всего выполнить по графикам зависимости величин нормированных остатков от величин процентов снижения дефектов соответственно по производительности и себестоимости (рис. 4.7, 4.8). К обработке и построению графиков целесообразно привлечь нормированные остатки, указанные в графе «Остаток в единицах стандартного отклонения» соответственно таблиц 4.12 и 4.13.

По полученным графикам можно установить следующее. График зависимости величины нормированного остатка от величины процента снижения дефектов по стоимости (рис. 4.8) показывает отсутствие четко выраженного криволинейного тренда. Наблюдается случайный разброс, свидетельствующий о том, что модель

Таблица 4.12

Данные анализа остатков регрессии по производительности

Таблица 4.13

Данные анализа остатков регрессии по себестоимости

Рис. 4.7 График зависимости величины нормированного остатка от величины процента снижения дефектов по времени

Рис. 4.8 График зависимости величины нормированного остатка от величины процента снижения дефектов по стоимости

едва ли можно или целесообразно улучшить. Сравнительная смещённость, например, распределения настолько мала (близость к оси), что не имеет принципиального значения относительно номинальных величин прогнозируемой переменной по себестоимости (таблица 4.13). Вместе с тем график зависимости величины нормированного остатка от величины процента снижения дефектов по времени (рис. 4.7) показывает незначительный криволинейный тренд. В общем случае это может означать, что в модели вероятно не учтен какой-либо фактор, либо допущены некоторые ошибки в расчетах. Первое условие маловероятно (пропуск фактора), так как кластер-анализ показал только три фактора, с одной стороны, и это условие не подтверждается распределением нормированных остатков по стоимости (рис. 4.8.). Более всего вероятным в данном случае является второе условие. Кроме того, следует учитывать вероятность действия в принципе обоих вышеуказанных и других условий, как это принято в модели регрессии (формула 3.35). Вместе с тем, график показывает, что смещённость распределения остатков относительно оси настолько мала, что в практическом отношении эта смещённость не имеет принципиального значения относительно номинальных величин прогнозируемой переменной по производительности (таблица 4.12, графа «Остаток»). С учетом вышеизложенного можно констатировать, что полученные модели адекватны экспериментальным данным.

Анализ показателей и оценку качества обработки УБ целесообразно начать от общих показателей к частным по данным «Карты оценки и анализа качества ИС» (таблица 4.14). Относительный уровень производительности ИС, равный 0,58, свидетельствует о том, что используются только 58% потенциальных возможностей ИС. Если действия учтенных дефектов обусловливают производительность на уровне 200,79 документов в день, то при условии устранения 100 % дефектов производительность может подняться до ее базового, в нашем случае максимального, а потому и идеального значения - 348,9 док./день.

Относительный уровень себестоимости обработки составляет 0,32, то есть ниже, чем соответствующий показатель по производительности. Подобное расхождение можно объяснить сравнительно большим удельным весом в стоимости капитальных

Таблица 4.14

Карта оценки и анализа качества функционирования ИС