Если на рисунке отложить линию экономического эффекта от эксплуатации ИС, то картина оптимизации параметров качества будет более полной. В определенных случаях улучшение качества может и не совпадать с требованием оптимизации суммарных затрат на весь жизненный цикл ИС. Если принимать иллюстративно рассматриваемое здесь условие оптимальности за принцип, то улучшение качества может стремиться лишь до границ оптимального состояния. Тогда процесс развития теории и практики СКИС может зайти в тупик. Следует учитывать, что оценка качества ИС категория многокритериальная. Улучшение качества ИС не может измеряться только экономическими показателями. Комплексное и непрерывное улучшение качества ИС способствует повышению престижа фирмы, улучшает психологический климат, что иногда трудно или невозможно измерить только стоимостными категориями.
Y - Затраты (руб. на единицу работы)
Параметр качества X
Обозначения: - эксплуатационные затраты на весь период эксплуатации ИС; - затраты на создание ИС (НИР, проектирование и построение); - суммарные затраты на жизненный цикл ИС; - критерий оптимальности.
Рис. 2.1. Оптимизация значений показателей качества ИС
Корректность решения задачи КИС в аспекте оптимизации, на наш взгляд, требует выверенного подхода. Признавая полезность оптимизации ресурсов, например, относительно загрузки и времени работы аппаратных средств и других задач следует отметить следующее. Необходимость оптимизации как принципа СКИС в аспекте качества управления социальными объектами представляется на данном этапе сомнительной. Это касается, прежде всего, таких ИС, функционирование которых непосредственным образом связано с жизнедеятельностью и безопасностью людей [3,46,149,159]. Более того, по мнению Росса Г.В. эффективность многомерно измеряемых организационно-экономических систем в пространстве показателей качества обусловливает практическую невозможность строгого решения задачи оптимизации этих систем [172].
В решении задачи оценки КИС принципиальное значение имеет определение системы показателей оценки. В квалиметрии ИС уровень качества в значительной мере определяется статистикой дефектов ИС и её компонентов. Анализ структуры дефектов может обеспечить выделение основных показателей качества, их весомость, факторы, влияющие на качество ИС и др. На аксиоматическом уровне гипотетически можно предположить, что статистическая структура дефектов будет неоднородной. Это затруднит последующее уточнение природы дефектов, их типизацию и определение состава и значений показателей качества. В методологическом отношении неоднородность какой-либо совокупности можно устранить путем классификации [83,98,121,122]. В решении задач классификации применяются, например, такие способы классификации - монотетический, политетический, кластер-анализ.
Первые два способа относятся к группировке соответственно по одному и нескольким признакам классифицируемых объектов. Чаще всего группировка выполняется по произвольным признакам, и она не всегда свободна от субъективности исследователя. Монотетическая классификация выполняется сравнительно небольшими трудозатратами. Политетическая классификация проводится по нескольким признакам и в логическом отношении более адекватна. Однако иногда политетическая классификация по большому объему признаков в определенных случаях становится неразрешимой, как в содержательном, так и в ресурсном отношениях.
Способы кластерного анализа основаны на более строгой количественной оценке признаков классифицируемых объектов и в этом плане являются более предпочтительными относительно первых двух способов. Способы кластер-анализа разделяются на два класса - агломеративные и дивизивные [20,51,87,105]. Агломеративная классификация результируется произвольным количеством кластеров. В дивизивной классификации разбиение может происходить на заданное исследователем количество кластеров. Кластеризация может быть выполнена по сравнительно большому объему классифицируемых объектов и оснований деления, то есть критериев разбиения.
В нашем случае наиболее целесообразным представляется классификация дефектов по двум признакам - времени и стоимости обнаружения и исправления дефектов или по одному из них [91,140]. Поскольку объем выборки дефектов может быть довольно значительным, то классификация посредством кластерного анализа в данной задаче представляется более адекватной. При условии обширной выборки дефектов и трудоемкости алгоритма выполнение кластерного анализа проводится с применением ЭВМ и соответствующих программ. Поскольку статистическая структура дефектов в нашем случае является неоднородной и априори нам неизвестно, какие группы (классы) дефектов могут проявиться, то автоматическую классификацию дефектов целесообразно выполнить по агломеративной иерархической схеме. По результатам кластеризации полученные классы дефектов могут обеспечить определение соответствующих видов показателей. Затем классы дефектов могут быть подвергнуты статистической обработке на ЭВМ с целью получения значений единичных и групповых фактических показателей. Такими значениями могут быть, например, вероятность дефекта достоверности, среднее выборочное дефекта достоверности по времени и стоимости обнаружения и исправления, взятые по отдельным этапам и по ИС в целом.
Адекватность оценки в значительной мере зависит от возможности сравнения ИС и соответствующих показателей между собой. Сравнительность может быть показана через уровень качества, определяемый как отношение фактических и базовых значений показателей соответствующего вида [98]. Отсюда, одним из ключевых этапов оценки качества является определение фактических и базовых значений показателей для оценки качества ИС. В теоретическом ракурсе эта задача может быть идентифицирована, рассмотрена и возможно решена в рамках так называемого концептуального метамоделирования, рассматриваемого как теоретико-методологическая основа взаимоотношений материального и идеального миров [160]. Решение задачи предполагает прохождение нескольких этапов с выполнением теоретических и практических работ.
В квалиметрии ИС в роли значений базовых показателей целесообразно применять значения, достигнутые в условиях передового отечественного и зарубежного опыта разработки и эксплуатации так называемых «эталонных» ИС. Эти значения и (или) требования к параметрам качества ИС должны указываться в нормативно-технической документации, в частности, международных стандартах, ГОСТах, ОСТах, СТП, технических требованиях, руководящих технических материалах. К сожалению, указанные категории нормативной документации, по причине недостаточной разработанности проблемы, редко, а иногда и вовсе не содержат значения базовых показателей качества ИС.
На первоначальном этапе функционирования системы КИС в роли значений базовых показателей можно взять значения лучших отечественных и зарубежных ИС [98], по которым имеются достоверные сведения по их качеству. Кроме того, за исходные значения могут быть приняты планируемые значения показателей в перспективе эксплуатации ИС, или найденные экспериментальным или теоретическим путем. На последующих этапах эксплуатации ИС, при условии репрезентативной выборки статистических данных о значениях показателей качества ИС, то есть достигнутые значения показателей в предыдущих периодах времени, можно будет получить значения базовых показателей расчетным способом.
Значения интегральных показателей могут быть определены как средневзвешенные величины. Эти величины принимаются соответственно по единичным, групповым, базовым, относительным показателям качества. Значения показателей могут быть просчитаны как по отдельным этапам, так и в целом по ИС. Значения групповых показателей могут быть взяты по набору единичных показателей, входящих в систему показателей, принятых в целом для ИС. Таким образом, эти групповые показатели будут отображать как иерархичность, так и многосвязность свойств.
Значения обобщенных показателей по своей природе зависят от соответствующих фактических значений единичных и (или) групповых показателей, то есть находятся в причинно-следственной связи. С учетом содержания таких обобщенных показателей как, например, производительность технологического процесса ИС и себестоимость обработки информации можно сказать, что они взаимосвязаны и в значительной мере зависят от дефектов обработки. Определить значения производительности и себестоимости можно путем установления функциональной зависимости между значениями обобщенных показателей, с одной стороны, и значениями показателей, формируемых с учетом дефектов обработки по достоверности, полноте, своевременности, с другой. Априори можно предположить, что указанная зависимость может существовать в форме закономерности. Это должно быть подтверждено экспериментально. В работах по совершенствованию качества ИС необходимо, в частности, решать задачи управления, прогнозирования значений показателей качества при определенных условиях. Тогда становится необходимым определение значимости или «веса» каждого класса дефектов, которые при измерении могут быть обозначены как переменные величины в указанной выше функциональной зависимости, или закономерности.
Определить значения обобщенных показателей и коэффициентов весомости по каждой переменной можно на основе регрессионного анализа [96,99]. При этом необходимый для этого учет изменения значений переменных можно принять равным 1%. В нашем случае коэффициенты весомости могут быть определены, как коэффициенты регрессии принятых переменных по достоверности, полноте, своевременности и др. Свободные члены регрессионных уравнений будут показывать базовые значения соответствующих обобщенных показателей.
Для выполнения регрессионного анализа и построения регрессионной модели необходимо получить исходные данные по зависимости, которые можно задать в виде матриц фиксированных данных соответственно по производительности и себестоимости. Следует отметить, что сравнительно трудоемкий процесс решения уравнений, получения коэффициентов весомости можно и целесообразно выполнить путем применения ЭВМ и соответствующих программ регрессионного анализа [188].
Измерение значений обобщенных показателей выполняется в натуральных и стоимостных единицах. Исходя из существа оценки качества ИС, производительность последней можно измерить в документо-днях, а себестоимость обработки одного документа в рублях, хотя в принципе возможно измерение в шкалах другой градации. При измерении относительных значений обобщенных показателей необходимо учитывать прямые и обратные функциональные зависимости значений обобщенных показателей качества, в частности производительности ИС и себестоимости обработки единицы информации (файла, документа и др.). В нашем случае, с учетом принятого выше условия измерения показателей, можно определить «относительный показатель производительности ИС - это отношение фактического значения производительности ИС к его базовому значению». При улучшении качества ИС значение относительного показателя в общем случае будет стремиться к 1, то есть имеется прямофункциональная зависимость. Но при улучшении качества показатель себестоимости будет направлен к нулю, так как имеет обратнофункциональную зависимость. С учетом принципа унификации и принятой нами шкалы целесообразно измерять относительный уровень себестоимости как отношение базового значения к фактическому значению.
Значительную роль в системе показателей оценки качества играют комплексные показатели. Как видно по таблице 2.4 они обладают свойствами иерархичности, агрегируемости и многосвязности. Они должны отвечать нескольким требованиям:
1. Репрезентативность - отображение в комплексном показателе всех основных характеристик ИС, по которым оценивается её качество.
2. Монотонность изменения комплексного показателя качества ИС при изменении любого из единичных показателей качества при фиксированных значениях остальных показателей.
3. Чувствительность к варьируемым параметрам ИС. Это требование состоит в том, что комплексный показатель качества должен согласованно реагировать на изменение каждого из единичных показателей. Комплексный показатель является функцией оценок всех единичных показателей, а его чувствительность определяется первой производной этой функции. Значение комплексного показателя должно быть особенно чувствительно в тех случаях, когда какой-либо единичный показатель выходит за допустимые пределы. При этом комплексный показатель качества должен заметно уменьшать свое численное значение.
4. Нормированность - численное значение комплексного показателя находится между наибольшим и наименьшим значениями относительных комплексных показателей качества. Это требование нормировочного характера предопределяет размах шкалы измерений комплексного показателя.
5. Сравнительность результатов комплексной оценки качества обеспечивается одинаковостью методов их расчетов, в которых единичные показатели должны быть выражены в удельных величинах.
В принципиальном отношении методы оценки качества различных объектов, используемые в прикладных разделах квалиметрии, практически одинаковы. В тривиальной форме оценка качества ИС может быть выполнена по трем основным уровням: выше требований, соответствует требованиям, ниже требований. В практике управления качеством ИС оценка качества выполняется на основе квантификации свойств ИС. Каждое свойство может быть представлено в форме показателя качества, значение которого представляется в цифровой форме. На основе сопоставительного анализа определяется уровень соответствия ИС определенным требованиям, которым она должна удовлетворять. В контексте рассмотренных выше понятий можно принять, что «оценка качества информационной системы - это реализация комплекса методов и средств по определению уровня соответствия информационной системы требованиям надсистемы».