Оцінка якості програмного засобу методом експертних оцінок

Abstract

У статті запропоновано метод розрахунку оцінки якості програмного засобу (ПЗ) за допомогою експертних оцінок. Цей метод базується на обчисленні оцінок експертів за певним набором критеріїв, що максимально повно зображають якість ПЗ по різним параметрам. Для оцінювання якості програмного забезпечення було відібрано і проаналізовано десять показників якості для ПЗ, що найбільш всесторонньо характеризують програмний засіб із позицій адаптованості до галузі застосування і подальшого вдосконалення за побажанням клієнта. У оцінці даного ПЗ прийняли участь 8 експертів. Після проведення опитування експертів, були отримані оцінки для кожного показника якості та розраховане середнє значення якості ПЗ. Кількість користувачів програмного забезпечення із часом може змінюватися, також змінюватиметься оцінка від користувачів. Оскільки експерти із цієї групи можуть змінюватися і їх оцінка також змінюється то було вирішено назвати експертів із цієї групи – динамічні експерти. Розроблений метод враховує оцінки від експертів із динамічної групи в певний момент часу, наприклад, в момент випуску першої версії розроблюваного ПЗ і в момент випуску наступної версії ПЗ. Між цими двома часовими відмітками кінцеві користувачі можуть змінювати своє ставлення до якості ПЗ. Методики отримання експертних оцінок значень показників якості з метою мето-дологічної єдності повинні ґрунтуватися на загальному методі оцінки якості, правилах вибору номенклатури показників якості та діючих методичних матеріалах по оцінці заданого показника якості оцінюваного ПЗ. Експертам пропонується дати рангову оцінку наперед визначеної кількості показників якості продукції. Рангова оцінка зводиться до позначення ступеня важливості кожного показника рангом. Узгодженість думок експертів відносно важливості кожної властивості оцінюють як коефіцієнт варіації думок експертів за кожним і-им показником якості. Чим більше значення коефіцієнту, тим менше узгодженість думок експертів відносно важливості i-гo показника. При коефіцієнті <10 % узгодженість думок експертів вважають високою, при коефіцієнті >35 % – низькою. Для оцінювання загальної узгодженості думок експертів визначають коефіцієнт конкордації. Узгодженість думок експертів буде тим краще, чим ближче коефіцієнт конкордації (W) до одиниці. Значення W=0 свідчить про повну байдужість або неузгодженість думок експертів. Останнім кроком оцінюють значення кожного одиничного показника якості з урахуванням його коефіцієнта значущості та загальне середнє значення якості ПЗ.