Статистичний аналіз помилок windows vista

В останніх версіях Windows Vista в додатку Connect новий режим відображення відповідної інформації надсилається користувачами.

Відео: Смішні помилки Windows (Новорічний спецвипуск 2017)

В останніх версіях Windows Vista в додатку Connect новий режим відображення відповідної інформації надсилається користувачами. Переглядаючи лист повідомлень про недавні помилки, Роберт Маклоуз (Robert McLaws), автор блогів Longhornblogs вирішив скласти статистичний аналіз помилок в попередніх версіях ОС. А ми надаємо вам переклад даного матеріалу.

Після чертирех з половиною годин обробки інформації про помилки та виключення повторюваних помилок (було виявлено 1072 повторюваних системних помилок), були отримані наступні дані:

Помилки Windows Vista (за станом на 3 липня 2006):

активні5,743
закрито20,176
вирішені1,020
Разом27,479




Дивує велика кількість закритих помилок - більш 20,000. Важливо відзначити що, за кілька місяців до виходу корпоративної версії Windows Vista, 1/5 частина від загального числа помилок, залишається відкритою. Але Microsoft досить швидко закриває помилки, інформація про приблизно 250 помилках надійшла близько двох місяців тому на момент написання статті.

Безліч повідомлень про помилки з`явилося після виходу збірки 5456. Роберт Маклоуз, провів дослідження щодо того, чи пов`язаний сплеск виявлення помилок з виходом нової збірки. Був складений статистичний графік, на якому звичайним збірок було присвоєно їх CTP найменування, а проміжні TAP-збірки позначені їх номером. Ось що вийшло:


Досить наочно, за винятком TAP-збірки 5259, кожен вихід чергової збірки супроводжувався сплеском повідомлень про нові помилки. Збірка 5259 була винятком, так як після видалення повторюваних системних помилок, їх загальна кількість стало незначним.




Отриманий графік може злегка спотворювати реальну картину, але були отримані дані про те, що в середньому, тестери повідомляли про 81 помилку в день. Також за даними графіка можна зробити наступні висновки:

  • За винятком проміжку часу між виходом в грудні і лютому CTP-версій і після виходу Beta 2, Microsoft послідовно випускала нові збірки через кожні 6 тижнів.
  • Протягом 24 годин після виходу чергової збірки, виявляються близько 200 нових системних помилок. Виходить, що тестери буквально після входу в систему швидко знаходять нові помилки, а потім приступають до повсякденної роботи з відносно низьким відсотком виявлення нових помилок.
  • Збірка 5270 була першою, яка перевищила показник 300 помилок (353 в перший день, і 338 в другій).
  • За винятком 3 червня, темпи виявлення помилок значно збільшилися, після виходу Beta 2, і цей показник ще збільшився після виходу CPP-версії. Це очікувалося, оскільки Beta 2 була першою збіркою Windows Vista, яка стала широко доступною.

Останній пункт особливо важливий з кількох причин. Перш за все, кількість відкритих помилок продовжує рости після виходу Beta 2. Це означає, що у Microsoft ще багато роботи. По-друге, хоча, в середньому, тестери знаходять близько 80 помилок в день, при детальному розгляді, виявляється що, починаючи з 1 травня, кількість помилок, знайдених за день постійно збільшується, а не навпаки, наближаючись до значення 200 помилок. З ростом кількості тестерів Beta 2, збільшується і обсяг відповідної інформації, загальна тенденція виглядає наступним чином:


Тепер подивившись на всі ці дані можна подумати, що нові білди містять все більше і більше нових помилок. Але це не правильне припущення. Це не означає, що стає більше помилок, просто стає більше тестерів.

Відео: Еволюція звуку запуску Windows

Разом з цим, отримані дані піднімають нові питання, на які немає відповідей. наприклад:

  • З огляду на те, що додаток Connect не вказує дату виявлення помилки в списку, неможливо зробити більш детальний аналіз помилок, такий як давність виявлення чи іншої рейтинг. Важливий фактор у досягненні успіху програмного продукту прихований в питанні, скільки буде потрібно часу на вирішення проблем, і яка кількість помилок закривається в кожному місяці.
  • Система вирішення проблем, що використовується Microsoft далека від ідеалу і не дозволяє проаналізувати кількість дубльованих помилок або невідтворюваних. Заплутує то, що Microsoft не чітко проводить грань між поняттями закритих і вирішених помилок. Якщо проблема закрита, це означає що помилку неможливо відтворити, а якщо вирішена, то це означає, що тестерами було адресовано близько 1000 проблем.
  • Додаток Connect не пов`язане з внутрішньою базою даних Microsoft. Тому не відомо про реальну кількість системних помилок.
  • Microsoft вбудувала величезна кількість функції, через які користувач може автоматично відправити повідомлення про помилку. Але на ділі звичайний користувач цього не робить, оскільки WER реагує на цю помилку.

Безумовно, Microsoft має більш детальними даними про помилки, але навряд чи компанія зможе відповісти на поставлені тут питання (хоча було б не погано, якщо змогла б). В іншому випадку, Microsoft повинна розробити інструмент, за допомогою якого тестери могли б посилати свої повідомлення прямо в Connect, тоді отримувати загальну інформацію стало б набагато зручніше і не доводилося б проводити битих два дні за аналізом всіх даних.

На завершення слід сказати, що цей аналіз показує, наскільки старанно працюють тестери і не дає зрозуміти, що робить Microsoft з одержуваної інформацією. Але все ж статистка ні до чого - і так видно, що з виходом нових збірок їх якість поліпшується. Особливо це можна сказати про збірку 5456. Взагалі додаток Connect може послужити хорошим засобом в прагненні компанії стати більш прозорими і більше задіяти користувачів в процесі розробки. У команди Windows ще багато роботи в цьому напрямку, але вони домоглися помітного прогресу.

Відео: Смішні помилки Windows (сезон 1, серія 6)


Поділися в соц. мережах:

По темі: