Определение pass/fail критериев при тестировании и анализе производительности

В процессе тестирования производительности любого проекта одним из первых встает вопрос – какие результаты тестов считать успешными, а какие неприемлемыми или неудовлетворительными? Этот процесс так же именуется выработкой «бюджетов» для метрик, характеризующих производительность программного продукта. Самые большие проблемы с определением границ для метрик возникают в случаях, когда тестирование производительности начинается не в начале разработки, а в активной фазе развития продукта. От правильного выбора бюджетов, их интеграции в процесс тестирования и анализа, зависит то, как будет контролироваться и улучшаться производительность ПО. 

 Целью доклада является показать плюсы и минусы различных подходов к определению бюджетов на разных этапах жизненного цикла ПО. Также, на примере тестирования online игры World of Warships, будет продемонстрирована система многоуровневых бюджетов, так называемых «индикаторов производительности», и их интеграция в процесс разработки.