1 CONFIDENTIAL EPAM SYSTEMS АЛЕНА ДАШКЕВИЧ История одного проекта УЛУЧШИТЬ KPI В ДВА РАЗА? СДЕЛАНО!
2 CONFIDENTIAL • Software Testing Manager, EPAM Systems • 7+ лет в тестировании • E-mail: Alena_Dashkevich@epam.com Алена Дашкевич
3 CONFIDENTIAL • Цель: Конвертация ASP страниц существующей ERP системы на новый ASP.NET MVC solution • Объем работ: 4500+ страниц • Команда: • 90 программистов • 50 тестировщиков • 5 автоматизаторов • Длительность: 1.5 года Описание Проекта
4 CONFIDENTIAL • Отсутствие документации • Первый опыт оффшорного сотрудничества для заказчика • 3 локейшна • У заказчика не было QA вообще больше 15 лет • Тестировщики должны разбираться в коде • Изначальные оценки трудоемкости давались программистами • Параллельная разработка фреймворка Особенности проекта – обычные и не очень
5 CONFIDENTIAL В начале проекта: тестировщик – на все руки мастер
6 CONFIDENTIAL Тестирование становится «узким местом»
7 CONFIDENTIAL 4.31 Часа: • Бизнес анализ • Написание чеклистов • Тестирование • Работа с багами • Обработка обратной связи после приемочного тестирования • Другое Часы тестирования на Story Points
8 CONFIDENTIAL Мозговой штурм
9 CONFIDENTIAL Результаты 4.31 1.29
10 CONFIDENTIAL • Бизнес-смысл модуля • Зачем нужна именно эта страница? • Кто этим пользуется? • С кем бы поговорить… • Как определить приоритет? • А где моя документация? • А пусть заказчик опишет! Бизнес-анализ
11 CONFIDENTIAL • Формат чеклиста • Степень детализации • Содержание чеклиста • Общий подход • Пользуемся цветом • Второй монитор – необходимость, а не роскошь • Мне нужны твои данные Написание чеклистов
12 CONFIDENTIAL • Мы определяем окружение или оно нас? • Кнопка «поставить билд» – для одного или для всех? • Качество продукта в тестировании • А что это вы тут надевелопили… • Может поговорим? • А нужен ли нам смоук-тест • Регерессия или опять 25 Тестирование
13 CONFIDENTIAL • Как репортать? • Куда репортать? • Но это же одно и то же… • Баги фрэймворка vs баги имплементации • Повторенье – мать дубликатов или отец реопенов • Фича или баг • Багочемпионы Работа с багами
14 CONFIDENTIAL • А баг ли это? • Некрасивый код и его друзья • А почему мы его не нашли? • А что сделать чтобы мы потом находили? • Баги второго раунда • Может все таки поговорим? Обработка обратной связи после приемочного тестирования
15 CONFIDENTIAL • И опять про разговоры и отношение • Обмен знаниями • Что надо формализовать, а что – необязательно? • Инструменты • Многообразие подпроцессов в природе • Такие разные энварменты • Ретроспективы – их польза и вред Другое…
16 CONFIDENTIAL • Качество поступающее в тестирование Количество багов, находимых тестировщиками • Качество поступающее заказчику Количество багов, находимых при приемке/ количество раундов приемки Не потерять качество на бегу
17 CONFIDENTIAL • Кто больше всех набагоделил? • Категории багов • В ожидании фикса • Белый шум – Not a bug, cannot reproduce и т.д. • Кто какие баги находит • От недели к месяцу Анализ «внутренних» багов
18 CONFIDENTIAL • А они знают чего хотят? • Кто виноват? • Что делать? • Баг на сторипойнт • Эй, моряк, ты слишком долго плавал… Анализ багов от заказчика
19 CONFIDENTIAL Анализ багов от заказчика November December January February March 0,00 0,05 0,10 0,15 0,20 0,25 Month Bugs/SP Provided Accepted
20 CONFIDENTIAL Количество раундов приемки September October November December January February March 0 0,5 1 1,5 2 2,5 3 3,5 Month Provided
21 CONFIDENTIAL ? Вопросы
22 CONFIDENTIAL Спасибо за внимание!
Улучшить KPI в два раза? Сделано!