Software quality assurance days International Conference of Software Quality Assurance sqadays.com Minsk. May 29–30 2015 Alena Dashkevich EPAM Systems. Minsk, Belarus История одного проекта. Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано! Алена Дашкевич • Software Testing Manager, EPAM Systems • 7+ лет в тестировании • E-mail: Alena_Dashkevich@epam.com
Улучшить KPI в два раза? Сделано! Метрики для менеджеров
Улучшить KPI в два раза? Сделано! Метрики для себя
Улучшить KPI в два раза? Сделано! Задача – улучшить эффективность на 30%
Улучшить KPI в два раза? Сделано! Задача – улучшить эффективность на 30%
Улучшить KPI в два раза? Сделано! Описание Проекта • Цель: Конвертация ASP страниц ERP системы на новый ASP.NET MVC solution • Объем работ: 4500+ страниц • Команда: • 90 программистов • 50 тестировщиков • 5 автоматизаторов • Длительность: 1.5 года
Улучшить KPI в два раза? Сделано! Особенности проекта – обычные и не очень • Отсутствие документации • Первый опыт оффшорного сотрудничества для заказчика • 3 локации • У заказчика не было QA вообще больше 15 лет • Тестировщики должны разбираться в коде • Изначальные оценки трудоемкости давались программистами • Параллельная разработка фреймворка
Улучшить KPI в два раза? Сделано! Тестировщик – на все руки мастер
Улучшить KPI в два раза? Сделано! Тестирование становится «узким местом»
Улучшить KPI в два раза? Сделано! Часы тестирования на Story Points 4.31 Часа: • Бизнес анализ • Написание чеклистов • Тестирование • Работа с багами • Обработка обратной связи • Другое
Улучшить KPI в два раза? Сделано! Мозговой штурм
Улучшить KPI в два раза? Сделано! Результаты 4.31 1.29
Улучшить KPI в два раза? Сделано! Бизнес-анализ • Связь команд и заказчика • Демо сессии (вживую и в записи) • Приоритеты (в джире и по кол-ву посещений) • Дополнительная документация • Запросы заказчику
Улучшить KPI в два раза? Сделано! Написание чеклистов – Общий подход • Формат • Степень детализации • Содержание • Использование цвета • Второй монитор • Специфические данные
Улучшить KPI в два раза? Сделано! Тестирование • Окружение • Пользователи для тестирования • CI и установка билда • Качество продукта в тестировании • Данные для тестирования • Классический смоук и регрессия • Вопросы и изменения
Улучшить KPI в два раза? Сделано! Работа с багами • Правила создания багов • Объединение багов по причине • Баги фрэймворка vs баги имплементации • Изменение типа объекта • Дубликаты • Баго-чемпионы
Улучшить KPI в два раза? Сделано! Acceptance • Реальные баги и ошибки пользователя • Причины пропущенных багов • Ошибки кода • 2+ раунда • Заказчик-команда • Коммуникация
Улучшить KPI в два раза? Сделано! Другое • Коммуникация • База знаний • Обязательные инструкции • Инструменты • Разные подпроцессы • Окружение • Ретроспективы
Улучшить KPI в два раза? Сделано! Анализ внутренних багов • Кто больше всех набагоделил? • Категории багов • Время жизни бага • Белый шум – Not a bug, cannot reproduce и т.д. • Кто какие баги находит • От недели к месяцу
Улучшить KPI в два раза? Сделано! Анализ багов от заказчика • А они знают чего хотят? • Кто виноват? • Что делать? • Баг на сторипойнт • Эй, моряк, ты слишком долго плавал…
Улучшить KPI в два раза? Сделано! Анализ багов от заказчика (Bug/SP) October November December January February March April 0,00 0,02 0,04 0,06 0,08 0,10 0,12 0,14 0,16 0,18 0,20
Улучшить KPI в два раза? Сделано! Раунды тестирования August September October November December January February March April 0 0,5 1 1,5 2 2,5 3 3,5
Улучшить KPI в два раза? Сделано! ?
Улучшить KPI в два раза? Сделано! Спасибо за внимание! Email: Alena_Dashkevich@epam.com
Улучшить KPI в два раза? Сделано!