Построение системы нагрузочного тестирования Макс Богуславский, руководитель отдела обеспечения качества. “Банки.ру”
Цели • Сравнение версий приложения; • Отслеживание деградации производительности проекта.
С чего мы начинали • запуск происходит с рабочей машины; • тесты хранятся локально; • результаты сравниваются на глаз; • поиск проблемы.
С чего мы начинали • запуск происходит с рабочей машины; • тесты хранятся локально; • результаты сравниваются на глаз; • поиск проблемы.
Тесты хранятся локально • сложности при разработке тестов в команде; • простой из-за недоступности машины; • отслеживание изменений; • риск потери тестов.
Что получили • над проектом работают несколько человек; • контроль и сохранность изменений; • отслеживание прогресса по задаче (git stash + jira); • при желании все работают с одной версией jmeter.
Запуск с локальной машины • java требовательна к ресурсам; • наводки на результаты тесты (сеть, память); • нестабильная работа системы.
Что получили • Удаленный запуск; • Запуск по таймеру; • Хранение результатов тестов и логов; • Снижение нагрузки на рабочую машину; • Распределенный запуск тестов.
Сравнение результатов “на глаз” • Нативные отчеты не предназначены для сравнения результатов между запусками; • Отсутствует возможность выбрать KPI; • В отчетах нельзя отсяеть аномальные ответы.
Что получили • Разбивку отчетов по группам; • Выбор KPI; • Сравнение результата с Baseline; • Отслеживания тренда деградации системы.
Что осталось решить • Передача параметров в ant-job; • Настройка удаленных агентов; • Создание отдельной среды для нагрузочного тестирования.
Вопросы
Контакты email: maxim@banki.ru facebook: max.bogus
Построение системы нагрузочного тестирования