Quality Assurance в условиях
тотального A/B тестирования
Наталия Голодюк. Luxoft, Hotwire
A/B тестирование
- Тестируем страницы
Image source: https://visualwebsiteoptimizer.com/ab-testing/images/what-is-ab-testing.png
Мультивариантное
тестирование
- Тестируем элементы на странице
Image source: http://conversionxl.markitektou.netdna-cdn.com/wp-content/uploads/2013/05/multivariate-testing-conversionxl.jpg
Жизненный цикл теста
Гипотеза
Уточняем/аргументируем
ожидаемое улучшение
Готовим две-три версии
формы
«Если добавить опцию поиска
эко-отелей,
конверсия возрастет.»
«Количество людей, желающих
приобрести номер в эко-отеле,
возросло на 10% за последние
полгода. Если мы упростим поиск
таких отелей на нашем сайте, это
может увеличить количество
бронирований на 2-7%.»
«Версия А: текущее состояние
формы поиска – без этой опции;
Версия Б: опция в виде чекбокса;
Версия В: ссылка на список всех эко
-отелей»
Жизненный цикл теста
Релизим
Анализируем результаты
Оставляем версию, что
принесла больше
пользователей/денег
«Отдел аналитиков говорит, что
общее количество проданных
отелей возросло на 5%, именно
благодаря всплеску продаж комнат
в эко-отелях.»
«Версия Б – опция в виде чекбокса
– в жизнь на 100%.»
Как тестировать мультивариантный
функционал?
Главный вопрос
Кейс
30% - блок А присутствует на странице
40% - блок Б присутствует на странице
30% - блок А отсутствует на странице
И в это же время на странице у еще 5 других
элементов есть по 3 версии
Всего – 243 комбинации
Как тестировать в таких
условиях?
Image source: http://blog.utest.com/wp-content/uploads/2013/05/Keep_Calm_And_Test.png
Нужен переключатель вариантов:
vt.NBA=1 – включает первую версию элемента
vt.NBA=2 – вторую
vt.NBA=3 – третью соответственно
Отдельно тестируем стабильный функционал
И отдельно – версионный функционал
Что тестировать в таких
условиях?
Что разработанные версии соответствуют требованиям
Что процентное соотношение траффика
корректно выставлено
Что версии отслеживаются
Тестировать все комбинации версий разных элементов на
странице
Не нужно
Что в рамках одной сессии пользователь видит только одну версию
элемента
Как автоматизировать в
таких условиях?
Image source: http://blog.qatestlab.com/wp-content/uploads/2013/03/software-testing-company-1230.png
Просто – автоматизация кейсов для стабильных
элементов
Сложно – добиться детерминистичности
тестов версионного функционала
Вариант – разработка «выключателя»
версионности (vt.ALL=0)
Что автоматизировать в
таких условиях?
Image source: http://blog.qatestlab.com/wp-content/uploads/2013/03/software-testing-company-1230.png
Алгоритм распределения траффика
Контрольные версии
Или все версии – если они долгожители
Версию, что «победила» и
включается на 100%
Спасибо!
natali.holodiuk
natali.holodiuk@gmail.com
http://
www.linkedin.com/pub/nataliya-holodiuk/26/a84/6ab
Quality Assurance в условиях тотального A/B тестирования
01
/
13
Quality Assurance в условиях тотального A/B тестирования Наталия Голодюк. Luxoft, Hotwire