Quality Assurance в условиях тотального A/B тестирования Наталия Голодюк. Luxoft, Hotwire
A/B тестирование - Тестируем страницы Image source: https://visualwebsiteoptimizer.com/ab-testing/images/what-is-ab-testing.png
Мультивариантное тестирование - Тестируем элементы на странице Image source: http://conversionxl.markitektou.netdna-cdn.com/wp-content/uploads/2013/05/multivariate-testing-conversionxl.jpg
Жизненный цикл теста Гипотеза Уточняем/аргументируем ожидаемое улучшение Готовим две-три версии формы «Если добавить опцию поиска эко-отелей, конверсия возрастет.» «Количество людей, желающих приобрести номер в эко-отеле, возросло на 10% за последние полгода. Если мы упростим поиск таких отелей на нашем сайте, это может увеличить количество бронирований на 2-7%.» «Версия А: текущее состояние формы поиска – без этой опции; Версия Б: опция в виде чекбокса; Версия В: ссылка на список всех эко -отелей»
Жизненный цикл теста Релизим Анализируем результаты Оставляем версию, что принесла больше пользователей/денег «Отдел аналитиков говорит, что общее количество проданных отелей возросло на 5%, именно благодаря всплеску продаж комнат в эко-отелях.» «Версия Б – опция в виде чекбокса – в жизнь на 100%.»
Как тестировать мультивариантный функционал? Главный вопрос
Кейс 30% - блок А присутствует на странице 40% - блок Б присутствует на странице 30% - блок А отсутствует на странице И в это же время на странице у еще 5 других элементов есть по 3 версии Всего – 243 комбинации
Как тестировать в таких условиях? Image source: http://blog.utest.com/wp-content/uploads/2013/05/Keep_Calm_And_Test.png Нужен переключатель вариантов: vt.NBA=1 – включает первую версию элемента vt.NBA=2 – вторую vt.NBA=3 – третью соответственно Отдельно тестируем стабильный функционал И отдельно – версионный функционал
Что тестировать в таких условиях? Что разработанные версии соответствуют требованиям Что процентное соотношение траффика корректно выставлено Что версии отслеживаются Тестировать все комбинации версий разных элементов на странице Не нужно Что в рамках одной сессии пользователь видит только одну версию элемента
Как автоматизировать в таких условиях? Image source: http://blog.qatestlab.com/wp-content/uploads/2013/03/software-testing-company-1230.png Просто – автоматизация кейсов для стабильных элементов Сложно – добиться детерминистичности тестов версионного функционала Вариант – разработка «выключателя» версионности (vt.ALL=0)
Что автоматизировать в таких условиях? Image source: http://blog.qatestlab.com/wp-content/uploads/2013/03/software-testing-company-1230.png Алгоритм распределения траффика Контрольные версии Или все версии – если они долгожители Версию, что «победила» и включается на 100%
Спасибо! natali.holodiuk natali.holodiuk@gmail.com http:// www.linkedin.com/pub/nataliya-holodiuk/26/a84/6ab