Как в Газпромбанке формулируют и приоритизируют гипотезы для A/B-теста
На этой странице

Кто придумывает гипотезы?

Гипотеза, которая сработает, — какая она?

Какие гипотезы запускают в работу первыми?



Тэги
исследования маркетинг разработка
Как в Газпромбанке формулируют и приоритизируют гипотезы для A/B-теста

A/B-тест — это способ проверить, как изменения продукта повлияют на поведение пользователей. Чаще всего такие тесты используют, чтобы улучшить конверсию на сайтах и в мобильных приложениях.

Чтобы запустить тестирование, нужно придумать гипотезу. Если сформулировать ее неверно или запустить A/B-тест вообще без гипотезы, эффект от изменений будет не таким ярким. А в худшем случае его не будет совсем. Вместе с командой по разработке сайта рассказываем, как придумывают и проверяют гипотезы в Газпромбанке.

Кто придумывает гипотезы?

В Газпромбанке над гипотезами работают кросс-функциональные команды — Value Streams. Это команда, в которой есть специалисты из разных отделов и департаментов банка. Их объединяет то, что они работают над одним направлением. Например, есть стрим потребительских кредитов. В нем собраны разработчики, тестировщики, аналитики, дизайнеры и другие специалисты, которые участвуют в релизах. В этом стриме есть представители и от команды сайта.

Задача Value Stream — сделать так, чтобы продукт развивался, то есть приносил доход банку и при этом становился удобнее для клиента. Поэтому за формулирование гипотез отвечают стримы. В команде разные специалисты, за счет этого удается вовремя остановить работу над гипотезой, которую не удастся протестировать.

Гипотетический пример. Аналитики заметили, что из формы заявки можно убрать поле, где нужно указать номер СНИЛС — тогда есть вероятность, что конверсия в заявки по кредитам вырастет на 10%. Но представитель от бизнеса говорит, что если это поле убрать, может упасть процент одобрения кредитов. Сотрудникам банка не хватит информации, чтобы принять решение, одобрять заявку или нет.

Делгр Андреева

Product owner сайта.

В таких случаях команда проводит оценку, как изменятся показатели, если убрать поле с номером СНИЛС:

  • Насколько больше заявок на кредитование банк станет получать.
  • Насколько уменьшится конверсия в одобрение.

После этого Value Stream считает, что финансово выгоднее: приумножить в заявках или потерять в одобрении. Если оказывается, что первый путь принесет больше денег, гипотезу протестируют.

Гипотеза, которая сработает, — какая она?

На самом деле, ни Value Stream, ни команда сайта не смогут сказать сходу, какие решения точно стоит внедрять — если бы могли, то этап A/B-теста был бы просто не нужен. Но до тестирования доходят не все гипотезы. В разработку берут предположения, которые прежде всего можно измерить.

Команда определяет метрику, по которой будет оценивать эффективность гипотезы. Например, это может быть время, которое пользователь тратит на то, чтобы перейти с экрана на экран. Или это может быть конверсия, допустим, из посетителя сайта в пользователя, который заполнил заявку на кредитную карту. Важно, чтобы эффект от гипотезы можно было измерить в цифровом формате, поэтому перед запуском теста команда фиксирует текущие показатели.

Гипотеза должна звучать примерно так:

Подставим сюда реальную гипотезу, которую Газпромбанк протестировал и она оказалась удачной: 

Раньше было так: пользователь старше 20 или 45 лет заполнял заявку на кредит. Система просила внести сведения о прошлом паспорте. Но мало кто помнит наизусть такие данные: было видно, что пользователь терялся и не знал, как ему пройти этот шаг. Мы убрали блок со сведениями о прошлом паспорте, и это дало дополнительный эффект.

Делгр Андреева

Product owner сайта.

Еще один пример гипотезы, которая улучшила метрики:

Больше примеров гипотез, которые сработали, вы найдете здесь:

Как команда Газпромбанка улучшает клиентский путь на сайте

Какие гипотезы запускают в работу первыми?

Все гипотезы быстро протестировать невозможно, поэтому Value Stream расставляет их по приоритетам. Из всех предложений выбирают те, которые дадут продукту кратный рост, иначе команда потеряет деньги и время.

Чтобы интересы стримов и команды по разработке сайта не конфликтовали, приоритизацию гипотез сделали максимально прозрачной. В этом помогает корпоративный таск-менеджер. Еще команда по разработке сайта заносит гипотезы в таблицу. Они содержат детальные расчеты по метрикам и описания задач для каждого члена команды. Это могут быть исследования, дизайн, работа с фидбеком от пользователей.

Самыми приоритетными будут гипотезы, у которых:

  1. Предполагается высокая бизнес-эффективность — то, как они упростят клиентский путь или повысят доход банка.
  2. Будет простая реализация — соотношение времени и сложности тестирования.

После этого начинается новый этап — проведение A/B-тестирования. Подробнее о том, как Газпромбанк проводит тесты, можно узнать из этой статьи: Как A/B-тестирование помогает разработчикам?

В материале мы подробнее рассказываем, что такое A/B-тесты и как они помогают понять, чего хотят пользователи.

Другие статьи по теме

23 Мая, 2022

Java школа: как в Газпромбанке учат разработчиков

В начале 2022 года в Газпромбанке стартовала Java школа. Ее преподаватель и студент рассказывают как это было.

Читать

19 Мая, 2022

Фулстек-разработка: идти или не идти. Опыт тимлида

Разбираемся, почему в финтехе редко ищут фулстек-разработчиков и в каких ситуациях им быть все-таки выгодно.

Читать

20 Апреля, 2022

От исследований к разработке: как создавали кредитную Удобную карту

Рассказываем, как исследовали концепцию новой кредитной карты и создавали микросервис для отображения ее данных

Читать

24 Марта, 2022

Как небрендовый SEO-трафик Газпромбанка вырос на 70%

Рассказываем как продукты Газпромбанка продвигаются в поисковой выдаче.

Читать

24 Февраля, 2022

Как черновики в мобильном банке и увеличили количество заявок на кредитную карту

Рассказываем, сколько клиентов вернула Газпромбанку новая функция и как ее планируют использовать в будущем.

Читать

15 Февраля, 2022

Платформы Low-code и No-code: что это такое и зачем они нужны

Рассказываем, как развиваются Low-code и No-code платформы в финтехе и Газпромбанке.

Читать