А/В тестування

Бізнесу в мережі інтернет важливі дії користувачів на ресурсах, так звана конверсія сайтів. Дані про це можна відстежувати за допомогою певних SEO-інструментів, чому більшість серйозних власників сайтів або додатків приділяють багато уваги. Внесення будь-яких змін на сайті може істотно вплинути на його конверсію. В такому випадку аудиторію сайту можна розділити на дві частини або більше, кожній з яких певна сторінка або її елементи будуть відображатися по-різному. Одним буде представлена ​​стара версія, а іншим її оновлений варіант. Таким чином, за допомогою статистики можна визначити, чи варто застосовувати такі зміни на сайті чи ні, не розгубивши істотно аудиторію в разі невдалого експерименту. Такий метод перевірки називається А/В тестуванням.

А/В тестування (англ. A/B testing, bucket tests, Split URL testing) – це метод маркетингового дослідження на сайті або в мобільному додатку, при якому аудиторія ресурсу розділяється на дві або більше частин і в кожній з них певний елемент відображається по різному для перевірки потенційних поліпшень по оптимізації в порівнянні з вихідною версією продукту.

Одним із прикладів може послужити дослідження впливу кольорової гами, розташування та розміру елементів інтерфейсу на конверсію сайту.

Зазвичай до А/В тестування можна віднести процес тестування двох веб-елементів на сторінках А і В з метою визначити, для якого з них відсоток переходів, натискань (CTR) буде вище. До таких елементів найчастіше можна віднести банери, кнопки заклику до дії (call to action buttons (СТА)), логотипи, тексти розсилок по електронній пошті і будь-які інші веб-елементи засобів зворотного зв'язку з користувачем.

Для чого ж застосовується А/В тестування?

1. Виявлення «больових точок» користувачів.

Що мається на увазі під «больовими точками»? Витоку в послідовності переходів або випадання на сторінці оплати, які призводять до високої частоти відмови від покупки в інтернет-магазині або низької залученості глядачів в ЗМІ і т. д.

Відвідувачі сайту приходять на нього з певною метою, будь-то купівля, перегляд інформації або консультація. Незалежно від мети відвідувачі можуть зіткнутися із загальними «больовими точками»: збивають з пантелику назви, відсутність кнопки швидкої покупки, складні форми з незрозумілими підказками тощо. Неможливість або складність у досягненні своїх цілей призводить до поганого користувацького досвіду, в кінцевому підсумку це впливає на показники конверсії. Необхідно використовувати дані, зібрані за допомогою інструментів аналізу поведінки відвідувачів, таких як теплові карти, Google Analytics та опитування веб-сайтів, щоб мінімізувати кількість «больових точок» відвідувачів. Це стосується будь-яких ресурсів, будь-то електронна комерція, подорожі, освіта або засоби масової інформації, публікації.

2. Зменшення показника відмов.

Одним з найбільш важливих показників, які необхідно відстежувати для оцінки ефективності сайту, є показник відмов.

Показник відмов – термін у веб-аналітиці, що визначає відсоткове співвідношення кількості відвідувачів, які залишили сайт прямо зі сторінки входу або переглянули не більше однієї сторінки сайту.

Існує багато причин високого показника відмов, наприклад, велика кількість варіантів, невідповідність очікувань користувача і так далі. Оскільки різні веб-сайти слугують різним цілям і обслуговують різні аудиторії, немає точного способу зафіксувати причини відмов. Один із способів зробити це – A/B-тестування. Так, можна протестувати кілька варіантів елемента певного сайту, поки не буде знайдена найкраща можлива версія. Це покращує користувацький досвід, змушуючи відвідувачів витрачати більше часу на сайт і знижує показник відмов.

3. Внесення модифікацій з низьким ризиком.

За допомогою А/В тестування можна внести незначні, поступові зміни в веб-сторінку, а не переробляти всю сторінку заново, так як це може знизити ризик поставити під загрозу поточний коефіцієнт конверсії. A/B тестування дозволяє максимально ефективно використовувати ресурси з мінімальними змінами, що призводить до збільшення рентабельності інвестицій. Прикладом цього можуть бути зміни в описі продукту. Можна виконати A/B тест, коли планується видалити або оновити опис продукту. Ми не знаємо, як користувачі будуть реагувати на цю зміну, тому A/B тестування – це один із способів визначити, як буде краще. Іншим прикладом модифікації з низьким рівнем ризику може бути введення зміни нової функції. Перш ніж вводити нову функцію, можна запустити її у вигляді A/В тесту в копії веб-сторінки, що може зробити результат набагато більш передбачуваним. Це може бути дуже корисно, якщо зміни впливають на дані клієнта або воронку продажів.

Воронка продажів – це маркетингова модель, яка описує передбачувану «подорож» майбутнього покупця від першого знайомства з пропозицією або товаром до реальної покупки. Зміни без тестування можуть або не можуть окупитися. Тестування, а потім внесення змін, може забезпечити більш точний результат.

4. Визначення статистично важливіших покращень.

Оскільки A/B тестування повністю засноване на даних і в ньому немає місця для здогадів, інтуїції або інстинктів, можна легко визначити «переможця» і «переможеного» на основі статистично значущих поліпшень таких показників, як час, проведений на сторінці, кількість демонстраційних запитів, кількість виходів з кошика без оплати, рейтинг кліків і т. д.

5. Визначення вигіднішого дизайну сайту або програми.

Редизайн може варіюватися від незначної зміни тексту або кольорового налаштування кнопок заклику до дії (CTA) на конкретних веб-сторінках до повної модернізації веб-сайту. Рішення про впровадження однієї або іншої версії завжди має ґрунтуватися на основі даних, отриманих в процесі A/B тестування. Не потрібно припиняти тестування з завершенням дизайну. У міру відновлення ресурсу краще протестувати інші елементи веб-сторінки, щоб переконатися, що користувачам надається найбільш цікава і доброзичлива версія.

Структура А/B тестування або яким чином проводяться тести?

Етап 1: Збір статистики.

Перш ніж скласти план А/B тестування, необхідно провести ретельне дослідження того, як в даний час працює веб-сайт. Необхідно зібрати дані про те, скільки користувачів заходить на сайт, які сторінки привертають найбільше трафіку, які різні цілі конверсії різних сторінок і так далі. Для цих цілей можна використовувати інструменти кількісної аналітики веб-сайтів, такі як Google Analytics, Omniture, Mixpanel і інші, які можуть допомогти визначити найбільш відвідувані сторінки, сторінки з найбільшою кількістю витраченого часу або сторінки з найвищим показником відмов. Наприклад, можна почати з короткого списку сторінок з найбільшим дохідним потенціалом або найбільшим щоденним трафіком. Також в роботі дуже корисні теплові карти (Heatmap) – інструменти, які візуалізують поведінку користувачів на сторінках сайту. За допомогою теплових карт можна визначити проблемні області на веб-сайті. Ще одним популярним інструментом, використовуваним для глибших досліджень, є опитування користувачів веб-сайтів. Опитування можуть бути реалізовані у вигляді прямого каналу між командою веб-сайту і кінцевим користувачем і часто можуть виявити проблеми, які можуть бути втрачені в сукупних даних.

Етап 2: Формулювання гіпотези про те, що можна змінити.

Завжди потрібно враховувати бізнес-цілі, реєструючи результати спостережень і створюючи спрямовані на підвищення конверсії гіпотези, засновані на отриманих даних. Якісні та кількісні інструменти дослідження можуть допомогти тільки в зборі даних про поведінку відвідувачів. Кращий спосіб використовувати кожен біт зібраних даних – це проаналізувати їх, провести ретельні спостереження, а потім намалювати веб-сайт з новою інформацією для користувачів, щоб сформулювати засновані на даних гіпотези (варіанти впроваджених змін).

Етап 3: Створення варіації.

Наступним кроком в програмі тестування повинно бути створення варіанту, заснованого на сформованої вище гіпотезі. Варіант – це інша версія існуючої статті зі змінами, які ви хочете протестувати. Можна протестувати кілька варіантів з контролем, щоб побачити, який з них працює найкраще. Краще створити варіант, заснований на гіпотезі про те, що може працювати з точки зору UX. Наприклад, згідно зі статистикою, є досить великий відсоток людей, які не заповнюють форми. Можливо, в формі занадто багато полів? Чи потрібна особиста інформація? Може, варто спробувати варіант з більш короткою формою або інший варіант, пропустивши поля, які запитують особисту інформацію?

Етап 4: Тестування.

У цій статті розглянуто тільки А/В тестування. Насправді в маркетингу може застосовуватися кілька схожих методів, таких як: A/B тестування, різноманітне (багатовимірне) тестування, Split URL-тестування і багатосторінкове тестування.

Різноманітне тестування (MVT) – це метод, при якому вносяться зміни в декілька розділів веб-сторінки і створюються варіанти для всіх можливих комбінацій. У багатовимірному тестуванні можна протестувати всі комбінації в одному тесті. Багатофакторний тест допомагає визначити, який елемент веб-сторінки має найбільший вплив на коефіцієнт конверсії. Наприклад, ви вирішили протестувати дві версії зображення героя і кольору кнопки CTA на веб-сторінці. Використовуючи MVT, можна створити один варіант для зображення героя і один для кольору кнопки CTA. Для тестування всіх версій потрібно створити комбінації всіх варіантів.

У класичному варіанті А/В тестування обидві сторінки знаходяться за одним посиланням, у разі Split URL тестування, варіант В знаходиться за іншим URL-посиланням (відвідувачі, відповідно, не бачать різниці).

Багатосторінкове тестування – це форма експерименту, де перевіряються зміни окремих елементів на кількох сторінках. У класичному варіанті беруться всі сторінки воронки продажів і створюються нові версії кожної з них, які передбачувано більш вдалі, а потім тестуються. Це називається воронкоподібним багатосторінковим тестуванням. Також можна перевірити, як додавання або видалення повторюваних елементів, таких як значки безпеки, відгуки та інше, може вплинути на конверсії в усій послідовності.

При проведенні самого тестування необхідно враховувати ряд певних факторів. Щоб не сталося статистичних відхилень, тобто користувачі одного сегмента ніяк не могли вплинути на інший, важливо, щоб користувач був віднесений строго до одного сегмента. Це можна зробити, наприклад, записавши мітку сегмента в cookies браузера.

Також необхідно забезпечити відсутність впливу зовнішніх і внутрішніх факторів, таких як рекламні кампанії, день тижня, погода, сезонність або дії операторів call-центру, служби підтримки, роботи редакції, розробників або адміністраторів ресурсу. Для вирішення першого питання виміри в сегментах важливо робити паралельно, тобто, в один і той же період часу, для другого – скористатися фільтрами в Google Analytics.

Найважливішим в цьому способі маркетингових досліджень є необхідність розуміння того, що ніколи не потрібно поспішати з висновками. Результати можуть змінюватися з кожним днем, а значить найчастіше в значеннях представлені випадкові величини. Для порівняння випадкових величин необхідно оцінити середні значення, а для оцінки середнього значення потрібен якийсь час, щоб накопичити історію.

Етап 5: Аналіз результатів і розгортання виграшного варіанту.

Незважаючи на те, що це останній крок визначення «переможця» кампанії, аналіз результатів надзвичайно важливий. Оскільки A/B тестування вимагає безперервного збору і аналізу даних, а не одноразового, саме на цьому етапі розгортається вся основна задача. Як тільки тест завершиться, проаналізуйте його результати, враховуючи такі показники, як відсоткове збільшення, рівень достовірності, прямий і непрямий вплив на інші показники і так далі. Після розгляду цих даних, якщо тест пройдено успішно, розгорніть виграшний варіант. Якщо результати тесту неоднозначні, їх краще проаналізувати і застосувати в наступних тестах.

А/В тестування – це відмінний спосіб перевірити та впровадити поліпшення на своєму ресурсі. Звичайно ж, такі тести не завжди виправдовують очікування, так як дії і переваги користувачів часто бувають непередбачуваними, але за допомогою А/В тестування можна без істотних втрат перевірити найнесподіваніші гіпотези та варіанти.