Statistical Significance

Без цього статистиці та результатам експерименту не можна довіряти:

1. Допомагає відрізнити реальні результати від випадкових, що сталися внаслідок удачі та збігу обставин.
2. Дозволяє робити узагальнені висновки про поведінку великої маси людей, базуючись на малій частці цільової аудиторії.
3. Надає можливість порівнювати результати різних досліджень між собою, навіть якщо вони використовували різні методи збору та аналізу даних, чи досліджували інші групи людей.
4. Підвищує надійність дослідження, оскільки робить його результати більш чіткими, через об'єктивну оцінку того, наскільки ймовірна похибка в результатах експерименту.

Найпоширеніший метод вимірює p-значення — рівень погрішності отриманих результатів:

P-значення — це ймовірність отримати певний результат, якщо вірна нульова (початкова) гіпотеза.

Нульова гіпотеза — це ствердження, що експериментальний варіант НЕ має жодного впливу.

Однак, простіше за все розрахувати рівень погрішності результатів експерименту — скористатися калькулятором статистичної значимості.

Результат вважають статистично значущим коли p-значення менше 0.05. Це означає, що ймовірність того, що результат експерименту випадковий — менше 5%, тому в його результатах можна бути впевненими на 95%.

Очікувану впевненість в результатах експерименту іноді збільшують з 95% до 99% для особливо важливих випадків, на кшталт зміни платіжних систем, чи інших елементів критичного контуру бізнесу, чи продукту.

Варто зазначити, що статистична значущість експерименту ніколи не буває 100%, бодай мінімальна погрішність буде присутня завжди.

Ці два важливі поняття в статистиці часто плутають.

Статистична значимість описує ймовірність того, що переможе експериментальний варіант, навіть якщо вірна гіпотеза про те, що він не може перемогти. Іншими словами — це рівень впевненості в тому, що отримані результати експерименту не випадкові.

В свою чергу, статистична потужність описує ймовірність того, що експериментальний варіант переможе, якщо вірна гіпотеза про те, що він переможе. Іншими словами — це рівень впевненості в тому, що експеримент виявить ефект, якщо той існує.

Для перевірки якості проведених A/B та MV-тестів важливо враховувати обидва ці фактори.

Щоб поліпшити впевненість в результатах експерименту, можна:

1. Збільшити розмір вибірки. Це дасть більше даних для обробки та підвищить надійність результатів експерименту.
2. Зменшити помилку вимірювання. Наприклад, підсилити автоматично зібрані дані з Google Analytics відправкою серверних івентів.