Що таке статистична потужність
Навіщо мати статистичну потужність
- Збільшить імовірність помітити ефект від експериментального варіанту, якщо той існує.
Коли статистична потужність низька, можна не виявити ефект, навіть якщо він існує. Як наслідок — помилково негативні результати та прийняті даремні рішення. - Допоможе визначити необхідний розмір вибірки.
В залежності від бажаної статистичної потужності, кількість учасників експерименту буде варіюватися. - Надає можливість порівнювати результати різних досліджень між собою, навіть якщо вони використовували різні методи збору та аналізу даних, чи досліджували інші групи людей.
- Підвищує надійність дослідження, оскільки робить його результати більш надійними через об'єктивну оцінку того, наскільки велика ймовірність не помітити реально існуючий ефект в результаті експерименту.
Як рахувати статистичну потужність
За цим всім лежить комплексна математика, однак можна просто скористатися калькулятором розміру вибірок.
В ньому всього кілька важливих параметрів:
- Baseline
Яке початкове значення параметру, вплив на який будемо шукати. Зазвичай, це якась конверсія, що хочемо покращити. - Minimum Detectable Effect
Який вплив на параметр, в результаті експерименту, ми очікуємо, чи вже отримали? На скільки відсоткових пунктів або відсотків має змінитися цей параметр. - Statistical power 1−β
З якою імовірністю очікуваний ефект можна буде відслідкувати статистично. Авжеж, припускаючи, що такий ефект існує. Для більшої надійності = 95%, але мінімум 80%. - Significance level α
З якою імовірністю можна розраховувати, що експеримент помилково відслідкує ефект, навіть якщо ми очікуємо, що його не існує. Зазвичай = 5%.
Яка статистична потужність хороша, а яка ні
Точно вище 80%. А краще, для більшої надійності, 95%.
Що більший відсоток, то менша ймовірність помилково НЕ виявити ефект від експериментального варіанту, хоча той існує.
Вірно й зворотне — статистична потужність нижче 80% не дозволить виявити позитивний ефект від варіанту навіть коли той справді існує.
Варто зазначити, що статистична значущість експерименту ніколи не наближається до 100%, невелика погрішність буде присутня завжди.
Чим статистична потужність відрізняється від статистичної значимості
Ці два важливі поняття в статистиці часто плутають.
Статистична потужність описує ймовірність того, що експериментальний варіант переможе, якщо вірна гіпотеза про те, що він переможе. Іншими словами — це рівень впевненості в тому, що експеримент виявить ефект, якщо той існує.
В свою чергу, статистична значимість описує ймовірність того, що переможе експериментальний варіант, навіть якщо вірна гіпотеза про те, що він не може перемогти. Іншими словами — це рівень впевненості в тому, що отримані результати експерименту не випадкові.
Для перевірки якості проведених A/B та MV-тестів важливо враховувати обидва ці фактори.
Як покращити статистичну потужність
Щоб поліпшити впевненість в результатах експерименту, можна:
- Збільшити розмір вибірки. Це дасть більше даних для обробки та підвищить надійність результатів експерименту.
- Використовувати більш чутливі способи вимірювання.
Наприклад, факторний аналіз може бути більш потужним, ніж t-тест для пошуку впливу декількох факторів на змінну.
Зменшити помилку вимірювання. Наприклад, підсилити автоматично зібрані дані з Google Analytics відправкою серверних івентів.
Переконайтеся, що зрозуміли все як слід
Пройдіть безкоштовний тестВідкриється наш телеграм-бот, де відбудеться вся магія
Хочете розібратися глибше?
Проходьте наш курс
«Юніт-економіка»
для підприємців та менеджерів 💪
Помітили помилку?
Маякніть Яру, будь-ласка 🙏🏻