A/B測試如何工作?


可以使用統計資訊和分析來監控存取者的操作,以確定產生更高轉換率的版本。 A/B測試結果通常以精美的數學和統計術語給出,但數位背後的含義其實很簡單。 有兩種重要的方法可以通過它們檢查A/B測試的轉換率 -

  • 資料取樣
  • 置信區間

下面詳細討論這兩種方法。

資料取樣

樣本數量取決於執行的測試次數。 轉化率的計數稱為樣本,收集這些樣本的過程稱為取樣。

範例

假設您有兩種產品A和產品B,想要根據市場需求收集樣品資料。 您可以要求幾個人從產品A和產品B中進行選擇,然後請他們參與調查。 隨著參與者數量的增加,它將開始顯示一個實際的轉換率。

有各種工具可用於確定正確的樣本數量。 下面是一個免費工具 - http://www.evanmiller.org

置信區間

置信區間是對多個樣本數量的平均偏差的度量。 假設在上面的例子中有22%的人更喜歡產品A,置信區間為±2%。 此間隔表示選擇產品A的人員的上限和下限,也稱為誤差範圍。 為了在這項平均調查中取得最佳結果,誤差應盡可能小。

範例

假設在產品B中,新增了一個小的改變,然後對這兩個產品進行了A/B測試。 置信區間乘積A和B分別為10%±1%和20%±2%。 所以這表明,一個小的變化已經提高了轉換率。 如果我們忽略誤差幅度,測試變化A的轉換率為10%,測試變化B的轉換率為20%,即測試變化增加10%。

現在,如果將控制變化率的差值除以10%÷10%= 1.0 = 100%,則顯示出100%的提高。 因此,可以說A/B測試是一種基于數學方法和分析的技術。 有各種線上工具可用於計算A/B的重要性。