A/B’yi divi beklentileriyle test ederken istatistiksel anlamlılık nasıl belirlenir
Herkes daha fazla tıklama almak ve dönüşümlerini artırmak istiyor. Yeterli zaman, sıkı çalışma ve biraz şansla, herkes bu sayıları alabilir ama ayrı testin büyüsü ile en başarılı olanı tam olarak bildiğinizde neden fırsatlara güvenebilir? Son birkaç gündür bloga dikkat ediyorsanız, Divi 2.7’nin lansmanını fark etmiş olabilirsiniz ve bununla birlikte yeni Divi Leads aracının gelişi. Divi kurşunlarının tanıtımı ile, divi üreticisinden çıkmadan ayrıntılı A/B testi yapabilirsiniz.
Bununla birlikte, başarılı A/B testi yapmak için, sonuçlarınızın istatistiksel olarak anlamlı olarak kabul edilip edilemeyeceğini nasıl belirleyeceğinizi bilmelisiniz. Bu makalede tartışacağımız tam olarak bu. DIVI Beklentileri ile A/B testi: Ayrı bir WordPress test aracı hakkında daha önce deneyime sahip olan herkese giriş, kısmen Divi Builder’a sorunsuz entegrasyonundan kaynaklanan Divi potansiyel müşterilerinin sadeliğini takdir edebilecektir. Onunla birlikte, WordPress kontrol panelinden ayrılmak zorunda kalmadan testinizin sonuçlarını çalıştırabilir ve kontrol edebilirsiniz. Yeni bir A/B testi başlatmak, kampanya konusu olarak seçmek istediğiniz herhangi bir modülün sağını tıklamak kadar kolaydır, ardından ayrı bir test seçeneği seçin:
Ayrı bir test istatistik penceresi açmadan A/B testinizin nasıl çalıştığını kontrol edebilirsiniz, çünkü söz konusu modül test sırasında başlıktaki en son tıklamaların yüzdesini gösterecektir: Doğru sonuçlara ulaşmak için yeterli veri topladığınızdan emin olur olmaz, tek yapmanız gereken testte yer alan herhangi bir modüle doğru tıklayın, ardından son bölünme testini tıklayın. Bundan sonra, hangi konu varyasyonlarının korunacağını seçmeniz istenecektir – tersine çevrilemeyen bir süreç, bu nedenle sonuçlarınızın bunu yapmadan önce ikna edici olduğundan emin olun! Öyleyse, şimdi divi potansiyel müşterileri nasıl kullanacağınızı biliyorsunuz, ancak birisi belirli bir dizi sonucun güvenilip güvenilmeyeceğini tam olarak nasıl belirliyor? Elbette testinizdeki tesadüfün en aza indirilmesini sağlayarak. Bu ‘tesadüf faktörü’ hakkında daha fazla konuşalım. İstatistiksel Önem ve ‘Fırsatlar Faktörü’ A/B test ederken aşağıdaki örneği düşünün: Landas sayfanızda harekete geçme davetinin iki varyasyonu (CTA) ile basit bir A/B testi çalıştırmaya karar verirsiniz. Birkaç gün geçti, birkaç yüz ziyaret alırsınız (siteniz hala oldukça yenidir) ve net varyasyonlardan biri diğerlerinden daha iyi performans gösterir-etkileyici% 5 tıklama oranı, rakiplerinden% 3’e karşı. Düşünebilirsiniz. Hey, bu bir süredir çalışıyor ve sanırım bunu aramak için yeterince ziyaretçi aldım – hadi bir numaralı seçimle gidelim! – Ve neden olmasın? Ancak, sayılar sizi destekler. Ancak, buradaki sorun ‘tesadüfi faktörleri’ düşünemediğinizdir. Aynı testi başka bir zamanda çalıştırırsanız ve sonuçlar çok farklıdır? Veya testleri daha uzun süre çalıştırmaya karar verirseniz ve sayılar çok daha büyük bir örnek koleksiyonun ters yönünde sallanmaya başlar mı? Her A/B testinde rol oynama fırsatı ve yapabileceğimiz en iyi şey, onu rahat hissettiren seviyeye kadar en aza indirmektir.
Bunu yapmak için, sonuçlarınıza bir güven seviyesi oluşturmanız gerekir. Bu, çok katılımlı çalışmaların sonuçlarını tartışma fırsatınız varsa, okuyabileceğiniz bir şeydir. Örnek testinde matematik yaptıktan sonra, sonuçların istatistiksel olarak anlamlı olarak kabul edilemeyeceğini ve gerçekte zamanın sadece% 50’sini süreceğini fark ettiniz. Bu rakamla rahat mısın? Cevabınız “hayır” ise – iyi! Başarılı A/B testi gerçekleştirme şansınızı en üst düzeye çıkarmak için yüksek düzeyde istatistiksel öneme sahip ideal örneklem büyüklüğünü nasıl belirleyeceğinizi öğretelim. Böyle bir testin tam olarak hangi güven seviyesini sonuçlarınızla rahatlatacağını belirlemek nasıl olduğunu. Güvenilirlik açısından% 95’i tatlı noktalar olarak buluyoruz. Daha spesifik olarak,% 95’i, bugün kullanacağımız yöntem olan ki-kare istatistik önemi testinde ALFA (yani güven seviyesi) 0.05’i temsil eden (endişelenmeyin, bunun ne anlama geldiğini açıklayacağız). Daha ileri gitmeden önce, rotayı izlemek istemiyorsanız, bu bölümün altına bağlandığımız istatistiksel anlamlılığı hesaplamak için bir araç olduğunu belirtmek gerekir.
Son bölümde kullandığımıza benzer örnekler oluşturalım. Birkaç gün boyunca harekete geçme davetinin iki versiyonunu çalıştırdığımız A/B testini takip edin (uzunluk kesinlikle amacımız için dikkate alınması gerekmez) ve A sürümü nihayet daha yüksek bir toplam tıklamayla biraz daha üstündür: satır evet Bu tabloda, alttaki iki versiyon için toplam toplam ziyaretçi ile söz konusu CTA’yı gerçekten tıklayan kişi sayısını göstermektedir. Şimdi burası her şey biraz karmaşık hale geliyor – yukarıdaki tablodaki ‘orijinal’ diyeceğimiz değeri kullanarak, iki CTA sürümünün ‘beklenen’ değerini hesaplayacağız.
Sonuçları gördükten sonra, aşağıda tartışacağımız beklenen sonuç formülünü izlediğimizden, neden ‘beklenen’ dediğimiz biraz kafası olabilir. Bu sadece ki-kare testi dedikleri şeydir, bu yüzden bunu, uygulanması sırasında gerçekten gözlemlediğiniz değerden testiniz için farklı bir potansiyel sonuç olarak düşünün. Sonuçlarımızın istatistiksel önem seviyesini belirlemek için, karşılaştığımız varyasyon sayısı göz önüne alındığında beklenen dört değeri hesaplamalıyız:
A sürümüne tıklayan kişi sayısı,
B sürümüne tıklayan kişi sayısı ve Her seçimle karşılaştığında CTA’ya hiç tıklamayan kişi sayısı.
A sürümüne tıklayan kişi sayısı için ‘beklenen’ değer aşağıdaki gibidir:
Bu sayıya aşağıdaki formülle geldik … (77 x 1019) / 2045 … Bu, iki CTA’yı tıklamayan toplam kişi sayısı, gösterilen toplam kişi ile çarparak, bölünerek İki versiyona toplam ziyaretçi sayısı: Şimdi kalan alanlar için süreci tekrarlayalım. Formül aynı kalır – yapmamız gereken, hangi satırlarda çalıştığımıza bağlı olarak toplam evet ve uygun değil, iki versiyona yapılan toplam ziyaretçi sayısına bölünmesiyle, toplam sütunun toplamı ile çoğalmaktır. Ve sonuçlar şöyle görünecek:
Eğer kayıp hissediyorsanız, endişelenmeyin – bir dakika içinde her şey mantıklı olacaktır. Şimdi orijinal ve ‘beklenen’ sonuçlarımız var, bu yüzden elbette başka bir tablo almak için formülü uygulayacağız. Bu son, söz veriyoruz! Bu kez, şimdiye kadar tartıştığımız her bir değerin ‘ki-kare’ faktörünü hesaplayacağız ve sonuçlarımızın istatistiksel olarak anlamlı olarak kabul edilip edilemeyeceğini belirlememize izin vereceğiz. Bunu yapmak için aşağıdaki formülü kullanacağız: (beklenen değer-orijinal değer) ² / her bir hücre için beklenen değer, böylece CTA’nın bir versiyonunu tıklayan kişilerden ki-kare faktörünü hesaplamak için formül gibi görünecektir. … (38.36 – 43) ² / 38.36 …
Süreci kalan tüm değerler için tekrarladıktan sonra aşağıdakilere sahip olacağız:
Sonunda, ihtiyacımız olan tek şey ki-kare-kare-iki versiyon için toplam seyirci sayısı 1.15.Şimdi, bu bölümün başlangıcında, basit bir% 95 güven seviyesini nasıl hedeflediğimizi ve ALFA 0.05’i nasıl temsil ettiğimizi hatırlıyor musunuz?ALFA, dikkat etmeniz gereken varyasyon miktarına bağlı olarak belirli bir güven seviyesine ulaşmak için gereken değeri veren ki-kare dağıtım tablosunda belirtilen bir değerdir.Tüm testler, beklediğiniz istatistiksel önem seviyesine ulaşmak için% 100 varsayımsal bir güven seviyesi ile başlar, alfa 1’den azaltmalısınız, bu nedenle … 1 – 0.05 = 0.95 …
