30 sn özet
A/B testi, uygun kullanıcıları rastgele gruplara ayırarak farklı deneyimlerin sonuçlarını karşılaştırma yöntemidir. Deney tasarımı ise hangi sorunun, kimler üzerinde, hangi ölçütlerle ve hangi karar kurallarıyla sınanacağını belirler. İki sayfa hazırlamak tek başına güvenilir deney oluşturmaz. Ölçümün doğru çalışması, grupların tutarlı kurulması ve sonuçların uygun yöntemle değerlendirilmesi gerekir. Amaç her fikir için kazanan bulmak değildir. Belirsizliği azaltmak ve hangi değişikliğin uygulanmaya değer olduğunu kanıta dayanarak belirlemektir.
Neden önemli
Bir kampanya metni değiştikten sonra satışlar artabilir. Ancak aynı dönemde trafik kaynağı, fiyat veya sezon da değişmiş olabilir. Önceki dönemle sonraki dönemi karşılaştırmak, artışı yalnızca metne bağlamaya yetmez. Kontrollü deney, değiştirilen deneyim ile mevcut deneyimi aynı koşullarda karşılaştırarak bu belirsizliğin bir bölümünü azaltır.
İşletme açısından deneyler, geliştirme ve pazarlama kaynaklarının daha bilinçli kullanılmasını destekler. İyi görünen bir fikir müşteri davranışını değiştirmeyebilir; küçük görünen bir düzenleme önemli bir engeli kaldırabilir. Karar için yalnızca etkinin varlığı değil, büyüklüğü ve maliyeti de değerlendirilmelidir. Gelirde sınırlı bir iyileşme, yüksek bakım maliyetini karşılamayabilir.
Yönetim açısından deney disiplini, ekipler arasında ortak bir öğrenme düzeni kurar. Bir fikrin başarısız çıkması, onu öneren kişinin başarısızlığı olarak ele alınırsa ekipler belirsiz fikirleri sınamaktan kaçınabilir. Sonuçların gerekçeleriyle kaydedilmesi ise sonraki kararları besler. İş analisti problem ile ölçüt arasındaki ilişkiyi netleştirirken, ürün ve teknik ekipler değişikliğin doğru uygulanmasını sağlar.
Terim nedir
A/B testinde kontrol grubu mevcut deneyimi, deney grubu önerilen değişikliği görür. Rastgele atama, kullanıcı özelliklerinin gruplar arasında sistematik biçimde farklılaşmasını azaltmayı amaçlar. Atama birimi kullanıcı, hesap veya başka bir uygun birim olabilir. Ekip içi bir üründe aynı kuruluşun çalışanları birbirini etkiliyorsa, bireysel atama yerine kuruluş düzeyinde tasarım değerlendirilmelidir.
Hipotez, beklenen etkiyi ve gerekçesini ifade eden sınanabilir önermedir. “Teslimat tarihi belirsiz olduğu için müşteriler satın almayı erteliyor; tarihi seçim alanında gösterirsek sipariş tamamlama artabilir” cümlesi davranışla çözüm arasında bağ kurar. “Yeni tasarım daha güzel” ifadesi ise hangi sonucun neden değişeceğini açıklamaz. Araştırma, hipotezin dayandığı engeli anlamaya yardımcı olur.
Ana ölçüt, deneyin temel karar sonucudur. Tıklama, sipariş, uygun başvuru veya aktivasyon seçilebilir. Aktivasyon, ürünün temel faydasının deneyimlendiğini gösteren davranıştır. Ana ölçüt değişikliğin amacıyla uyumlu olmalıdır. Koruyucu ölçütler ise hedef iyileşirken hata, iade, destek yükü veya ekonomik katkı gibi önemli sonuçların zarar görüp görmediğini izler.
Örneklem ihtiyacı, mevcut davranış oranına, karar açısından önemli en küçük etkiye ve seçilen istatistiksel yönteme bağlıdır. Küçük etkileri güvenilir biçimde ayırt etmek daha fazla veri gerektirebilir. Süre yalnızca kullanıcı sayısıyla belirlenmez; haftalık kullanım ritmi veya satın alma gecikmesi de dikkate alınır. Veri yeterli değilse sonuç belirsiz kalabilir. Bu durum, iki deneyimin kesinlikle aynı olduğu anlamına gelmez.
İstatistiksel anlamlılık, kullanılan model ve varsayımlar altında gözlenen farkın rastlantısal değişkenlikle ne kadar uyumlu olduğunu değerlendirmeye yardımcı olur. Ticari anlamlılık ise etkinin iş kararını değiştirecek büyüklükte olup olmadığıdır. Güven aralığı, etkinin belirsizliği hakkında bilgi verir. Tek bir olumlu oranı göstermek yerine olası etki aralığı ve ekonomik karşılığı birlikte incelenmelidir.
Sonuçları sürekli kontrol edip ilk olumlu anda testi durdurmak, kullanılan yöntem bunu hesaba katmıyorsa yanlış karar riskini artırabilir. Önceden belirlenen süre ve karar yaklaşımı izlenmeli veya sürekli izlemeye uygun yöntem kullanılmalıdır. Benzer şekilde çok sayıda ölçüt ve kullanıcı grubu arasından yalnızca olumlu sonuçları seçmek yanıltıcıdır. Sonradan keşfedilen bulgular yeni hipotez olarak kaydedilebilir.
Birden fazla değişiklik birlikte test edilebilir; ancak sonuç o değişiklik paketinin etkisini gösterir. Hangi parçanın etkili olduğunu öğrenmek için farklı tasarım gerekir. Deney öncesinde hangi sorunun cevaplanacağı belirlenmelidir. Ayrıca olay kayıtları, atama ve gruplardaki beklenmeyen dağılım farkları kontrol edilmeden davranış sonucu yorumlanmamalıdır. Güvenilir veri, istatistiksel değerlendirmeden önce gelir.
Gerçek vaka: Booking.com’un deney altyapısı
2017 tarihli “Democratizing online controlled experiments at Booking.com” çalışması, şirketin deney yapmayı ekipler arasında yaygınlaştırmak için kurduğu düzeni anlatıyor. Araştırmacılar başarı ve başarısızlıkların ortak bir bilgi alanında tutulmasını, deney koduyla iş mantığının ayrılmasını ve veri toplama süreçlerinin güvenilirliğinin izlenmesini açıklıyor.
Çalışma, ekiplerin deneylerini baştan sona sahiplenebilmesini destekleyen koruyucu mekanizmaları da ele alıyor. Böylece deney yapma yetkisi, ortak altyapı ve veri güveniyle birlikte değerlendiriliyor. Vaka yalnızca tek bir tasarımın kazanmasına odaklanmıyor; birçok ekibin tutarlı biçimde öğrenebilmesini sağlayan organizasyon koşullarını gösteriyor.
Bu uygulamadan çıkarılabilecek ders, deney kültürünün test sayısından daha geniş bir yönetim konusu olduğudur. Bu, çalışmanın stratejik yorumudur. Deney altyapısının bulunması her kararın otomatik olarak doğru olacağını göstermez. Hipotez, ölçüt ve uygulama kalitesi ayrıca değerlendirilmelidir. Başka bir işletme de aynı ölçeği kopyalamadan, ortak kayıt ve ölçüm kurallarıyla kendi kapasitesine uygun bir başlangıç yapabilir.
Varsayımsal örnek: Teslimat bilgisinin görünürlüğü
Bir ev ürünleri mağazasında müşteriler ürün sayfasını inceliyor, ancak teslimat bilgisini öğrenmek için ödeme adımına kadar ilerlemek zorunda kalıyor olsun. Destek ekibine gelen sorular ve kullanıcı görüşmeleri, teslimat belirsizliğinin karar vermeyi zorlaştırdığını gösterir. Ekip, ürün seçim alanında anlaşılır teslimat bilgisi sunmayı önerir.
Hipotez, bilginin erken görünmesinin satın alma belirsizliğini azaltacağıdır. Kontrol grubunda mevcut sayfa, deney grubunda yeni bilgi alanı kullanılır. Fiyat ve diğer temel koşullar aynı tutulur. Atama kullanıcı düzeyinde korunur; aynı kişinin ziyaretler arasında gelişigüzel farklı sürümlere geçmesi önlenir. Teslimat bilgisinin doğru hesaplandığı ayrıca kontrol edilir.
Ana ölçüt tamamlanan sipariş oranıdır. İptal, teslimat beklentisiyle ilgili destek talepleri ve siparişin ekonomik katkısı da izlenir. Örneklem ve karar yöntemi başlamadan belirlenir. Mobil sonuç ayrıca incelenecekse bu değerlendirme planı önceden yazılır. Sonuç belirsiz kalırsa ekip bunu başarısızlık veya eşitlik diye sunmaz; veri yeterliliğini ve hipotezin dayandığı engeli yeniden değerlendirir.
Yaygın 3 hata
- Deneyi araştırmanın yerine koymak
Rastgele fikirleri test etmek zaman tüketebilir. Önce müşteri engelini araştırın. Hipotezin hangi gözlemden doğduğunu ve sonucun hangi kararı destekleyeceğini açıklayın.
- Ana ölçütü sonuçları gördükten sonra seçmek
Olumlu görünen göstergeler arasından seçim yapmak güvenilirliği zayıflatır. Ana ve koruyucu ölçütleri önceden belirleyin. Keşif bulgularını doğrulanmış sonuçlardan ayırın.
- Anlamlı farkı otomatik uygulama kararı saymak
Etki küçük, maliyet yüksek veya yan sonuçlar olumsuz olabilir. Belirsizlik aralığını ve ekonomik karşılığı inceleyin. Uygulama kararını deney sonucuyla işletme koşullarını birlikte değerlendirerek verin.
Mini uygulama/şablon
Deney başlamadan önce aşağıdaki alanları doldurun.
- Problem
- Hangi müşteri engeli araştırıldı?
- Hipotez
- Değişiklik hangi davranışı neden etkileyecek?
- Kontrol ve değişiklik
- İki grup tam olarak ne görecek?
- Atama
- Hangi birim rastgele dağıtılacak?
- Ana ölçüt
- Karar hangi sonuç üzerinden verilecek?
- Koruyucu ölçüt
- Hangi zararlar kontrol edilecek?
- Veri kontrolü
- Atama ve kayıt doğruluğu nasıl doğrulanacak?
- Örneklem ve süre
- Hangi etkiyi ayırt etmek hedefleniyor?
- Karar yöntemi
- Sonuç ne zaman ve nasıl değerlendirilecek?
- Öğrenme kaydı
- Bulgular ve sonraki karar nerede tutulacak?
İlgili terimler
Hipotez, Kontrol Grubu, Rastgele Atama, İstatistiksel Anlamlılık, Güven Aralığı, İstatistiksel Güç, Koruyucu Metrikler, CRO, Artımlılık, Kullanıcı Araştırması