A/B Testi ve Kontrollü Deney — A/B Testing

30 sn özet

A/B testi, bir değişikliğin belirli bir sonucu nasıl etkilediğini araştırmak için uygun katılımcıların rastgele farklı deneyimlere atandığı kontrollü deneydir. Kontrol grubu mevcut deneyimi, deney grubu değiştirilen sürümü görür. Hipotez, ana başarı ölçütü, olumsuz etkileri izleyen ölçütler ve analiz yöntemi başlangıçta belirlenir. Rastgele atama, grupların karşılaştırılabilir olmasına yardımcı olur. Amaç, değişiklik sonrasında görülen artışı doğrudan başarı saymak yerine değişikliğin katkısını değerlendirmektir. Karar verilirken verinin güvenilirliği, etkinin büyüklüğü ve müşteri açısından sonuçları birlikte incelenir.

Neden önemli?

Bir ürün değişikliği yayımlandıktan sonra kayıtlar artabilir. Ancak aynı dönemde reklam kampanyası başlamış, müşteri kitlesi değişmiş veya mevsimsel talep yükselmiş olabilir. Öncesiyle sonrasını karşılaştırmak, artışın hangi etkenden kaynaklandığını her zaman açıklamaz.

Kontrollü deney, aynı dönemde farklı deneyimler sunarak bu belirsizliği azaltır. Rastgele atama ve doğru uygulama, gruplar arasındaki sistematik farkları azaltmaya yardımcı olur. Böylece ürün kararının etkisini araştırmak için daha sağlam bir karşılaştırma yapılabilir.

Yönetici açısından değer, kaynakların hangi değişikliklere ayrılacağını daha güçlü kanıtla değerlendirmektir. Kullanımı artıran bir özellik, destek yükünü veya müşteri hatalarını da artırabilir. Sadece olumlu göstergeden hareket etmek, toplam etkiyi gözden kaçırabilir. Beklenen fayda, maliyet ve olumsuz sonuçlar birlikte tartışılmalıdır.

Junior bir iş analisti veya ürün sahibi açısından deney, gereksinimlerle beklenen sonuç arasındaki bağlantıyı netleştirir. Yeni bir ekranın neden geliştirileceği, kullanıcının hangi davranışının değişmesi beklendiği ve bunun nasıl ölçüleceği yazılır. Böylece teslim edilen işin tamamlanmasıyla ürün sonucunun gerçekleşmesi ayrı izlenebilir.

Terim nedir?

A/B testinde hipotez, belirli bir değişikliğin belirli kullanıcı grubunda hangi sonucu ve hangi gerekçeyle etkileyeceğini ifade eder. “Yeni tasarım daha iyi” fazla geniştir. “Kurulumda örnek çalışma alanı göstermek, yeni müşterilerin kendi veri kaynağını bağlamasını kolaylaştırır” daha araştırılabilir bir başlangıçtır.

Atama birimi, hangi varlığın kontrol veya deney grubuna yerleştirileceğidir. Kullanıcı, hesap veya kuruluş seçilebilir. Aynı kuruluşun çalışanları birbirini etkiliyorsa onları farklı gruplara ayırmak karşılaştırmayı bozabilir. Deney tasarımı, bu etkileşimleri ve kullanıcının farklı cihazlarda aynı deneyimi görmesini dikkate almalıdır.

Ana başarı ölçütü, hipotezin hedeflediği sonucu temsil eder. Ekrana tıklamakla temel faydayı elde etmek aynı şey değildir. Ölçütün kimler için, hangi zaman aralığında ve nasıl hesaplanacağı açık olmalıdır. Kayıtların doğru üretilip üretilmediği de kontrol edilmelidir.

Koruma ölçütleri, değişikliğin istenmeyen etkilerini izlemek için kullanılır. Hata, destek talebi veya işlemden vazgeçme gibi göstergeler bağlama göre seçilebilir. Ana sonuç iyileşirken ciddi bir olumsuz etki oluşuyorsa değişikliğin genel kullanıma açılması yeniden değerlendirilmelidir.

Örneklem, deneye katılan gözlem grubudur. Gerekli büyüklük; mevcut sonuç düzeyi, saptanmak istenen etki ve seçilen istatistiksel yönteme bağlıdır. Süre belirlenirken yeterli katılımcıya ulaşmanın yanında hafta içi ve hafta sonu gibi kullanım farklılıkları da dikkate alınabilir. Her ürün için geçerli sabit bir test süresi yoktur.

İstatistiksel anlamlılık, gözlenen farkın seçilen model altında rastlantısal değişkenlikle açıklanmasına ilişkin değerlendirmedir. Büyük veya değerli bir iş sonucu anlamına gelmez. Küçük bir fark yüksek örneklemle anlamlı bulunabilir. Etki büyüklüğü ve belirsizlik aralığı, kararın pratik değerini değerlendirmek için önemlidir.

Testi sonlandırma kuralı önceden belirlenmelidir. Sabit süre veya örneklemle planlanan analizde sonuçlara tekrar tekrar bakıp ilk olumlu anda durmak yanlış olumlu sonuç riskini artırabilir. Sürekli değerlendirmeye uygun ardışık yöntemler kullanılabilir; ancak bunun analiz tasarımında ele alınması gerekir.

Sonuç belirsizse “etki yok” demek için acele edilmemelidir. Veri, önemli bir iyileşmeyi veya kötüleşmeyi ayırt etmekte yetersiz olabilir. Ayrıca birden fazla ölçüt ve alt grup incelendiğinde tesadüfî olumlu bulguların riski dikkate alınmalıdır. Başlangıç hipoteziyle sonradan keşfedilen sorular ayrı değerlendirilir.

Gerçek vaka: Netflix’in içerik görsellerini deneylerle değerlendirmesi

Netflix’in 29 Nisan 2016 tarihli “It’s All A/Bout Testing” yazısı, ürün değişikliklerinin değerlendirilmesinde deney platformunun rolünü anlatır. İçeriklerle ilişkilendirilen görsellerin de A/B testleriyle karşılaştırıldığını belirtir. Bazı içeriklerde görsel seçiminin izlenmeyi yüzde 20–30 artırabildiğini aktarır.

Bu rakam, bütün içerikler için beklenen veya garanti edilen sonuç değildir. Kaynak, belirli denemelerde görülen etkiyi örnek olarak sunar. Ayrıca platformun işleyişini açıklamak için verdiği ayrıntılı görsel seçimi akışı varsayımsal bir test senaryosudur; burada ayrı bir gerçekleşmiş deney olarak anlatılmıyor.

Yayın, kontrol grubuyla alternatif deneyimlerin karşılaştırıldığını ve izleme süresi veya müşterinin hizmeti kullanmayı sürdürmesi gibi ölçütlerin takip edilebildiğini açıklar. Böylece görsel tercihi, yalnızca ekip üyelerinin estetik değerlendirmesine bırakılmamış olur.

Vakadan çıkarılabilecek ders, görünürde küçük bir tasarım kararının kullanıcı davranışını etkileyebileceğidir. Bununla birlikte tek bir içeriğe ilişkin izleme artışı, bütün hizmetin uzun vadeli müşteri değerini tek başına kanıtlamaz. Karar için uygun sonuçların ve olası yan etkilerin birlikte değerlendirilmesi gerekir.

Kaynak: Netflix TechBlog, “It’s All A/Bout Testing: The Netflix Experimentation Platform”, 29 Nisan 2016.

Varsayımsal örnek: Kurulumda örnek çalışma alanı

Şirketlere analiz yazılımı sunan bir ekip, yeni müşterilerin boş hesapla karşılaşınca ürünü anlamakta zorlandığını düşünüyor olsun. Hipotez, açıkça örnek olarak etiketlenmiş bir çalışma alanının gerçek veri bağlantısını kolaylaştıracağıdır.

Uygun yeni kuruluşlar rastgele kontrol veya deney grubuna atanır. Kontrol grubu mevcut kurulumu, deney grubu örnek çalışma alanını görür. Kuruluş düzeyinde atama, aynı ekipteki çalışanların birbirinin deneyimini etkilemesi olasılığı dikkate alınarak seçilir.

Ana ölçüt, önceden belirlenmiş değerlendirme döneminde ilk gerçek veri kaynağını bağlayan kuruluşların oranıdır. Örnek ekranla etkileşim, yardımcı bir gözlem olarak kullanılabilir. Bağlantı hataları, destek ihtiyacı ve örnek verinin gerçek veri sanılması koruma ölçütleri arasında değerlendirilir.

Örneklem ve analiz planı deney başlamadan hazırlanır. Atama dağılımı, deneyimin gerçekten gösterilmesi ve olay kayıtlarının doğruluğu kontrol edilir. Gruplar arasında beklenmedik bir dağılım farkı varsa sonuç yorumlanmadan önce bunun nedeni araştırılır.

Örnek alan daha fazla tıklama getirse de gerçek veri bağlantısı iyileşmiyorsa hipotez desteklenmiş sayılmaz. Bağlantı artarken önemli hatalar oluşuyorsa çözüm gözden geçirilir. Sonuçların belirsiz olması durumunda hangi ek bilginin gerekli olduğu değerlendirilir. Bu örnek için herhangi bir sonuç oranı veya başarı iddiası varsayılmamıştır.

Yaygın 3 hata

Öncesi-sonrası farkını doğrudan değişikliğe bağlamak

Talep, trafik veya müşteri yapısı aynı dönemde değişmiş olabilir. Uygun olduğunda eşzamanlı kontrol grubu kullanın. Rastgele atamanın ve ölçümün doğru çalıştığını kontrol edin.

İlk olumlu sonuçta testi bitirmek

Başlangıçta seçilmiş yönteme uygun sonlandırma kuralı gerekir. Sürekli analiz yapılacaksa buna uygun istatistiksel yaklaşım planlayın. Operasyonel hata takibini başarı kararıyla karıştırmayın.

Anlamlı farkı otomatik yayın kararı saymak

Etkinin büyüklüğünü, belirsizliğini ve koruma ölçütlerini inceleyin. Geliştirme ve işletme maliyetini de değerlendirin. Kullanıcı açısından önemli bir zarar varsa ana ölçütteki artış yeterli olmayabilir.

Mini uygulama/şablon

Bir deney planı için şu alanları doldurun:

Hipotez: Hangi değişiklik, hangi sonucu, neden etkilesin?
Katılımcı: Kimler deneye uygun?
Atama birimi: Kullanıcı, hesap veya kuruluş mu?
Deneyimler: Kontrol ve deney grubu ne görecek?
Ana ölçüt: Hangi sonuç, hangi dönem için hesaplanacak?
Koruma ölçütleri: Hangi olumsuz etkiler izlenecek?
Analiz ve bitirme: Örneklem ve karar kuralı nasıl belirlenecek?
Veri kontrolü: Atama ve kayıtların doğruluğu nasıl incelenecek?
Karar: Hangi bulguda yayımlayacak, değiştirecek veya ek araştırma yapacağız?

Sonuç raporunda etkiyi, belirsizliği ve sınırlamaları birlikte yazın. Başlangıç hipoteziyle sonradan ortaya çıkan araştırma sorularını ayırın.

İlgili terimler

Hipotez, Deney Tasarımı, Rastgele Atama, Kontrol Grubu, İstatistiksel Anlamlılık, Etki Büyüklüğü, Güven Aralığı, Aktivasyon, Koruma Metrikleri, Ürün Keşfi