30 saniyede özet
Artımlılık, bir pazarlama faaliyeti yapılmasaydı oluşmayacak ek sonucu ifade eder. Reklamdan sonra gerçekleşen her satın alma, reklamın yarattığı bir satın alma değildir. Müşteri zaten ürünü alacak olabilir. Artımlılık analizi, faaliyetin uygulandığı koşullarla uygulanmadığı veya farklı düzeyde uygulandığı koşulları karşılaştırarak ek etkiyi tahmin eder. Bu nedenle kampanya raporunda görünen dönüşüm sayısıyla aynı şey değildir. Yönetim açısından amacı, bütçenin mevcut talebi yakalamaya mı yoksa gerçekten ek değer yaratmaya mı katkı sağladığını anlamaktır. Sonuç, yalnızca test edilen hedef kitle, yatırım düzeyi ve dönem bağlamında yorumlanmalıdır.
Neden önemli?
Bir müşteri markanın adını arayıp reklama tıklıyor ve satın alıyor. Rapor, siparişi arama reklamına yazıyor. Ancak reklam gösterilmeseydi aynı müşteri organik arama sonucuna tıklayarak da satın alabilir miydi? Bu soru cevaplanmadan kampanyanın gerçek katkısı bilinemez.
Tersi de mümkündür. Müşteri bir görüntülü reklamla markayı tanıyıp daha sonra doğrudan siteye girerek alışveriş yapabilir. Son temas üzerinden hazırlanan rapor, ilk reklamın katkısını yeterince göstermeyebilir. Artımlılık, kanalları yalnızca raporda aldıkları payla değerlendirmeyi sorgular.
Yönetici için mesele, pazarlama bütçesinin şirkete ne kazandırdığıdır. Ek gelir yaratılması da tek başına yeterli değildir; indirimler, ürün maliyeti ve reklam harcaması birlikte düşünüldüğünde yatırım ekonomik olarak anlamlı olmayabilir. İş analisti bu noktada ölçüm sorusunu ticari karara bağlar: Kampanya devam mı etmeli, bütçe mi değişmeli, yoksa hedef kitle mi yeniden seçilmeli?
Terim nedir?
Artımlılığın merkezinde karşı-olgusal durum bulunur: Faaliyet uygulanmasaydı ortaya çıkması beklenen sonuç. Aynı müşteriyi aynı anda hem reklam gösterilmiş hem gösterilmemiş koşulda gözlemleyemediğimiz için uygun bir karşılaştırma tasarımı gerekir.
Kullanıcı bazlı bir deneyde uygun kişiler rastgele deney ve kontrol gruplarına atanabilir. Deney grubunda incelenen kampanya uygulanır; kontrol grubu bu kampanyadan uzak tutulur. Holdout, yani uygulamanın bilinçli olarak dışında bırakılan grup, bu karşılaştırmayı sağlar. Kontrol grubuna diğer pazarlama faaliyetlerinin uygulanması mümkün olduğundan, hangi kampanyanın dışarıda bırakıldığı açıkça belirtilmelidir.
Grupların büyüklükleri farklıysa ham satın alma sayılarını doğrudan çıkarmak doğru değildir. Karşılaştırma, grup büyüklüklerine göre ölçeklenmeli ve seçilen deney yöntemine uygun yapılmalıdır. Basit bir tasarımda satın alma oranları arasındaki fark, ek etkiyi değerlendirmeye yardımcı olur. Ayrıca yalnızca reklamı gerçekten görenlerle görmeyenleri sonradan karşılaştırmak, başlangıçtaki rastgele atamanın sağladığı karşılaştırılabilirliği bozabilir.
Coğrafi deneylerde karşılaştırma birimi kişiler yerine bölgelerdir. Bazı bölgelerde reklam başlatılabilir, durdurulabilir veya harcama artırılabilir. Dolayısıyla “kampanyanın varlığı” ile “kampanyaya ek bütçe verilmesi” farklı sorulardır. Testin tasarımı, yönetimin cevap aradığı soruyla eşleşmelidir.
Artımlı ROAS, reklam harcamasının yarattığı ek gelirin ilgili harcamaya oranıdır. ROAS, reklam harcamasının getirisini ifade eder; artımlı hesaplama, reklam olmadan da gerçekleşmesi beklenen geliri ayırmayı amaçlar. Harcama artışı testinde paydada da aynı artışın maliyeti kullanılmalıdır. Bu oran doğrudan kâr oranı değildir.
Kaynak: Google Ads Yardım, “Understand your Conversion Lift based on users measurement data”.
Gerçek vaka: HomeAway’in görüntülü reklam yatırımını test etmesi
Google’ın 2015 tarihli HomeAway vakası, tatil evi ilan platformunun daha fazla ev sahibi kaydı oluşturmak için görüntülü reklam yatırımlarını değerlendirdiğini anlatıyor. Şirket, dönüşümün tamamını son tıklamaya yazan atıflandırmanın bu reklamların katkısını eksik gösterdiğinden şüpheleniyordu.
HomeAway ve Google, reklam harcamasındaki artışın etkisini ölçmek için bölgelerin rastgele deney ve kontrol koşullarına ayrıldığı bir çalışma yürüttü. Vaka belgesine göre deney dört hafta sürdü. İncelenen sonuç, doğrudan reklam tıklamalarıyla sınırlı tutulmadı; ek ev sahibi edinimi ve arama üzerinden gelen trafik de değerlendirildi.
Belgede, deneyle hesaplanan ek edinim başına maliyetin son tıklama ölçümünün gösterdiğinden yüzde 51 daha düşük olduğu aktarılıyor. HomeAway, yeni ölçümü sonraki bütçe ve teklif kararlarına taşıdı.
Vakanın gösterdiği nokta, raporda düşük katkı alan bir kanalın mutlaka etkisiz olmayabileceğidir. Ancak burada ölçülen etki, belirli koşullardaki reklam harcaması artışına ilişkindir. Bulguyu bütün görüntülü reklam yatırımlarının veya başka şirketlerin değişmez performansı gibi yorumlamak doğru olmaz.
Varsayımsal örnek: Sepetini terk eden müşterilere yeniden reklam gösterilmesi
Bir ev tekstili markası, sepete ürün ekleyip satın almayan ziyaretçilere yeniden reklam gösteriyor. Pazarlama raporları bu kampanyaya çok sayıda sipariş yazıyor. Finans ekibi ise müşterilerin bir bölümünün zaten geri dönerek alışveriş yapacağını düşünüyor.
İş analisti karar sorusunu netleştiriyor: Yeniden hedefleme kampanyasını sürdürmek, mevcut koşullarda ek ve ekonomik olarak anlamlı satın alma yaratıyor mu? Yeniden hedefleme, markayla daha önce etkileşmiş kişilere reklam gösterilmesidir.
Uygun ziyaretçiler rastgele iki gruba ayrılıyor. Deney grubuna mevcut kampanya uygulanırken kontrol grubu kampanyadan çıkarılıyor. E-posta teklifleri ve diğer reklam faaliyetlerinin iki grupta karşılaştırılabilir olması sağlanıyor. Sonuçlar yalnızca reklama tıklayanların siparişleri üzerinden değil, atanmış grupların toplam satın almaları üzerinden inceleniyor.
Ekip, sipariş sayısıyla birlikte net geliri, iadeleri ve ürün marjını izliyor. Satın alma farkı bulunsa bile bu farkın reklam maliyetini karşılayıp karşılamadığı ayrıca değerlendiriliyor. Sonuç belirsizse kampanya hemen başarılı veya başarısız ilan edilmiyor; deneyin yeterli bilgi üretip üretmediği inceleniyor. Yönetim kararı, testin ölçebildiği etkiyle sınırlı tutuluyor.
Yaygın üç hata
- Reklamı görenlerle görmeyenleri kendiliğinden eşdeğer saymak
Reklam sistemleri satın almaya daha yatkın kişilere daha çok erişebilir. Bu nedenle gözlenen satış farkı, reklam etkisiyle başlangıçtaki müşteri farkını birlikte içerebilir. Karşılaştırılabilirlik, sonradan yapılan bir varsayım yerine deney tasarımında kurulmalıdır.
- Belirsiz sonucu etkisizlik kanıtı saymak
Küçük örneklem veya kısa takip süresi, anlamlı bir etkiyi ayırt etmeyi zorlaştırabilir. İstatistiksel güç, deneyin belirli büyüklükteki gerçek bir etkiyi saptayabilme olasılığıdır. Örneklem ve süre planı, iş açısından karar değiştirecek etki büyüklüğüne göre hazırlanmalıdır. Planlanmamış erken durdurma, sonuçları yanıltabilir.
- Tek test sonucunu bütün bütçeye genellemek
Bir hedef kitledeki sonuç, başka bir müşteri grubuna veya çok daha yüksek harcamaya taşınamayabilir. Ayrıca kanal kapatıldığında satış başka bir kanala kayabilir. Bu nedenle ölçüm kapsamı, toplam iş sonucu ve diğer kanallardaki değişimler birlikte incelenmelidir.
Mini uygulama: Artımlılık testi karar kartı
Deneyi başlatmadan önce aşağıdaki alanları pazarlama, finans ve analitik ekipleriyle doldurun:
- Karar
- Test sonunda hangi bütçe veya kampanya kararı verilecek?
- Müdahale
- Kampanya açılacak mı, kapatılacak mı, yatırım düzeyi mi değişecek?
- Hedef kitle
- Kimler veya hangi bölgeler teste uygun?
- Atama
- Deney ve kontrol koşulları nasıl oluşturulacak?
- Ana ölçüt
- Satın alma, net gelir veya başka hangi iş sonucu izlenecek?
- Ek ölçütler
- İade, marj ve diğer kanal sonuçları nasıl takip edilecek?
- Plan
- Süre, örneklem ve karar değiştirecek etki büyüklüğü nedir?
- Kontrol
- Gruplar arası reklam sızıntısı ve uygulama hataları nasıl izlenecek?
- Karar kuralı
- Hangi sonuçta devam, değişiklik veya yeni test önerilecek?
Sonuç raporunda tahmini etkinin yanında belirsizliği, uygulama sorunlarını ve kapsamı gösterin. Raporu yalnızca “kampanya işe yaradı” cümlesiyle bitirmeyin; bulgunun hangi kararı desteklediğini ve uygulama sonrasında neyin takip edileceğini açıkça yazın.
İlgili terimler
Pazarlama Atıflandırması, ROAS, Artımlı ROAS, Holdout, Kontrol Grubu, Rastgele Atama, Geo-Lift, Conversion Lift, İstatistiksel Güç, Yeniden Hedefleme, Marketing Mix Modeling