30 saniyelik özet

Output, üretilen çıktı; outcome, bu çıktının kullanımında ortaya çıkan sonuçtur. Yeni bir ekran, entegrasyon veya rapor çıktıdır. Kullanıcının bir işi daha az hatayla tamamlayabilmesi ise sonuç olarak değerlendirilebilir. Bu ayrım, ürün çalışmasını teslim edilen maddelerin ötesinde incelemeyi sağlar. Product Owner, yani ürün sahibi, hangi kullanıcı için neyin değişmesini beklediğini geliştirmeden önce açıklamalıdır. Ardından çıktının tamamlanmasını ve beklenen sonucun oluşmasını ayrı izlemelidir. Sonuç iyileşse bile bunun yeni özellikten kaynaklandığı hemen söylenemez. Kullanıcı grubundaki değişimler, kampanyalar veya başka süreç iyileştirmeleri de etkili olabilir. İyi değerlendirme, teslimatı, gözlenen sonucu ve bu sonucun olası nedenlerini birlikte ele alır.

Neden önemli?

Bir ekip planlanan raporlama ekranını zamanında tamamlıyor. Testler geçiyor, ekran kullanıma açılıyor ve teslimat kaydı kapanıyor. Buna rağmen operasyon yöneticileri haftalık raporu hazırlamak için destek ekibinden yardım istemeye devam ediyor. Ekran mevcut; fakat rapor hazırlama işi hâlâ beklenen biçimde yapılamıyor.

Bu durumda iki ayrı değerlendirme gerekir. Ekip üzerinde anlaşılan çıktıyı üretti mi? Kullanıcı için hedeflenen değişim oluştu mu? İlk soruya olumlu cevap verilmesi, ikinci sorunun da olumlu cevaplandığı anlamına gelmez. Kullanıcı ihtiyacı eksik anlaşılmış, veri yetersiz kalmış veya çözüm günlük çalışma biçimine uymamış olabilir.

Yönetim açısından bu ayrım, yatırımın sonucunu görmeyi kolaylaştırır. Tamamlanan işler kapasitenin nerede kullanıldığını gösterir. Kaynakların doğru probleme ayrılıp ayrılmadığını anlamak için kullanıcıdaki değişim de incelenmelidir. Beklenen fayda oluşmadığında daha fazla özellik geliştirmek yerine sorunun nedenini araştırmak gerekebilir.

Çıktıları izlemek yine de önemlidir. Çalışan bir çözümün üretilip üretilmediği, kalite koşullarının karşılanıp karşılanmadığı ve teslimatın hangi bağımlılıklardan etkilendiği bilinmelidir. Sonuç odaklı çalışmak bu bilgileri ortadan kaldırmaz. Teslimatın kalitesiyle ürünün yarattığı fayda, birbirini tamamlayan değerlendirme alanlarıdır.

Terim nedir?

Scrum.org’un Evidence-Based Management Guide adlı kanıta dayalı yönetim rehberi, output’u kurumun ürettiği şeyler olarak tanımlar. Ürün sürümleri, özellikler ve raporlar buna örnektir. Outcome ise müşterinin veya kullanıcının deneyimlediği yeni ya da gelişmiş yeteneklerle ilişkilidir. Daha önce yapamadığı bir işi yapabilmesi veya aynı işi daha iyi koşullarda tamamlayabilmesi bu kapsama girer.

Rehber ayrıca impact, yani etki kavramını ayırır. Kullanıcının elde ettiği sonuçlarla ilişkili olarak kurumun gelir, kârlılık veya pazar payı gibi alanlarda ulaştığı sonuçlar bu düzeyde değerlendirilir. Günlük ürün konuşmalarında outcome sözcüğü iş sonuçlarını da kapsayacak biçimde kullanılabilir. Ölçüm planında hangi anlamın kullanıldığı açıklanmalıdır.

Kavramsal kaynak: Scrum.org, The Evidence-Based Management Guide, Mayıs 2024.

Bu ayrımı bir örnekle düşünelim. Teklif karşılaştırma ekranı çıktı olabilir. Satın alma uzmanının teklifleri tekrar veri girmeden karşılaştırabilmesi kullanıcı sonucudur. Bunun operasyon maliyetine veya satın alma kararlarının kalitesine yansıması ayrıca incelenecek iş etkisidir. Her aşama bir sonrakini garanti etmez.

Bir göstergenin artması da kendi başına olumlu sonuç sayılmaz. Uygulamada geçirilen süre artıyorsa kullanıcı daha çok değer elde ediyor olabilir; aynı işi bitirmekte zorlanıyor da olabilir. Göstergenin anlamı, hangi görevle ve hangi beklentiyle ilişkilendirildiğine bağlıdır.

Gerçek vaka: ING’de müşteri etkisinin değerlendirilmesi

McKinsey’nin 10 Ocak 2017 tarihli röportajında ING Netherlands yöneticileri Peter Jacobs ve Bart Schlatmann, bankanın çevik dönüşümünü anlatıyor. Schlatmann’a göre küçük, farklı uzmanlıklardan oluşan ekipler önce çalışma amaçlarını yazıyor, ardından müşteriler üzerindeki etkilerini nasıl ölçeceklerini belirliyor.

Birden fazla ekibi bir araya getiren gruplar, çeyreklik iş değerlendirmelerinde önceki dönemde ne başardıklarını, ne öğrendiklerini ve sonraki dönemde neyi hedeflediklerini paylaşıyor. Diğer ekiplerle ihtiyaç duyulan bağlantılar da bu değerlendirmeye dahil ediliyor.

Yöneticiler, yazılım sürümlerinin daha sık yayımlandığını ve müşteri memnuniyetiyle çalışan bağlılığında ilerleme bulunduğunu bildiriyor. Sürüm sıklığı teslimatın işleyişiyle; müşteri memnuniyeti ise müşterinin deneyimiyle ilgili farklı bilgiler sağlar. Bu verilerin birlikte anılması, aralarında tek başına nedensellik kanıtı oluşturmaz.

Vakadan çıkarılabilecek ders, değerlendirme görüşmelerinin tamamlanan işlerle sınırlı kalmamasıdır. Müşteri etkisi ve öğrenilenler de konuşulduğunda sonraki yatırım kararı için daha geniş bir bilgi zemini oluşur. Röportaj, belirli bir özelliğin belirli bir müşteri sonucunu ne ölçüde değiştirdiğini ayrıştıran bir deney sunmuyor.

Kaynak: McKinsey, ING’s agile transformation, 10 Ocak 2017; Bart Schlatmann ve Peter Jacobs röportajı.

Varsayımsal örnek: Kaydedilen ürünlerden alışverişe dönüş

Bir e-ticaret ekibi, ziyaretçilerin karşılaştırdıkları ürünleri daha sonra bulmakta zorlandığını düşünüyor. Önerilen çıktı, ürünleri kaydetme özelliği. Beklenen kullanıcı sonucu ise ziyaretçinin ilgilendiği ürünleri tekrar aramadan bulabilmesi ve kararını sürdürebilmesi.

Ürün sahibi, özelliğin kullanım sayısını teslimattan sonra izlenecek göstergeler arasına koyuyor. Ancak kaydetme düğmesine basılmasını nihai başarı saymıyor. Kaydedilen ürünlere geri erişim, karşılaştırmanın tamamlanması ve alışveriş sürecinin ilerlemesi ayrıca incelenecek.

Başlangıç verisi ve kullanıcı araştırması görülmeden bir artış hedefi yazılmıyor. Ölçüm için hangi ziyaretçilerin kapsama gireceği, geri dönüşün nasıl tanımlanacağı ve inceleme dönemi önceden belirleniyor. Bildirim de denenecekse kullanıcıların rahatsız olması ve bildirimleri kapatması gibi olumsuz sonuçlar izlenecek.

Özellik yayımlandıktan sonra satın alma artmış olsun. Aynı dönemde indirim kampanyası da yürütülüyorsa bu artışın tamamı kaydetme özelliğine bağlanamaz. Koşullar uygunsa rastgele oluşturulan karşılaştırma gruplarıyla kontrollü bir deney yapılabilir. Deney mümkün değilse gözlenen ilişkinin sınırı açıklanır; etkiden eminmiş gibi konuşulmaz.

Kaydetme kullanıldığı hâlde kullanıcılar ürünlerini bulamıyorsa çözüm gözden geçirilir. Kullanıcılar ürünleri buluyor fakat kararlarını sürdüremiyorsa başka bir ihtiyaç söz konusu olabilir. Ekip, sadece kullanım sayısını yükseltmeye çalışmak yerine beklenen sonucun hangi aşamada oluşmadığını araştırır.

Yaygın üç hata

  1. Tamamlanan madde sayısını müşteri değeri saymak

Daha fazla madde tamamlanması, işlerin büyüklüğünden veya parçalanma biçiminden etkilenebilir. Çıktı miktarını kullanıcı faydasıyla eşitlemeyin. Her önemli girişimde hangi görevin veya deneyimin değişmesini beklediğinizi yazın ve buna uygun kanıt arayın.

  1. Gösterge değişimini doğrudan özelliğe bağlamak

Önceki ve sonraki dönemi karşılaştırmak yararlıdır; ancak kullanıcı profili, mevsimsellik veya eşzamanlı çalışmalar sonucu etkileyebilir. Alternatif açıklamaları inceleyin. Ölçümün gösterdiği ilişkiyle kanıtlayabildiği etkiyi ayırın.

  1. Sonuç hedefini ekibin koşulsuz taahhüdü yapmak

Ekip sonucu etkilemeye çalışabilir; bütün nedenleri kontrol edemeyebilir. Hedefi öğrenme ve karar verme amacıyla kullanın. Beklenen sonuç oluşmadığında sadece performans baskısını artırmak yerine varsayımı, çözümü ve dış koşulları değerlendirin.

Mini uygulama / şablon

Yaklaşan bir teslimat için aşağıdaki alanları doldurun.

Hedef kullanıcı grubu
—
Mevcut problem ve kanıtı
—
Planlanan çıktı
—
Beklenen kullanıcı sonucu
—
Beklenen iş etkisi
—
Çıktı ile sonuç arasındaki varsayım
—
Başlangıç durumu ve veri kaynağı
—
Ölçümün kapsamı ve zamanı
—
Korunması gereken kalite koşulları
—
Olumsuz sonuç göstergeleri
—
Sonucu etkileyebilecek diğer değişimler
—
Etkisini incelemek için kullanılacak yöntem
—
Sonuç yetersizse alınacak sonraki karar
—

Değerlendirme sırasında önce çıktının çalıştığını ve ölçümün güvenilir olduğunu kontrol edin. Ardından kullanıcıda ne değiştiğini inceleyin. Kanıt zayıfsa belirsizliği kaydedin. Devam etme, çözümü değiştirme veya işi durdurma kararını elde edilen bilgiyle ilişkilendirin.

İlgili terimler

Product Goal, Business Objective, KPI ve Metrics, North Star Metric, Hypothesis, A/B Testing, Product Discovery, Benefits Realization Management, Product Backlog, Activation ve Aha Moment, Funnel Analysis, Return on Investment