30 saniyelik özet
Metric, yani ölçüm göstergesi, bir olayın veya performansın tanımlanmış biçimde sayısallaştırılmasıdır. KPI, açılımıyla Key Performance Indicator, önemli bir iş hedefini izlemek için seçilen temel performans göstergesidir. Her ölçüm KPI değildir. Kayıt sayısı, kullanım sıklığı veya işlem süresi ancak hangi kararı desteklediği bilindiğinde anlam kazanır. İyi bir gösterge; açık tanım, güvenilir veri, karşılaştırma zemini ve karar sahibi gerektirir. İş analistinin katkısı, sayıyı üretmenin yanında neyi temsil ettiğini, hangi koşullarda yanıltabileceğini ve sonuç değiştiğinde ne yapılacağını açıklamaktır.
Neden önemli?
Bir ürünün yeni hesap sayısı artıyor olabilir. Yönetim bunu büyüme olarak yorumlarken müşteri başarı ekibi yeni hesapların üründen fayda sağlayamadığını gözlüyor olabilir. Kayıtlar artmış, fakat kurulumu tamamlayan ve ürünü kullanmaya devam eden müşteri sayısı aynı kalmışsa ilk gösterge hedefin yalnızca bir bölümünü anlatır.
Benzer sorun operasyonlarda da görülür. Destek taleplerini daha hızlı kapatmak olumlu görünebilir; ancak çözülemeyen talepler yeniden açılıyorsa kapanış hızı gerçek hizmet kalitesini gizleyebilir. Bir göstergenin iyileşmesi, ona bağlı iş sonucunun mutlaka iyileştiğini kanıtlamaz. İnsanlar hedeflenen sayıyı yükseltirken başka bir sonucu bozabilir.
Üst düzey yönetim için göstergelerin değeri, kaynak tahsisi ve müdahale kararlarını desteklemesidir. Hangi müşteri grubuna yatırım yapılacak, hangi süreç incelenecek veya hangi ürün değişikliği sürdürülecek? Bu sorulara katkı sunmayan bir rapor, çok sayıda ölçüm içerse bile karar vermeyi kolaylaştırmayabilir. Göstergenin sahibi, sayıyı izleyen kişi kadar sonuç üzerine aksiyon alabilen kişi de olmalıdır.
Terim nedir?
KPI, belirli bir hedefin performansını izlemek için seçilir. Bu seçim hedef, dönem ve kapsamla birlikte yapılır. Aynı ölçüm bir ekip için temel gösterge, başka bir ekip için yardımcı bilgi olabilir. Örneğin hizmetin kullanılabilirliği, kesintisiz çalışmanın temel olduğu bir süreçte doğrudan kritik sonuçla ilişkilidir.
Leading indicator, yani öncü gösterge, gelecekteki sonuca ilişkin erken bilgi sağlayabilir. Lagging indicator, yani sonuç göstergesi, gerçekleşmiş durumu izler. Ürün kurulumunun tamamlanması ileride kullanım devamlılığı hakkında ipucu verebilir; fakat bu ilişki doğrulanmadan kurulumun müşteri elde tutmayı garanti ettiği söylenemez. Bir ölçümün öncü olması, her koşulda güvenilir tahmin ürettiği anlamına gelmez.
Koruyucu göstergeler, hedef ölçüm iyileşirken zarar görmesini istemediğimiz sonuçları takip eder. Destek kapanış süresini azaltırken yeniden açılan talepleri izlemek buna örnektir. Vanity metric, yani gösteriş ölçümü, olumlu görünmesine rağmen karar veya değer hakkında yetersiz bilgi veren ölçümdür. Sorun yalnızca ölçümün toplam olması değildir; bağlamından koparılarak başarı kanıtı gibi sunulmasıdır.
Bir göstergenin tanımı, adından daha ayrıntılı olmalıdır. Oran hesaplanıyorsa pay ve payda, hangi kayıtların dahil edildiği ve hangi dönemin kullanıldığı açıklanır. İptal edilmiş hesapların dahil edilmesi, deneme kullanıcılarının ayrılması veya olay zamanının farklı alınması sonucu değiştirebilir. Ekipler aynı adı kullanıp farklı hesaplar yapıyorsa ortak performans değerlendirmesi mümkün olmaz.
Kohort, ortak başlangıç olayı veya dönemi üzerinden izlenen gruptur. Aynı dönemde ürüne başlayan hesapları birlikte değerlendirmek, eski kullanıcılarla yeni kullanıcıları karıştırmayı azaltabilir. Segment ise şirket büyüklüğü veya kullanım amacı gibi anlamlı bir özelliğe göre ayrılan gruptur. İkisi birlikte kullanılabilir; fakat çok küçük gruplardaki değişimler yorumlanırken belirsizlik dikkate alınmalıdır.
Gerçek vaka: Etsy deneylerin birleşik etkisini değerlendiriyor
Etsy’nin 2022 tarihli mühendislik yazısı, farklı ekiplerin aynı kullanıcılar ve ilişkili ürün alanları üzerinde eşzamanlı deneyler yürüttüğünü anlatıyor. Tek tek deney sonuçları, değişiklikler birlikte kullanıldığında oluşacak etkiyi tam olarak göstermeyebilir.
Şirket, birleşik etkiyi değerlendirmek için belirli bir kullanıcı grubunu dönem boyunca deneylerden ayrı tutan bir yaklaşım açıklıyor. Sonraki karşılaştırmada benimsenen değişikliklerin birlikte sunulduğu deneyim, önceki deneyimle karşılaştırılıyor. A/B testi, kullanıcıların rastgele ayrılmış gruplarda farklı deneyimleri görmesi üzerinden etkiyi değerlendiren yöntemdir.
Etsy, bu yaklaşımın koordinasyon, altyapı ve analiz gerektirdiğini; sonuçların farklı dönemlere veya kullanıcı gruplarına genellenmesinin ayrıca sorunlar içerdiğini belirtiyor. Kaynakta verilen bazı görseller açıklama amacıyla kurgulanmış; burada gerçek performans sonuçları olarak aktarılmıyor.
Vakadan çıkarılabilecek ders, ayrı ölçümlerin olumlu görünmesini toplam başarıyla eşitlememektir. KPI değerlendirmesinde değişikliklerin etkileşimi ve ölçüm kapsamı önemlidir. Bu vaka, bütün şirketlerin aynı deney düzenini kurması gerektiğini göstermez; yerel sonuçlarla genel iş etkisi arasındaki farkı görünür kılar.
Varsayımsal örnek: Kurulumdan ilk faydaya geçiş
Bir kurumsal yazılım şirketi yeni müşterilerin kurulumu destek almadan tamamlamasını istiyor. Başlangıçta başarı ölçüsü olarak açılan hesap sayısı öneriliyor. Analist, hedefin kayıt yaratmak mı yoksa müşterinin ilk faydayı elde etmesi mi olduğunu soruyor. İş sahibi ikinci hedefi seçiyor.
Bu varsayımsal üründe ilk fayda, müşterinin kendi verisiyle kullanılabilir bir rapor üretmesi olarak tanımlanıyor. Yalnızca rapor düğmesine basılması yeterli sayılmıyor; gerekli veri bağlantısının kurulması ve raporun ilgili koşulları karşılaması gerekiyor. İlk fayda tanımı, iş kullanıcılarıyla doğrulanıyor.
Ana gösterge, belirlenen gözlem süresinde ilk faydaya ulaşan uygun yeni hesapların oranı oluyor. Süre ve uygun hesap tanımı, mevcut kullanım verisi incelenerek kararlaştırılacak. Henüz kanıt bulunmadığından hedef oran veya başarı artışı uydurulmuyor. Başlangıç değeri, yeni akış kullanılmadan önce aynı hesaplama tanımıyla ölçülüyor.
Kurulum adımlarının tamamlanması yardımcı göstergeler olarak izleniyor. Destek ihtiyacı, yanlış veri yapılandırması ve erken kullanım bırakma ise koruyucu göstergeler arasında değerlendiriliyor. Daha az destek başvurusu her zaman iyileşme sayılmıyor; kullanıcıların yardım yolunu bulamadığı ihtimali de araştırılıyor.
Karşılaştırmada müşterilerin büyüklüğü ve kurulum zorluğu inceleniyor. Yeni dönemde daha kolay kurulan müşterilerin artması, akışın etkisi gibi sunulmuyor. Gözlenen farkın değişiklikten kaynaklandığı konusunda eldeki kanıt sınırlıysa bu sınır açık yazılıyor.
Karar görüşmesinde yalnızca oran paylaşılmıyor. Hangi adımda zorlanıldığı, kimlerin hedef sonuca ulaşamadığı ve destek bulguları da değerlendiriliyor. Gösterge düşükse çözüm otomatik olarak yeni bir özellik eklemek olmuyor; önce veri kalitesi, süreç engeli ve müşteri ihtiyacı ayrıştırılıyor.
Yaygın üç hata
- Hedefi konuşmadan gösterge seçmek
Kolay elde edilen ölçüm, önemli sonucu temsil etmeyebilir. Önce hedefi ve desteklenecek kararı yazın. Ardından ölçümün bu hedefle ilişkisini açıklayın. İlişki varsayımsa bunu kanıtlanmış bağlantı gibi sunmayın.
- Tanımı değiştirip trendi aynıymış gibi göstermek
Payda, kayıt kapsamı veya veri kaynağı değişirse dönemler doğrudan karşılaştırılamayabilir. Tanım sürümünü ve değişiklik tarihini tutun. Mümkünse karşılaştırılabilir geçmişi yeniden hesaplayın; mümkün değilse farkı raporda belirtin.
- Tek göstergeden kesin neden çıkarmak
Bir lansmandan sonra oran yükselmesi, artışın yalnızca lansmandan kaynaklandığını göstermez. Kullanıcı yapısı, dönem ve diğer değişiklikleri inceleyin. Kanıtın desteklediği yorumla henüz açıklanmamış ihtimalleri ayırın. Ölçüm, araştırmayı yönlendirmeli; erken kesinlik üretmemelidir.
Mini uygulama / şablon
Bir gösterge seçin ve aşağıdaki alanları doldurun. Hesaplamayı yapan kişiyle sonucu kullanacak karar sahibinin aynı tanımı anladığını kontrol edin.
- İş hedefi
- —
- Göstergenin adı ve amacı
- —
- Desteklediği karar
- —
- Hesaplama formülü
- —
- Pay, payda ve dahil edilme koşulları
- —
- Gözlem dönemi ve olay zamanı
- —
- Veri kaynağı ve kalite kontrolleri
- —
- Kohort ve segment ayrımları
- —
- Başlangıç değeri ve ölçüm tarihi
- —
- Hedefin dayanağı
- —
- Koruyucu göstergeler
- —
- Sonucu yanıltabilecek etkenler
- —
- Tanım sürümü ve güncelleme sorumlusu
- —
- Karar sahibi ve inceleme sıklığı
- —
- Sonuç değiştiğinde araştırılacak sorular
- —
Son olarak küçük bir kayıt örneğini elle kontrol edin. Aynı veriden farklı ekipler farklı sonuç çıkarıyorsa raporu çoğaltmadan önce tanımı düzeltin. Göstergenin hesaplanabilir olması ilk adımdır; iş kararında güvenle kullanılabilmesi için kapsamının ve sınırlarının da anlaşılması gerekir.
İlgili terimler
Business Objective, Problem Statement, Business Case, Benefits Realization, Voice of Customer, Data Mapping ve Data Dictionary, Feasibility Study, Acceptance Criteria, User Acceptance Testing