“Ürünümüze yapay zekâ ekleyelim” cümlesi bir hedef değil, bir araç tercihidir. Aracı seçmeden önce işi tanımlamak gerekir. Projelerin başında şu beş soruyu soruyoruz. Yanıtların hiçbiri teknik bilgi gerektirmez; gereken tek şey işi yakından tanımaktır.
1. Bugün bu işi kim, ne kadar sürede yapıyor?
Ölçemediğiniz işi iyileştirdiğinizi kanıtlayamazsınız. Bir destek temsilcisinin bir soruyu yanıtlaması dört dakika sürüyorsa, hedef bu dört dakikadır.
Ölçmek için özel bir araca gerek yoktur. İşi yapan kişilerden bir hafta boyunca basit bir sayım tutmalarını isteyin: kaç talep geldi, her biri kaç dakika sürdü, hangileri birbirinin tekrarıydı. Bu sayım iki şeyi gösterir: geri kazanılabilecek süreyi ve işin ne kadarının gerçekten bir kurala bağlı olduğunu. Taleplerin yalnızca küçük bir bölümü tekrarlıyorsa yapay zekâ doğru araç olmayabilir; daha iyi bir form ya da bir sık sorulan sorular sayfası yetebilir.
2. Model yanılırsa ne olur?
Yanlış bir ürün önerisi can sıkar; yanlış bir fatura tutarı para kaybettirir. Hatanın bedeli yükseldikçe insan onayı adımı zorunlu hâle gelir.
- Düşük bedelli hatalar: ilgisiz bir ürün önerisi, biraz tuhaf bir özet, yanlış etiketlenmiş bir destek talebi. Biri fark eder, düzeltir ve iş devam eder.
- Yüksek bedelli hatalar: yanlış bir fatura tutarı, müşterinin hakkı olmayan bir iadenin vaat edilmesi, sözleşmeden yanlış okunan bir tarih, sağlık ya da hukuk konusunda kendinden emin verilen bir yanıt.
İlk grupta model kendi başına çalışabilir. İkinci grupta taslağı model hazırlar, son sözü bir insan söyler. Arada kalan durumlar için de bir kural gerekir: model emin olmadığında yanıt vermek yerine konuşmayı bir temsilciye devretmelidir.
3. Doğru yanıt hangi veride duruyor?
Model sizin iade koşullarınızı bilmez. Yanıtın dayanacağı belgeler nerede, ne kadar güncel ve kim güncelliyor? Çoğu projede asıl iş bu veriyi düzene sokmaktır. Bilgi çoğu zaman şu dört yere dağılmış olur:
- Web sitesindeki sayfalar ve PDF dosyaları: herkese açıktır ama çoğu zaman güncel değildir.
- Ortak klasörlerdeki dosyalar: aynı belgenin birkaç sürümü yan yana durur.
- Eski destek yazışmaları: gerçek soruları içerir ama yanlış ya da eskimiş yanıtları da barındırır.
- Çalışanların aklı: en doğru bilgi oradadır ve hiçbir yere yazılmamıştır.
Veri nereye gidiyor?
Hangi verinin hangi sisteme gönderileceğini projenin başında yazılı olarak belirleyin. Kimlik numarası, kart bilgisi ya da sağlık kaydı gibi hassas alanlar modele ulaşmadan önce maskelenmelidir.
4. Başarıyı nasıl ölçeceksiniz?
Yayından önce yüz gerçek örnekten oluşan bir test seti hazırlayın. Her değişiklikten sonra aynı seti çalıştırın. “Daha iyi oldu gibi” bir ölçüm değildir. İyi bir test setinin dört özelliği vardır:
- Sorular uydurma değil, gerçektir: destek kayıtlarından ya da müşteri e-postalarından alınır.
- Her sorunun yanında, işi bilen birinin yazdığı beklenen yanıt durur.
- Kolay örneklerin yanında zor olanlar da yer alır: eksik bilgiyle sorulanlar, iki anlama gelenler, yazım hatası içerenler.
- Modelin yanıtlamaması gereken sorular da sete girer; bunlarda doğru davranış “bilmiyorum” demek ya da konuşmayı devretmektir.
Sonuçları tek bir sayıma indirin: yüz örnekten kaçı doğru, kaçı yanlış, kaçı devredildi. Bu sayım yayından sonra da işe yarar; gerçek konuşmalardan düzenli aralıklarla örnek alır ve onlara aynı gözle bakarsınız.
5. Aylık maliyet ne olacak?
Kullanım arttıkça model maliyeti de artar. Mesaj başına maliyeti ve beklenen hacmi baştan hesaplayın; gerekirse basit soruları daha küçük bir modele yönlendirin. Maliyeti dört şey belirler:
- Hacim: ayda kaç soru ya da belge işlenecek?
- Metnin uzunluğu: modele gönderilen ve modelden dönen metin uzadıkça ücret artar. On sayfalık bir sözleşme, tek satırlık bir sorudan çok daha pahalıdır.
- Modelin büyüklüğü: daha yetenekli modeller daha pahalıdır ve her iş onlara ihtiyaç duymaz.
- Adım sayısı: tek bir yanıt için model birkaç kez çağrılıyorsa maliyet de katlanır.
Bu dört kalemi ilk sorudaki sayımla karşılaştırın. Aylık maliyet, kazanılan zamanın değerinden düşükse proje anlamlıdır; değilse kapsamı daraltmak gerekir.
Yanıtlar netleşince ilk adımlar
- 1
Tek ve dar bir işle başlayın: “tüm destek” değil, örneğin yalnızca kargo ve iade soruları.
- 2
İlk haftalarda her yanıt bir insanın onayından geçsin. Taslağı model yazar, temsilci gönderir.
- 3
Her yanıtın kaydını tutun: ne soruldu, model ne dedi, insan neyi değiştirdi.
- 4
Birkaç hafta sonra kayıtlara ve test setine birlikte bakın. Hata azsa onay adımını gevşetin ya da kapsamı genişletin; çoksa önce veriyi düzeltin.
Bu sıra yavaş görünebilir ama güven böyle kurulur: ekip, modelin nerede güçlü, nerede zayıf olduğunu kendi gözüyle görür.
Beş sorunun yanıtı netse model seçimi genellikle bir öğleden sonralık iştir.
Yanıtlardan biri eksikse önce onu tamamlayın. Yapay zekâ tanımı net bir işi hızlandırır; belirsiz bir işte ise yalnızca daha hızlı hata üretir.
