Müşteri sohbet penceresine “İndirimli aldığım ürünü iade edebilir miyim?” diye yazıyor. Genel amaçlı bir yapay zekâ modeli bu soruya akıcı ve kendinden emin bir yanıt verir; ama sizin iade koşullarınızı hiç okumamıştır. Yanıt doğruysa şans eseridir. Bu yazıda bu sorunu çözen yaklaşımı, yani RAG'ı, teknik ayrıntıya boğmadan anlatıyoruz: ne olduğunu, hangi adımlarla kurulduğunu, nerede aksadığını ve nereden başlamanın mantıklı olduğunu.
Sorun ne, RAG ne yapıyor?
Bir dil modeli, eğitimi sırasında gördüğü genel metinlerden öğrenir. Sizin fiyat listeniz, kargo süreleriniz ya da geçen ay değişen kampanya kurallarınız bu metinlerin arasında yoktur. Model yine de susmaz: benzer şirketlerde gördüğü kalıplardan makul görünen bir yanıt kurar.
Tehlike tam da buradadır. Yanlış yanıt, yanlış olduğunu belli etmez; düzgün cümlelerle ve aynı güvenle gelir. Bedelini model değil, destek ekibiniz ve markanız öder. Daha önceki bir yazımızda sorduğumuz “Doğru yanıt hangi veride duruyor?” sorusunun pratik karşılığı RAG'dır.
RAG, İngilizce “retrieval-augmented generation” ifadesinin kısaltmasıdır; Türkçeye “getirme ile desteklenmiş üretim” diye çevrilebilir. Fikir basittir: sistem, soruyu yanıtlamadan önce sizin belgelerinizde ilgili bölümleri arar, bulduklarını soruyla birlikte modele verir ve modelden yalnızca bu bölümlere dayanarak yanıt yazmasını ister.
Bunu işe yeni başlamış bir çalışana benzetebiliriz. Ona her şeyi ezberletmezsiniz; el kitabının yerini gösterir ve “emin değilsen önce bak, sonra yanıtla” dersiniz. RAG ile kurulan asistan da böyle çalışır ve yanıtın altına hangi belgenin hangi bölümüne dayandığını yazabilir; böylece ekibiniz yanıtı kaynağından denetleyebilir.
İyi bir asistan her şeyi bilen değil, nereye bakacağını bilen ve bulamadığında bunu söyleyen asistandır.
Kurulum adımları, sırasıyla
Dışarıdan yalnızca bir sohbet penceresi görünür; arkada ise birbirini izleyen altı adım vardır. Sıra önemlidir, çünkü her adım bir öncekinin kalitesine yaslanır.
- 1
Belgeleri toplamak ve derlemek: İade koşulları, fiyat listesi ve sık sorulan sorular gibi yanıtın dayanacağı belgeleri bir araya getiriyoruz. Eski sürümleri ayıklıyor, taranmış dosyaları metne çeviriyor, her belgenin bir sahibi olduğundan emin oluyoruz.
- 2
Bölümlere ayırmak: Uzun belgeleri, her biri tek bir konuyu anlatan kısa bölümlere ayırıyoruz. Bölüm fazla kısaysa bağlam kaybolur, fazla uzunsa ilgisiz bilgi yanıta karışır.
- 3
Anlama göre aranabilir hâle getirmek: Her bölümü, anlamını temsil eden sayısal bir özete çevirip bir dizinde saklıyoruz. Bu sayede “paramı geri alabilir miyim” sorusu, içinde iade kelimesi geçmese de iade koşulları bölümünü bulur.
- 4
Soru anında ilgili bölümleri getirmek: Kullanıcı soru sorduğunda sistem dizinde arama yapar ve soruyla en ilgili birkaç bölümü seçer.
- 5
Kaynak göstererek yanıt üretmek: Seçilen bölümler soruyla birlikte modele verilir. Model yanıtı bu bölümlerden yazar ve hangi belgeye dayandığını belirtir.
- 6
Emin olunmadığında insana devretmek: İlgili bölüm bulunamadıysa ya da soru hassas bir konuya giriyorsa asistan tahmin yürütmez; konuşmayı o ana kadarki yazışmayla birlikte bir temsilciye aktarır.
Teknik terimlerle karşılaşırsanız
Üçüncü adımdaki sayısal özete teknik dilde “embedding”, bu özetlerin saklandığı dizine de “vektör veritabanı” denir. Bir teklifte bu kelimeleri görürseniz kastedilen şudur: metni kelimesine göre değil, anlamına göre aramayı sağlayan altyapı.
Belgelerin kalitesi modelden önce gelir
Projeye başlarken en sık duyduğumuz soru “Hangi modeli kullanacağız?” oluyor. Oysa sonucu çoğu zaman model değil, belgeler belirler. Asistan yalnızca kendisine verilen metinden yanıt üretir; metin eksik, dağınık ya da çelişkiliyse en yetenekli model bile aynı eksiği ve aynı çelişkiyi yanıta taşır.
Bu yüzden emeğin büyük bölümü belge düzenine gider: aynı konuyu anlatan üç dosyadan hangisinin geçerli olduğuna karar vermek, yalnızca ekibin aklında duran kuralları yazıya dökmek, görsel içinde kalmış fiyatları metne çevirmek. Deneyimimize göre düzenli belgelerle çalışan sade bir kurulum, dağınık belgelerle çalışan gösterişli bir kurulumdan genellikle daha iyi sonuç verir. Model ise sonradan, belgelere dokunmadan değiştirilebilir.
Çalıştığını nasıl ölçeriz?
“Birkaç soru sorduk, iyi yanıt verdi” bir ölçüm değildir. Yayından önce gerçek sorulardan bir test seti hazırlıyoruz: destek kayıtlarınızdan, e-postalardan ve WhatsApp yazışmalarından alınmış, müşterilerin kendi cümleleriyle sorduğu sorular. Her sorunun yanına doğru yanıtı ve bu yanıtın hangi belgede durduğunu yazıyoruz.
Sonra iki şeye ayrı ayrı bakıyoruz: sistem doğru bölümü bulmuş mu, model o bölümden doğru yanıtı çıkarmış mı? İkisinin çözümü farklıdır. Sette yanıtı belgelerde olmayan sorular da bulunur; onlarda beklenen, asistanın bilmediğini söyleyip konuşmayı devretmesidir. Bir belge, bölümleme ya da model değiştiğinde aynı seti yeniden çalıştırıyoruz; böylece bir yeri düzeltirken başka bir yeri bozup bozmadığımızı tahminle değil, sonuçla görüyoruz.
Nerede yanlış gider?
RAG, modelin uydurma eğilimini azaltır ama kendiliğinden kusursuz çalışmaz. Karşılaştığımız sorunların çoğu üç başlıkta toplanıyor.
- Güncelliğini yitirmiş belgeler: Fiyat değişmiş ama dizindeki liste eski kalmıştır; asistan eski fiyatı kaynak göstererek söyler. Çözüm, belgeleri kimin ve ne sıklıkla güncelleyeceğini baştan belirlemek ve dizini bu güncellemelere bağlamaktır.
- Çelişen sürümler: Aynı kuralın iki farklı hâli iki ayrı dosyada durur ve sistem aynı soruya farklı günlerde farklı yanıt verir. Çözüm, her konu için tek bir geçerli belge bırakmaktır.
- Belgelerin dışında kalan sorular: Müşteri, hiçbir belgede yanıtı olmayan bir şey sorar. Kötü kurulmuş bir asistan boşluğu tahminle doldurur; iyi kurulmuş olan bilmediğini söyler ve konuşmayı bir temsilciye devreder.
Bir de hatanın bedeli yüksek olan işler vardır: iade onayı, fiyat teklifi ya da sözleşme maddesi yorumu gibi. Bu tür yanıtlarda asistan yalnızca taslağı hazırlar; son sözü bir insanın onayına bırakıyoruz.
Veri, gizlilik ve aylık maliyet
Belgelerinizi bir asistana bağlamak, hangi verinin nereye gittiğine karar vermek demektir. Bunu proje başında yazıya döküyoruz: hangi belgeler dizine girecek, sorular ve getirilen bölümler hangi model sağlayıcısına gönderilecek, konuşma kayıtları nerede ve ne kadar süre saklanacak. Ad, telefon ya da kart bilgisi gibi hassas alanları modele göndermeden önce maskeliyoruz. Herkese açık koşullar ile yalnızca ekibin görmesi gereken iç yazışmalar aynı dizine girmemelidir.
Maliyet tarafında iki kalem vardır: bir kerelik kurulum ve kullanıma bağlı işletme gideri. Her yanıt için model sağlayıcısına küçük bir ücret ödenir; bu ücret soru sayısıyla ve modele verilen metnin uzunluğuyla birlikte artar. Bu yüzden sabit bir rakam söylemek yerine beklenen hacme göre aylık bir tahmin çıkarıyor, yayından sonra gerçek kullanımı izliyoruz.
RAG mı, modeli eğitmek mi?
Sık karıştırılan iki yaklaşım var. Modeli kendi verinizle yeniden eğitmek, teknik adıyla ince ayar (fine-tuning), modelin davranışını örneklerle kalıcı olarak değiştirmek demektir. RAG ise modele dokunmaz; yanıt anında önüne doğru belgeyi koyar. Biri çalışana bir üslup ve alışkanlık kazandırmaya, öteki masasına güncel el kitabını koymaya benzer.
- RAG ne zaman uygundur: Bilgi sık değişiyorsa, yanıtın kaynağını göstermek gerekiyorsa ve içerik fiyat, koşul ya da prosedür gibi belgelerde duran bilgilerden oluşuyorsa. Belge güncellenince yanıt da güncellenir; yeniden eğitim gerekmez.
- Eğitim ne zaman uygundur: Sorun bilgi eksikliği değil, davranışsa. Model belirli bir yazım üslubunu, sabit bir çıktı biçimini ya da dar bir sınıflandırma işini istenen tutarlılıkla yapamıyorsa ve elinizde yeterince kaliteli örnek varsa.
- İkisi birlikte: Bu iki yaklaşım birbirinin alternatifi olmak zorunda değildir ve bazı projelerde yan yana kullanılır. Yine de belgelerden yanıt veren bir asistan için başlangıç noktası neredeyse her zaman RAG'dır.
Eğitilmiş bir model fiyat listenizi güvenilir biçimde ezberlemez; fiyat değiştiğinde eski bilgiyi kendiliğinden unutmaz da. Güncel kalması gereken bilginin yeri belgedir, modelin içi değil.
Küçük başlamak: tek belge seti, tek kanal
İlk sürümde bütün şirket bilgisini asistana yüklemeye çalışmıyoruz. Tek bir belge seti seçiyoruz, örneğin iade ve kargo koşulları; tek bir kanal seçiyoruz, örneğin WhatsApp hattınız ya da web sitenizdeki sohbet penceresi. Dar kapsam test setini küçük ve anlamlı tutar, hataların nereden geldiğini görmeyi kolaylaştırır.
İlk hafta için bir öneri
Destek ekibinizden, son dönemde en çok gelen yirmi otuz soruyu müşterinin yazdığı hâliyle toplamasını isteyin. Sonra her sorunun yanıtının hangi belgede durduğunu işaretleyin. Yanıtı hiçbir belgede olmayan sorular, önce yazılması gereken belgeleri gösterir; bu liste aynı zamanda ilk test setinizin çekirdeği olur.
Asistan bu dar alanda ölçülebilir biçimde iyi çalıştığında kapsamı genişletmek kolaydır: yeni bir belge seti, ikinci bir kanal, sipariş sistemine bağlanan bir otomasyon adımı. RAG'ın özü de budur: modeli daha zeki yapmaya çalışmak yerine ona doğru belgeyi vermek, yanıtın kaynağını göstermek ve emin olunmayan yerde insana yer bırakmak.
