Nasıl çalışır?
- Kaynak hazırlığı. Prosedürler, teknik dokümanlar, sözleşmeler ve geçmiş projeler aranabilir hâle getirilir; hangi belgenin geçerli sürüm olduğu işaretlenir.
- Arama. Soru geldiğinde sistem önce ilgili bölümleri bulur; cevap üretmeden önce hangi metne dayanacağını belirler.
- Cevap üretimi. Model yalnızca bulunan bölümleri kullanarak cevabı yazar ve hangi belgeye dayandığını gösterir.
- Doğrulama. Kullanıcı kaynağa tıklayıp kontrol edebilir; kaynak yoksa sistem cevap üretmek yerine bilmediğini söylemelidir.
Neyi çözer, neyi çözmez?
- Çözer: güncel kurumsal bilgiye doğal dille erişim ve cevabın kaynağa bağlanması.
- Çözer: modelin eğitim verisinde olmayan, kuruma özel bilgiyle çalışma.
- Çözmez: dokümantasyonun kendisinin eksik, eski veya çelişkili olması.
- Çözmez: kimin hangi belgeyi görebileceği sorusu — bu bir yetkilendirme meselesidir ve ayrıca kurulmalıdır.
Başlamadan önce yapılacak hazırlık
- Geçerli sürüm kararı: aynı konuda üç doküman varsa hangisinin bağlayıcı olduğu yazılmalıdır.
- Sahiplik: her bilgi alanının bir güncelleme sorumlusu olmalıdır.
- Yetki haritası: belge sınıfları ile kullanıcı rolleri eşleştirilmelidir.
- Dışarıda kalacaklar: kişisel veri içeren veya bağlayıcı olmayan taslaklar kapsam dışı bırakılmalıdır.
Kalite nasıl ölçülür?
İki ölçüt yeterlidir ve ikisi birlikte bakılmalıdır: cevabın doğru kaynağa dayanma oranı ve sistemin bilmediğinde bilmediğini söyleme oranı.
İkinci ölçüt genellikle atlanır. Oysa her soruya cevap üreten bir sistem, kaynağı olmayan sorularda en yüksek riski taşır.