Neden olur?
Dil modelleri, bir sonraki en olası ifadeyi üretmek üzere çalışır. Doğruluk, bu üretimin bir yan ürünüdür; hedefi değildir. Bilgi eksik olduğunda sistem boşluk bırakmak yerine akıcı bir devam üretme eğilimindedir.
Bu nedenle halüsinasyon bir arıza değil, sistemin çalışma biçiminin sonucudur. Tamamen ortadan kaldırılamaz; olasılığı düşürülür ve etkisi sınırlandırılır.
Kurumda dört kontrol katmanı
- Kaynağa bağlama. Cevap, kurumun kendi belgelerinden alınan bölümlere dayandırılır ve kaynak gösterilir. Kaynak yoksa cevap üretilmez.
- Belirsizliği ödüllendirme. Sistem ve talimatlar, 'bu bilgi kaynaklarda yok' cevabını başarısızlık değil doğru davranış olarak tanımlar.
- Kritik alanlarda insan kontrolü. Sayı, tarih, hukuki ifade ve dışarıya giden metin insan tarafından doğrulanır.
- Örnekleme denetimi. Düşük riskli kullanımda çıktıların bir bölümü düzenli olarak rastgele kontrol edilir; hata oranı izlenir.
En riskli kullanım alanları
- Sayısal veri ve finansal ifadeler: akıcı ama yanlış bir rakam en zor fark edilen hatadır.
- Hukuki ve mevzuat referansları: var olmayan madde numarası üretimi bilinen bir risktir.
- Kaynak ve alıntı gösterimi: gerçek olmayan başlık, yazar veya bağlantı üretilebilir.
- Kişi hakkında bilgi: doğrulanmamış biyografik ifadeler hem hatalı hem hukuken risklidir.
Ekibe verilecek tek kural
Karmaşık politikalar yerine tek bir davranış kuralı çoğu riski kapatır: kurum dışına çıkacak veya bir karara temel olacak her sayı, tarih ve alıntı kaynağından doğrulanır.
Bu kural araç değiştiğinde de geçerli kalır ve eğitimde en kolay yerleşen kuraldır.