Bir Yapay Zekâ Özeti Kaynağıyla 10 Saniyede Nasıl Doğrulanır?

2011 yılında Sparrow, Liu ve Wegner, Science dergisinde yayımladıkları çalışmada, insanların bir bilgiyi daha sonra arayıp bulabileceklerini bildiklerinde bilginin kendisini daha az, nerede bulacaklarını ise daha çok hatırladıklarını ortaya koydu. Arama motorları bir tür harici belleğe dönüştü ve biz de buna ayak uydurduk.

Yapay zekâ özetleri bu uyumu bir adım daha ileri taşıyor. Düzenli bir paragraf elde ediyorsunuz, o paragrafı aklınızda tutuyorsunuz ve bilginin geldiği asıl sayfa tamamen arka planda kalıyor. Özet doğru olduğunda bu harika. Ancak doğru olmadığında ciddi bir sorun, çünkü paragraftaki hiçbir şey size hangi cümlenin şüpheli olduğunu söylemez.

10 saniyelik doğrulama

Tüm makaleyi baştan okumanıza gerek yok. Yalnızca tek bir pasaja bakmanız yeterli. Alışkanlık çok basit:

1. Başkasına aktaracağınız iddiayı seçin. Bir sayı, bir tarih, bir isim veya bir gerekçe.
2. Kaynakta bunu doğrudan ifade eden cümleyi bulun. Benzer bir cümle değil; tam olarak bunu söyleyen cümle.
3. Cümlenin hemen öncesindeki ve sonrasındaki cümleleri okuyun. Özetlerin en sık yanıldığı yer bağlamdır: "olabilir" ifadesinin "olacak"a dönüşmesi ya da bir tahminin kesin bir olgu gibi sunulması.

Manuel yaptığınızda en yavaş ilerleyen adım ikinci adımdır. Otomatikleştirmeye asıl değer katan adım da budur.

AI Summary Helper bu konuda ne yapıyor?

Bir takip sorusu sorduğunuzda, yanıt bunu destekleyen kesin sayfa pasajlarıyla birlikte gelir. Eklenti, her alıntıyı sayfa metniyle karşılaştırır ve kelimesi kelimesine eşleşmeyen alıntıları eler; böylece uydurma bir alıntı asla bir kanıt olarak karşınıza çıkmaz. Sayfa açıksa bir alıntıya tıkladığınızda, sayfa o pasaja kaydırılır ve ilgili metin vurgulanır.

Önerilen takip soruları da aynı şekilde çalışır. Model daha uzun olan yanıtı yazarken her biri kısa bir ön yanıtla birlikte ekrana gelir; böylece okuyabilir, kontrol edebilir ve tatmin olduğunuz anda durdurabilirsiniz.

Bir alıntı neleri kanıtlar, neleri kanıtlamaz?

Bu konuda dikkatli olun. Eşleşen bir alıntı, pasajın sayfada gerçekten var olduğunu kanıtlar; ancak modelin onu doğru anladığını kanıtlamaz. Alıntının etrafındaki yanıt yine modelin kendi ifadesidir, bu yüzden üçüncü adımdaki kontrol hâlâ geçerlidir: komşu cümleleri okuyun.

Bu şekilde kullanıldığında alıntı, bir onay mührü olmaktan ziyade doğru paragrafa giden bir kısayoldur. Asıl amaç da budur: Tüm makaleye on dakika harcamak yerine, yanıtın doğruluğunu belirleyen kısma yalnızca on saniye ayırırsınız.

Kazanmaya değer bir alışkanlık

Her makalede bir yanıt seçip doğrulayın. Birkaç hafta içinde modelinizin nasıl davrandığını öğrenirsiniz: hangi konularda başarılı olduğunu, sayıları nerede yuvarladığını veya ihtiyatlı ifadeleri yumuşatıp yumuşatmadığını görürsünüz. Bu kalibrasyon, tek bir kontrolden çok daha değerlidir.