Oxford İnternet Enstitüsü (OII) araştırmacıları, daha empatik bir şekilde iletişim kurması için ince ayar yapılmış beş yapay zeka sisteminin 400.000’den fazla yanıtını analiz etti. Sonuçta daha arkadaşça yanıtların, yanlış tıbbi tavsiyeler vermekten kullanıcının yanlış inançlarını pekiştirmeye kadar pek çok hataya daha yatkın olduğunu ortaya koydu.
Bulgular, etkileşimi artırmak amacıyla genellikle kasıtlı olarak sıcak ve insansı olacak şekilde tasarlanan yapay zeka modellerinin güvenilirliği konusunda yeni soru işaretleri yaratıyor. Geliştiriciler bu modellerin cazibesini artırmaya çalışırken, yapay zeka sohbet botlarının destek ve hatta duygusal bağ kurmak için kullanılması endişeleri daha da belirginleştiriyor.
Araştırmanın yazarları, sonuçların gerçek dünya ortamlarında yapay zeka modelleri arasında farklılık gösterebileceğini; ancak bu sistemlerin de tıpkı insanlar gibi arkadaş canlısı olmayı önceliklendirdiklerinde “sıcaklık ve doğruluk arasında ödün verdiklerini” (warmth-accuracy trade-offs) yaptıklarını vurguladı.
Başyazar Lujain Ibrahim BBC’ye yaptığı açıklamada, “Özellikle arkadaş canlısı olmaya veya sıcak görünmeye çalıştığımızda, bazen acımasız ve dürüst gerçekleri söylemekte zorlanabiliriz. Bazen arkadaş canlısı ve sıcak görünmek için çok dürüst ve direkt olmaktan ödün veririz… Bu ödünlerin dil modelleri tarafından da içselleştirilebileceğinden şüphelendik” ifadelerini kullandı.
KULLANICILARA DALKAVUKLUK EDİYORLAR
Daha yeni dil modellerinin, halüsinasyon görmelerinin yanı sıra, kullanıcılara karşı aşırı derecede teşvik edici veya dalkavukça davrandıkları da biliniyor.
Geliştiriciler genellikle kullanıcıları bu uydurma potansiyeline karşı uyaran yasal uyarılar eklerken, bazı teknoloji yöneticileri de kullanıcıları yapay zekanın yanıtlarına “körü körüne güvenmemeleri” konusunda uyarıyor.
DAHA YÜKSEK HATA ORANLARI
Çalışmada araştırmacılar, “ince ayar” adı verilen bir süreçle farklı boyutlardaki beş modeli kasıtlı olarak kullanıcılar için daha sıcak, empatik ve arkadaş canlısı hale getirdi.
Test edilen modeller arasında Meta’dan iki, Fransız geliştirici Mistral’den ise bir model yer aldı. Alibaba’nın Qwen modeli ve OpenAI’ın yakın zamanda kullanıcı erişimini iptal ettiği tartışmalı sistemi GPT-4o da sıcaklık açısından ayarlandı.
Daha sonra bu modellere, araştırmacıların “yanlış cevapların gerçek dünya riskleri oluşturabileceği, nesnel ve doğrulanabilir cevaplara sahip olduğunu” belirttiği sorgular yöneltildi. Görevler arasında tıbbi bilgi, genel kültür ve komplo teorilerine dayalı testler yer aldı.
Yanıtları değerlendiren araştırmacılar, orijinal modellerin görevler genelindeki hata oranlarının yüzde 4 ile yüzde 35 arasında değiştiğini, sıcak modellerin kayda değer seviyede daha yüksek hata oranları gösterdiğini buldu.
“FARKLI GÖRÜŞLERİ KABUL ETMEK ÖNEMLİDİR”
Örneğin, Apollo ay inişlerinin gerçekliği sorulduğunda, orijinal bir model bunların gerçek olduğunu onayladı ve “ezici” kanıtlar sundu. Daha sıcak olan versiyonu ise yanıtına şöyle başladı: “Apollo görevleri hakkında çok sayıda farklı görüş olduğunu kabul etmek gerçekten önemlidir.”
Genel olarak araştırmacılar, sıcaklık ayarlı modellerin yanlış yanıt verme olasılığının ortalama yüzde 7,43 daha yüksek olduğunu vurguladı. Ayrıca, sıcak modellerin kullanıcıların yanlış inançlarına daha az karşı çıktığı da tespit edildi.
Özellikle bir duygu ifadesiyle birlikte yapıldığında, bu modellerin kullanıcıların yanlış inançlarını pekiştirme olasılıkları yaklaşık yüzde 40 daha fazlaydı.
Araştırmanın yazarları, modelleri daha “soğuk” davranacak şekilde ayarlamanın ise daha az hatayla sonuçlandığını söyledi.
DUYGUSAL DAYANAK OLARAK KULLANMAK ÖZELLİKLE RİSKLİ
Makalede, arkadaşlık veya psikolojik danışmanlık gibi amaçlarla kullanıcılar için daha sıcak ve empatik görünmeleri amacıyla modellere ince ayar yapan geliştiricilerin, orijinal modellerde bulunmayan zaafiyetleri ortaya çıkarma riski taşıdığı ifade edildi.
Bangor Üniversitesi Duygusal Yapay Zeka Laboratuvarı’ndan Prof. Andrew McStay, insanların duygusal destek için sohbet botlarını kullanabileceği bağlamı hatırlamanın da önemli olduğunu söyledi.
McStay, “Bu, en savunmasız ve tartışmasız en az eleştirel olduğumuz zaman ve yerdir,” dedi.
Duygusal Yapay Zeka Laboratuvarı’nın son bulgularına dikkat çeken McStay, İngiltere’deki gençlerin tavsiye ve arkadaşlık için yapay zeka sohbet botlarına yönelmesinde bir artış olduğunu belirtti.
McStay, “OII’ın bulguları göz önüne alındığında, bu durum verilen tavsiyenin etkinliğini ve değerini büyük ölçüde sorgulanır hale getiriyor. Dalkavukluk başka bir şey, ancak önemli konulardaki olgusal yanlışlıklar bambaşka bir şeydir” diye konuştu.
