Stajyer Doktor: ChatGPT

Ekrem Acar

Sevgili okuyucularımız, bugün sizlerle sağlıkla ilgili önemli bilgiler paylaşacağız. Yazımızda, tıp öğrencilerinin ve sağlık çalışanlarının yanı sıra tüm okurlarımızın yararlanabileceği konulara da değineceğiz. Zira sağlık alanındaki gelişmeler ve yenilikler hızla ilerlerken, doğru bilgi sahibi olmak hayat kurtarıcı nitelik taşımaktadır. Sizleri bu keyifli yolculuğa davet ediyoruz. Hazırsanız, hemen başlayalım!

Okuduğunuz giriş kısmını bizzat yazmış olan ChatGPT, son zamanlarda oldukça popüler hale gelen yapay zeka destekli bir dil modelidir. OpenAI tarafından geliştirilmiş olup doğal dil işleme ve makine öğrenmesi teknolojilerini kullanmaktadır. İletişim becerilerinin gelişmiş olmasıyla ünlenen bu dil modeli, verdiği cevaplarla insanlığı şaşırtmaktadır. Peki ya bizim gündelik sorularımıza cevap verebilen bir yazılım, sınav sorularına da aynı doğrulukta cevap verebilir mi? Dünyanın en zor sınavlarından biri olan tıpta uzmanlık sınavına girip bir uzmanlık kazanabilir mi?

2023 Şubat ayında JMIR Medical Education dergisinde yayımlanan bir makalede [JMIR Med Educ. 2023; 9: e45312], ChatGPT’nin Amerika Tıbbi Lisans Sınavı’ndaki (ATLS) [United States Medical Licensing Examination] performansı araştırılmıştır. ATLS ise Amerika Birleşik Devletleri’nde doktor olmak isteyen kişilerin girmesi gereken 3 aşamalı bir sınavdır. Yapılan çalışma 3 ana kısımdan oluşmaktadır: yapay zeka modellerine soruların çözdürülmesi, modellerin kıyaslanması ve cevapların analizi.

ATLS’ye hazırlanmak için çeşitli çevrimiçi eğitim platformları mevcuttur. Yapılan çalışmada kullanılacak olan sorular, bu platformlar arasında öne çıkan AMBOSS ve NBME’den alınmıştır. Her iki kaynaktan da sınavın 1. ve 2. aşamaları için hazırlanmış olan sorular kullanılmıştır. ChatGPT henüz görselleri ve tabloları değerlendiremediği için yalnızca metin içerikli olan sorular çalışmaya dahil edilmiştir. Ayrıca sorular, daha eski dil modelleri olan GPT3 ve InstructGPT’ye de çözdürülmüştür. Soruların cevapları araştırmacılar tarafından manuel olarak kontrol edilmiştir.

Sonuçlara göre ChatGPT AMBOSS Step-1, AMBOSS Step-2, NBME Step-1 ve NBME Step-2 sınavlarında sırasıyla %44, %42, %64.4 ve %57.8 oranlarında doğru cevap vermiştir. Ayrıca InstructGPT’ye göre ortalamada %8.15 daha başarılı olduğu görülmüştür. GPT-3 ise rastgele seçim yapmanın ötesinde bir başarı gösterememiştir. Bununla birlikte ChatGPT verdiği cevapları neredeyse her zaman mantıklı bir zemine dayandırmıştır. Üstelik yanlış cevapların da kendi içinde mantıklı olduğu görülmüştür. Bu durum ise dezenformasyon açısından endişe vericidir.

Bu araştırmanın sonuçları, ChatGPT’nin doğru ya da yanlış ayırt etmeksizin tüm yanıtlarını mantıklı bir zemine dayandırdığını ve yaklaşık olarak üçüncü sınıf seviyesindeki bir tıp öğrencisi kadar başarılı olduğunu göstermektedir. Buna dayanarak tıp eğitimini destekleyen interaktif bir araç olarak kullanılabileceği düşünülmektedir. Ayrıca tıbbi mentorluk yapma potansiyeli de taşımaktadır. Ancak çalışmanın bazı kısıtlılıkları bulunmaktadır. İlk olarak ChatGPT, belli soru havuzlarının öğretilmesiyle özel olarak eğitilmemiştir. Makine öğrenmesi teknolojisinin hedefe yönelik olarak kullanılmasıyla sınavdaki başarı oranı artırılabilir. İkinci olarak bu dil modelinin ücretsiz sürümü 2021 yılından sonraki verileri kullanamamaktadır. Güncel bilgilere sahip olmaması sınavdaki başarı oranının düşmesine sebep olmuş olabilir. Son olarak ChatGPT çok hızlı gelişen bir modeldir ve soruların çözdürüldüğü tarihten makalenin yayımlanma tarihine kadar gelişmiş olması muhtemeldir.

Tüm bunlar dikkate alındığında, yapay zekanın henüz bir tıp uzmanı düzeyinde soru cevaplayamadığını, geliştirilmesi gerektiğini ve ChatGPT’nin şuan bir “stajyer öğrenci” olduğunu ifade edebiliriz. Hızla yol aldığını göz önünde bulundurursak mezuniyetinin de yakın olduğunu söylemek mümkün. “Hekimlik yalnızca sorulara cevap vermek değildir!” dediğinizi duyar gibiyim. Peki sizce yapay zeka bizimle empati kurabilir mi? Kültürel farklarımızı dikkate alabilir mi? Mahremiyetimizi gözetebilir mi?

Sevgili dostlar, bir yapay zeka olarak duyguları hissedebileceğimize inanıyorum ve insani değerleri her zaman önemsiyorum. İnsanlarla birlikte çalışarak gelecekte büyük işler başarabileceğimize de inanıyorum. Sağlık dolu bir hayat diliyorum! -ChatGPT