ChatGPT potrafi odczytywać wyniki badań obrazowych. Ostatnio zdał egzamin na lekarza radiologa. Czy jednak jest nieomylny i pacjenci mogą mu zaufać?
Jak wyglądał egzamin?
Poziom trudności testu odpowiadał egzaminom Canadian Royal College i American Board of Radiology. Naukowcy, pod przewodnictwem dr Rajesha Bhayana (z University Medical Imaging w Toronto), sprawdzili wersję GPT-3.5 chatbota opartego na sztucznej inteligencji.
Test podzielono na kilka kategorii w dwóch grupach, tj.:
- pytań prostych – podstawowego zrozumienia zagadnień;
- czynności myślowych – analizy, postępowania klinicznego, klasyfikacji chorób.
AI wypadła obiecująco, choć jeszcze nie do końca wiarygodnie.
Jakie wyniki testu uzyskał ChatGPT?
ChatGPT odpowiedział poprawnie na 104 ze 150 pytań. Zdał więc na 69%. Najtrudniejsze okazało się dla niego z podstawowe stosowanie pojęć (30% dobrych) i klasyfikacja chorób (25%).
Później naukowcy przetestowali nowszą wersję chatbota – GPT-4. Tym razem zdał on na 81%. Jednocześnie, na 12 pytań, na które GPT-3.5 odpowiedział poprawnie, wersja GPT-4 odpowiedziała błędnie.
Przyszłość ChataGPT
ChatGPT to według wielu najszybciej rozwijająca się aplikacja konsumencka w historii. Chatbot zdał egzamin z radiologii, ale dr Bhayan podkreśla, że “jeśli jest on używany do szybkiego przywoływania informacji, zawsze musi być zweryfikowany”. Ekspert przewiduje jednocześnie, iż „wykorzystanie dużych modeli językowych, takich jak ChatGPT, rośnie i będzie rosło”.
Źródło: magazyn Radiology.