ChatGPT zdał egzamin z radiologi, ale póki co nie otworzy swojego gabinetu

Spis treści

ChatGPT potrafi odczytywać wyniki badań obrazowych. Ostatnio zdał egzamin na lekarza radiologa. Czy jednak jest nieomylny i pacjenci mogą mu zaufać?

Jak wyglądał egzamin?

Poziom trudności testu odpowiadał egzaminom Canadian Royal College i American Board of Radiology. Naukowcy, pod przewodnictwem dr Rajesha Bhayana (z University Medical Imaging w Toronto), sprawdzili wersję GPT-3.5 chatbota opartego na sztucznej inteligencji.

Test podzielono na kilka kategorii w dwóch grupach, tj.:

pytań prostych – podstawowego zrozumienia zagadnień;
czynności myślowych – analizy, postępowania klinicznego, klasyfikacji chorób.

AI wypadła obiecująco, choć jeszcze nie do końca wiarygodnie.

Jakie wyniki testu uzyskał ChatGPT?

ChatGPT odpowiedział poprawnie na 104 ze 150 pytań. Zdał więc na 69%. Najtrudniejsze okazało się dla niego z podstawowe stosowanie pojęć (30% dobrych) i klasyfikacja chorób (25%).

Później naukowcy przetestowali nowszą wersję chatbota – GPT-4. Tym razem zdał on na 81%. Jednocześnie, na 12 pytań, na które GPT-3.5 odpowiedział poprawnie, wersja GPT-4 odpowiedziała błędnie.

Początkowo byliśmy zaskoczeni dokładnymi i pewnymi odpowiedziami ChatuGPT na niektóre trudne pytania radiologiczne, ale potem równie zaskoczeni niektórymi bardzo nielogicznymi i niedokładnymi twierdzeniami – powiedział dr Bhayana.

Przyszłość ChataGPT

ChatGPT to według wielu najszybciej rozwijająca się aplikacja konsumencka w historii. Chatbot zdał egzamin z radiologii, ale dr Bhayan podkreśla, że “jeśli jest on używany do szybkiego przywoływania informacji, zawsze musi być zweryfikowany”. Ekspert przewiduje jednocześnie, iż „wykorzystanie dużych modeli językowych, takich jak ChatGPT, rośnie i będzie rosło”.

Źródło: magazyn Radiology.

Maciej Baska

Technologia, historia i outdoor - o tych tematach piszę najchętniej. Prywatnie kinoman i górołaz.