Coraz więcej pacjentów korzysta z chatbotów opartych na sztucznej inteligencji w poszukiwaniu porad dotyczących zdrowia jamy ustnej. Najnowsze badanie pokazuje jednak, iż choć duże modele językowe (Large Language Model – LLM) potrafią dostarczać wartościowych informacji stomatologicznych, to przez cały czas nie są wiarygodnym narzędziem do samodzielnej oceny jakości i bezpieczeństwa porad medycznych.
Sztuczna inteligencja na dobre zadomowiła się w ochronie zdrowia – również w stomatologii. Pacjenci coraz częściej pytają chatboty o profilaktykę, leczenie czy postępowanie w nagłych przypadkach stomatologicznych. Wraz z rosnącą popularnością takich narzędzi pojawia się jednak najważniejsze pytanie: kto powinien oceniać jakość odpowiedzi generowanych przez AI?
Nowe badanie opublikowane w „International Dental Journal” wskazuje, iż obecne systemy „AI-as-a-judge”, czyli modele AI oceniające inne modele AI, nie są jeszcze wystarczająco wiarygodne, aby zastąpić ekspertów klinicznych.
Najlepsze modele radziły sobie dobrze, ale nie bez ograniczeń
Badacze przeanalizowali odpowiedzi sześciu dużych modeli językowych na dziewięć pytań dotyczących konsultacji stomatologicznych. Zakres tematów obejmował m.in. higienę jamy ustnej u niemowląt, zdrowie jamy ustnej kobiet w ciąży, suchość jamy ustnej u seniorów, profilaktykę chorób jamy ustnej oraz urazy zębów. Pytania opracowano na podstawie materiałów Światowej Federacji Dentystycznej FDI.
Odpowiedzi modeli oceniali dwaj doświadczeni lekarze dentyści oraz – niezależnie – trzy dodatkowe modele AI pełniące funkcję „sędziów”.
Najwyższe wyniki uzyskały modele DeepSeek-V3 oraz Doubao-1.8-Pro. Oceniano m.in. poprawność naukową, logikę wywodu, przydatność kliniczną, poprawność terminologii i kompletność odpowiedzi. Dobre rezultaty osiągnęły również GPT-5, Gemini 3, Qwen3-Max oraz Kimi K2, choć ich odpowiedzi były bardziej zróżnicowane jakościowo.
Autorzy podkreślają jednak, iż skuteczność modeli zależy przede wszystkim od ich architektury oraz danych wykorzystanych do treningu. – Aktualne modele językowe mają potencjał, by wspierać edukację pacjentów i dostarczać standaryzowanych informacji dotyczących zdrowia jamy ustnej – wskazali autorzy badania.
Problemem nie jest sama AI, ale sposób jej oceniania
Badanie nie wykazało, iż chatboty AI są niebezpieczne jako źródło ogólnych informacji stomatologicznych. Największe zastrzeżenia dotyczyły natomiast jakości ocen generowanych przez same systemy AI.
Zgodność ocen między dwoma lekarzami dentystami była bardzo wysoka, co potwierdziło dużą spójność eksperckiej analizy. Zupełnie inaczej wyglądała sytuacja w przypadku modeli AI. Zgodność pomiędzy „sędziami AI” była znacznie niższa, a korelacja ich ocen z opiniami klinicystów okazała się bardzo słaba.
Co więcej, modele AI miały tendencję do bardziej surowego oceniania odpowiedzi niż eksperci. Paradoksalnie, mimo ostrzejszych ocen, nie potrafiły one konsekwentnie wychwycić istotnych klinicznie braków, szczególnie w zakresie profilaktyki i zaleceń dla pacjentów z grup podwyższonego ryzyka.
Zdaniem badaczy wynika to z fundamentalnego ograniczenia współczesnych modeli językowych. – LLM-y przez cały czas opierają się głównie na wzorcach językowych, a nie na niezależnym rozumowaniu klinicznym – podkreślili autorzy publikacji.
AI może wspierać edukację, ale nie zastąpi nadzoru specjalisty
Wnioski z badania sugerują, iż modele językowe mogą w przyszłości stać się cennym narzędziem wspierającym edukację zdrowotną pacjentów, zwłaszcza tam, gdzie dostęp do lekarza dentysty jest ograniczony. Autorzy stanowczo zaznaczają jednak, iż ocena jakości i bezpieczeństwa porad klinicznych przez cały czas wymaga udziału człowieka.
Badacze rekomendują, aby rozwój kolejnych systemów AI koncentrował się nie tylko na płynności języka, ale przede wszystkim na rozumowaniu klinicznym, bezpieczeństwie pacjenta oraz podejmowaniu decyzji opartych na dowodach naukowych.
Wyniki wpisują się także w inne najnowsze analizy dotyczące zastosowania AI w endodoncji i edukacji klinicznej. Coraz więcej danych wskazuje, iż chatboty mogą być wartościowym narzędziem wspomagającym naukę i przygotowanie do egzaminów specjalizacyjnych, ale nie powinny zastępować doświadczenia i osądu lekarza.
Źródło: https://www.dental-tribune.com
https://www.sciencedirect.com
Jakie mogą być zastosowania sztucznej inteligencji w radiologii stomatologicznej? – W tej chwili sztuczna inteligencja pozwala na przeprowadzenie segmentacji, superimpozycji, badań przed i po terapii, a także przewidywanie wyników, jakie możemy uzyskać po leczeniu ortodontycznym czy chirurgicznym – mówi dr hab. n. med. Piotr Regulski, prodziekan Wydziału Lekarsko-Stomatologicznego WUM, pracownik Zakładu Radiologii Stomatologicznej i Szczękowo-Twarzowej oraz kierownik Pracowni Obrazowania Cyfrowego i Wirtualnej Rzeczywistości WUM, autor ponad 50 artykułów naukowych i wystąpień zjazdowych, który w swojej pracy naukowo-badawczej zajmuje się m.in. algorytmami sztucznej inteligencji i metodami przetwarzania obrazów medycznych.
