Autorzy badania weryfikującego wiarygodność informacji medycznych podawanych przez Google i ChatGPT przyznali, iż choć informacje od modelu językowego Google były najaktualniejsze, to jednak mocno zniekształcone przez poszukujących klientów dostawców usług i producentów. Jednocześnie ChatGPT, który jest zdecydowanie bardziej obiektywny, nie ma dostępu do najświeższej wiedzy medycznej.
– jeżeli wyodrębnilibyśmy najlepsze cechy obu tych modeli językowych, otrzymalibyśmy dużo lepszy system. Zresztą tak się prawdopodobnie stanie w ciągu najbliższych kilku lat – mówi prof. Vagelis Hristidis, główny autor omawianej publikacji.
Przełomowe badania
Interdyscyplinarne badanie pod kierownictwem prof. Vagelisa Hristidisa przeprowadzili informatycy z Uniwersytetu Kalifornijskiego w Riverside oraz klinicyści z University of Alabama i Florida International University. Przesłali oni 60 zapytań zarówno do sztucznej inteligencji stworzonej przez Google, jak i do udostępnionego przez OpenAI ChatGPT. Były to typowe zapytania od osób żyjących z demencją i ich rodzin – codziennie tysiące takich pytań pojawia się w wyszukiwarkach internetowych.
Naukowcy skupili się na demencji, ponieważ na zaburzenia z tej grupy cierpi już ponad sześć milionów Amerykanów. – Badania pokazują, iż opiekunowie osób z demencją są jednymi z najbardziej zaangażowanych w zdobywanie informacji zdrowotnych z internetu, ponieważ to właśnie oni często muszą podejmować ważne decyzje dotyczące opieki nad chorym bliskim – wyjaśniają.
Połowa użytych w badaniu pytań dotyczyła informacji o samym procesie chorobowym, a połowa usług, które mogłyby pomóc pacjentom i ich rodzinom.
ChatGPT bardziej wiarygodny niż Google?
Wyniki były bardzo zróżnicowane. – Google dawał aktualniejsze informacje i obejmował wszystkie poruszane zagadnienia – opowiada prof. Hristidis. – ChatGPT jest natomiast aktualizowany co kilka miesięcy, więc pozostaje w tyle. jeżeli na przykład w zeszłym tygodniu pojawił się jakiś nowy lek na rynku, ChatGPT o nim nie opowie – wyjaśnia.
Mimo iż ChatGPT okazał się nieco „przestarzały”, to jednak on dostarczał bardziej wiarygodnych i dokładniejszych informacji niż Google. Zdaniem naukowców dzieje się tak, ponieważ twórcy tego pierwszego wybierają do szkolenia swojego modelu poprzez uczenie maszynowe najbardziej niezawodne strony internetowe.
W przypadku Google istnieje zaś duży problem z niezawodnością, ponieważ udzielane przez niego odpowiedzi „zasadniczo obejmują wszystko: od wiarygodnych źródeł po reklamy”.
W rzeczywistości wygląda to tak, iż reklamodawcy płacą Google za wyświetlanie linków do ich witryn na górze stron z wynikami wyszukiwania. Dlatego użytkownicy często najpierw widzą odnośniki do firm poszukujących zysku, próbujących sprzedać swoje usługi lub produkty związane z opieką nad chorymi. – Znalezienie wiarygodnych informacji w Google wymaga zatem pewnego poziomu umiejętności i doświadczenia użytkownika – mówi Hristidis.
Liczy się aktualna wiedza
W przypadku poszukiwania informacji nt. choroby Alzheimera bardzo ważna jest jednak aktualna wiedza, ponieważ postęp w tej dziedzinie dokonuje się każdego dnia. – Chociaż nie ma lekarstwa na tę chorobę, to wiele badań klinicznych jest w toku, a ostatnio FDA zatwierdziła obiecującą terapię dla osób we wczesnym stadium – stwierdza badacz. – Takie aktualne informacje są więc ważne dla rodzin, które chcą dowiedzieć się o ostatnich odkryciach i dostępnych metodach leczenia – dodaje.
Autorzy badania piszą, iż „dodanie zarówno źródła, jak i daty informacji związanych ze zdrowiem oraz dostępności w innych językach może zwiększyć wartość obu platform, zarówno dla pracowników niemedycznych, jak i medycznych”.
Zwracają także uwagę, iż zarówno model Google, jak i ChatGPT uzyskały niskie wyniki w zakresie czytelności, co oznacza, iż osoby z niższym poziomem wykształcenia oraz niskimi umiejętnościami w zakresie wiedzy o zdrowiu mają ograniczone możliwości ich odpowiedniego zrozumienia.
– Według mnie ten ostatni czynnik jest jednak najłatwiejszy do poprawienia, ponieważ istnieją już narzędzia, także oparte na sztucznej inteligencji, które potrafią czytać i parafrazować tekst – wyjaśnia prof. Hristidis. – jeżeli zaś chodzi o poprawę niezawodności i dokładności, jest to o wiele trudniejsze. Nie zapominajmy, iż stworzenie ChatGPT zajęło naukowcom wiele dziesięcioleci badań nad sztuczną inteligencją. To będzie powolny proces – zauważa.
.
