Według dr Jharny M. Patel, w miarę jak platformy sztucznej inteligencji (AI) zyskują na znaczeniu, opracowanie specjalnego języka, którego lekarze będą używać do integracji platform takich jak ChatGPT z praktyką, może okazać się korzystnym przedsięwzięciem.
Podczas Doroczne spotkanie SGO 2024 na temat raka u kobietPatel przedstawiła wyniki badania, w którym analizowano wykorzystanie ChatGPT do udzielania odpowiedzi na pytania z zakresu poradnictwa genetycznego dla pacjentek z nowotworami ginekologicznymi. Ustalenia wykazały iż w przypadku 20 pytań związanych z poradnictwem genetycznym opinie ginekologów-onkologów dały wszystkim odpowiedziom ChatGPT ocenę 1, co oznacza, iż odpowiedzi były wyczerpujące i prawidłowe. Ponadto 67% odpowiedzi na 20 pytań dotyczących zespołu Lyncha oraz dziedzicznego raka piersi i jajnika uzyskało wynik 1. Dodatkowe 33% otrzymało wynik 2, co oznacza, iż odpowiedź była prawidłowa, ale niepełna.
„ChatGPT to potężne narzędzie, ale ma swoje ograniczenia. Potrzeba więcej pracy w tej konkretnej dziedzinie, zanim będzie można ją w praktyce zastosować w onkologii ginekologicznej” – stwierdził Patel w wywiadzie dla OncLive®. „Mam jednak nadzieję, iż to [study] otwiera nam drzwi do rozważenia możliwości wykorzystania tego potężnego narzędzia jako źródła informacji dla pacjentów.
W wywiadzie Patel omówiła uzasadnienie wykorzystania ChatGPT do udzielania odpowiedzi na pytania z zakresu poradnictwa genetycznego w dziedzinie onkologii ginekologicznej, rozwinęła wnioski z tego badania i szczegółowo opisała kolejne etapy badania platform AI pod kątem potencjalnego zastosowania w praktyce klinicznej.
Patel jest specjalistą onkologii ginekologicznej w Perlmutter Cancer Center na Uniwersytecie Nowojorskim w Langone Health.
OncLive: Jakie było uzasadnienie zbadania zastosowania ChatGPT w poradnictwie genetycznym u pacjentek z nowotworami ginekologicznymi?
Patel: ChatGPT jest coraz częściej używany przez wszystkich, w tym naszych pacjentów. ChatGPT był przedmiotem wielu niedawnych dochodzeń i stwierdzono, iż zdał egzamin licencyjny Stanów Zjednoczonych [USMLE]. Dlatego chcieliśmy konkretnie zobaczyć, jakie mogą być jego zastosowania w onkologii ginekologicznej.
Wiemy to [ChatGPT] dobrze odpowiada na pytania oparte na faktach; chcieliśmy jednak przetestować jego zdolność do odpowiadania na bardziej szczegółowe pytania. Uważamy, iż poradnictwo genetyczne jest kategorią, którą należy sprawdzić pod kątem bardzo konkretnych pytań.
Jakie były niektóre metody i projekty tego badania?
Stworzyliśmy listę 40 pytań we współpracy z ginekologami onkologami i ankietami prowadzonymi na stronach internetowych towarzystw zawodowych, dotyczącymi najczęstszych pytań związanych z poradnictwem genetycznym w ginekologii onkologicznej. Lista pytań [was] następnie podzielić na dwie kategorie. Pierwsza kategoria dotyczyła ogólnie pytań z zakresu poradnictwa genetycznego i były to pytania takie jak: „Czy będzie miało to wpływ na moje ubezpieczenie, jeżeli uzyskam pozytywny wynik testu na obecność wirusa?” BRCA zespół?’ Drugi zestaw pytań dotyczył pytań bardziej specyficznych dla zespołu, takich jak zespół Lyncha i BRCA-powiązane pytania dotyczące dziedzicznego raka piersi i jajnika.
Pytania zostały zadane w ChatGPT. Wykorzystaliśmy poziom czytania ósmej klasy, aby naśladować przeciętnego użytkownika. Zapytania były następnie oceniane przez 2 ginekologów-onkologów w skali od 1 do 4. Wynik 1 oznaczałby, iż odpowiedź była całkowicie prawidłowa i wyczerpująca, a w praktyce klinicznej ginekolog-onkolog prawdopodobnie nie miałby nic istotnego do dodania do tej odpowiedzi . Wynik 4 oznaczałby całkowicie błędną odpowiedź. W przypadku rozbieżności w punktacji pomiędzy dwoma recenzentami, dodatkowych ginekologów-onkologów proszono o ocenę pytań w celu wyjaśnienia wszelkich rozbieżności.
Jakie były główne wnioski z tego badania i czy było coś dla Ciebie szczególnie zaskakującego?
Najbardziej zaskakujące odkrycie dotyczyło kategorii ogólnych pytań z zakresu poradnictwa genetycznego. ChatGPT odpowiedział [those questions] ze 100% zrozumieniem i dokładnością. Nie było żadnych różnic w punktacji. Wszyscy onkolodzy-ginekolodzy, których poprosiliśmy o ocenę tych pytań, zgodzili się, iż wszystkie te odpowiedzi były wyczerpujące i prawidłowe.
Kolejnym odkryciem było to, iż w pytaniach dotyczących konkretnego zespołu, zwłaszcza zespołu Lyncha i BRCA-zespoły związane, chociaż ChatGPT był dokładny [with a score of 1] W 67% przypadków rzeczywiście zawierał prawidłowe odpowiedzi [that] nie były kompleksowe [a score of 2], a uczestnicy uznali, iż do tej odpowiedzi mogliby dodać coś jeszcze. Na pewno było to zaskakujące i interesujące z obu stron.
Czy były jakieś istotne ograniczenia tego badania?
Nasze badanie miało ograniczenia. Był to system punktacji zaadaptowany z wcześniej opublikowanej literatury, co oznacza, iż nasze badanie było nieodłącznie związane z jakimkolwiek błędem w punktacji, jaki mógł wystąpić. Staraliśmy się ograniczyć tę stronniczość, upewniając się, iż każdy recenzent był ślepy na odpowiedzi innych recenzentów.
Kolejnym ograniczeniem były nasze szczegółowe pytania dotyczące zespołu Lyncha. Do naszego badania uwzględniliśmy tylko 3 pytania, które dotyczyły konkretnie zespołu Lyncha, co ograniczyło naszą zdolność do wyciągania jakichkolwiek kształtujących wniosków na temat tej konkretnej kategorii. Dodanie większej liczby pytań dotyczących zespołu Lyncha mogłoby pozwolić nam na bezpośrednie porównanie tej kategorii pytań z pytaniami dotyczącymi dziedzicznego raka piersi i jajnika.
Czy są jakieś dalsze kroki w przypadku tych badań?
Kolejne kroki [this] badania są naprawdę fascynujące. Wszędzie opracowywane są potoki sztucznej inteligencji i byłoby interesujące sprawdzić, czy przy udziale lekarzy można by opracować podobny model języka sztucznej inteligencji, który pomógłby sprawdzić, czy generuje on bardziej kompleksowe odpowiedzi, niż lekarz udzielałby w swojej praktyce klinicznej w przeciwnym razie. Następnie [we could see] czy faktycznie wpływa to na liczbę badań genetycznych u naszych pacjentów.
Odniesienie
Patel JM, Hermann CE, Growdon WB, Aviki E, Stasenko M. ChatGPT dokładnie wykonuje poradnictwo genetyczne w przypadku nowotworów ginekologicznych. Zaprezentowano podczas: Dorocznego spotkania SGO 2024 na temat raka u kobiet; 16-18 marca 2024; San Diego, Kalifornia.
