Efekt tzw. black box w sztucznej inteligencji to synonim braku transparentności. Jest to jedna z największych barier w zastosowaniu AI w medycynie na masową skalę. Żeby w jakimś stopniu zniwelować problem, nowe przepisy rozporządzenia UE przewidują wprowadzenie w algorytmach wysokiego ryzyka obowiązkowego rozwiązania, którego istota sprowadza się do czarnej skrzynki znanej z samolotów.
- Coraz powszechniejsze modele sztucznej inteligencji okazują się pomocne w sytuacji gdy próby szukania rozwiązania, krok po kroku, skazane są na porażkę. „Wymagają” jedynie podania zbioru danych, które uważamy za istotne, po czym wskazują rozwiązanie
- Rozwiązania te, wygodne w codziennym życiu, rodzą obawy, w takich obszarach jak medycyna czy bezpieczeństwo, gdzie nie można pozwolić sobie na rezygnację z kontroli
- Aby zminimalizować ryzyka związane z systemem AI w medycynie, Unia Europejska wprowadza konieczność rejestrowania wszystkich zdarzeń istotnych dla identyfikacji sytuacji, w których sztuczna inteligencja będzie stwarzała ryzyko dla zdrowia lub życia pacjenta
- Rejestr zdarzeń ma zadanie odtworzenia warunków i stanu „środowiska”, w jakim uruchomiono algorytm, co w przypadku, gdyby zadziałał wadliwie, ma pozwolić wyeliminować błąd oraz pozwolić na zweryfikowanie, kto za niego i jego konsekwencje odpowiada
- Problemem dla lekarzy jest to, czy AI należy traktować jako aktualną wiedzę medyczną. Nie jest bowiem jasne, czy zastosowanie AI (odmowa takiego zastosowania albo też postąpienie wbrew jej rekomendacji) może stać się podstawą do postawienia lekarzowi zarzutu dopuszczenia się błędu w sztuce
