Studenci AGH tworzą aplikację wykrywającą pleśń na żywności. To wsparcie dla osób niewidomych i słabowidzących

Studenci Akademii Górniczo-Hutniczej pracują nad innowacyjną aplikacją mobilną, która pomoże osobom niewidomym i słabowidzącym sprawdzić, czy na produktach spożywczych pojawiła się pleśń. Rozwiązanie wykorzystuje algorytmy uczenia maszynowego i ma zwiększyć bezpieczeństwo użytkowników podczas codziennego korzystania z żywności.
Pomysł powstał z myślą o osobach, które z powodu dysfunkcji wzroku nie zawsze są w stanie samodzielnie ocenić stan jedzenia. Pleśń nie zawsze można wyczuć dotykiem lub zapachem, dlatego wiele osób musi w takich sytuacjach prosić o pomoc bliskich. Nowa aplikacja ma pozwolić na bardziej samodzielne podejmowanie decyzji dotyczących spożywania produktów.
Projekt realizuje grupa studentów kierunku Inżynieria i Analiza Danych na Wydziale Geologii, Geofizyki i Ochrony Środowiska AGH. Użytkownik będzie mógł zrobić zdjęcie wybranego produktu dzięki telefona, a system oparty na uczeniu maszynowym przeanalizuje obraz i określi, czy na powierzchni znajduje się pleśń. Wynik zostanie przekazany w formie komunikatu głosowego, informującego, czy produkt jest bezpieczny do spożycia.
Jak podkreśla Cyprian Szot, jeden z członków zespołu, dane wykorzystywane do trenowania modelu pochodzą między innymi z platformy Kaggle. w tej chwili gotowa jest już podstawowa wersja aplikacji mobilnej, a twórcy pracują nad tym, aby mogła działać zarówno z dostępem do internetu, jak i w trybie offline. W przypadku pracy bez połączenia z siecią wykorzystywane będą lżejsze modele sztucznej inteligencji, przy jednoczesnym zachowaniu jak najwyższej skuteczności rozpoznawania. Priorytetem zespołu pozostaje zdrowie i bezpieczeństwo użytkowników, dlatego szczególny nacisk kładziony jest na dokładność prognoz.
Podczas realizacji projektu studenci otrzymali wsparcie ekspertów z Instytutu Żywności i Żywienia, działającego w strukturach Narodowego Instytutu Zdrowia Publicznego PZH – Państwowego Instytutu Badawczego. Instytut udostępnił zespołowi zbiór zdjęć produktów spożywczych pokrytych pleśnią, niezbędnych do trenowania modelu. Współpracę nawiązano również z Uniwersytetem Rolniczym, gdzie konsultacji udzielała prof. Aleksandra Duda, dziekan Wydziału Technologii Żywności.
Twórcy aplikacji zadbali także o jej dostępność dla osób z dysfunkcjami wzroku. W tym celu konsultowali się z zespołem tworzącym interaktywne wystawy w Womai w Krakowie, aby lepiej dopasować funkcje programu do potrzeb przyszłych użytkowników.
Obecnie realizowane są prace nad integracją modelu analizującego zdjęcia wykonywane bezpośrednio w aplikacji. Gotowy jest już podstawowy interfejs programu oraz system głosowego informowania użytkowników o wynikach analizy. Programiści testują również współpracę aplikacji z funkcjami dostępności TalkBack w systemie Android oraz VoiceOver w systemie iOS.
Studenci zakładają, iż aplikacja będzie gotowa we wrześniu. Początkowo baza rozpoznawanych produktów będzie ograniczona, jednak twórcy liczą, iż w przyszłości rozwiązanie będzie mogło zostać rozwinięte i objąć coraz większą liczbę artykułów spożywczych.
Projekt realizują studenci: Kacper Potaczała, Filip Zagała, Jakub Skarbek, Bartek Tasak, Bartłomiej Żurek, Jakub Hus, Kamil Pyzik, Natalia Malcherek oraz Cyprian Szot. Opiekunem naukowym zespołu jest dr inż. Mateusz Zaręba.

Źródło: AGH