Visionauta – aplikacja mobilna wspierrająca osoby niewidome jest już dostępna po Polsku

Bezpłatna aplikacja stworzona przez niewidomego inżyniera oprogramowania, który pracował w Google i Samsungu, ma asystenta, który widzi: prowadzi rozmowę głosową bez przerw, opisuje otoczenie, podaje, gdzie się znajdujesz, wyszukuje informacje w internecie, czyta i odtwarza nuty, nagrywa filmy z dźwiękiem i pomaga niewidomym robić dobrze skadrowane zdjęcia. Dostępna na iPhone’a i Androida.
Visionauta, aplikacja ułatwień dostępu, która wykorzystuje sztuczną inteligencję, aby dać większą samodzielność osobom niewidomym i słabowidzącym, zapowiada swoją nową wersję — i od dzisiaj mówi w 39 językach: portugalskim, angielskim, hiszpańskim, francuskim, koreańskim, niemieckim, japońskim, włoskim, arabskim, rosyjskim, chińskim uproszczonym, hindi, bengalskim, wietnamskim, tureckim i indonezyjskim, a także w 23 nowych: czeskim, greckim, estońskim, perskim, fińskim, hebrajskim, węgierskim, islandzkim, litewskim, marathi, niderlandzkim, polskim, rumuńskim, słowackim, słoweńskim, szwedzkim, suahili, tamilskim, telugu, tajskim, ukraińskim, urdu i kantońskim. Tłumaczenie obejmuje całą aplikację, polecenia głosowe, czytanie tekstów, a także odpowiedzi sztucznej inteligencji, która rozmawia z użytkownikiem w jego języku. Dzięki 23 nowym językom aplikacja trafia do osób mówiących w Europie, na Bliskim Wschodzie, w Afryce i w Azji.
Aplikacja jest bezpłatna i dostępna na iPhone’a w App Store oraz na Androida w Google Play.

ROZMOWA W CZASIE RZECZYWISTYM: ASYSTENT, KTÓRY WIDZI I MÓWI

Główną funkcją Visionauta jest Rozmowa w czasie rzeczywistym. W jej trakcie użytkownik mówi naturalnie, bez naciskania przycisków i bez czekania na swoją kolej, do sztucznej inteligencji, która patrzy przez aparat telefonu i od razu odpowiada głosem — jakby obok był przyjaciel, który widzi i opisuje świat. W najnowszej wersji głos rozmowy stał się wyraźniejszy, z mniejszą ilością szumów i lepszą dykcją.
Podczas tej rozmowy Visionauta potrafi:

• Opisywać otoczenie i sceny — co jest w pokoju, kto jest w pobliżu, jak wygląda stół, jakie ubranie leży na łóżku, czy światło jest zapalone.
• Mówić, gdzie użytkownik się znajduje i co jest wokół — aktualny adres, ulice, punkty orientacyjne, apteki, piekarnie i najbliższy przystanek autobusowy, korzystając z informacji mapowych w czasie rzeczywistym.
• Wyszukiwać informacje w internecie — wiadomości, godziny, ceny, aktualne dane, bez opuszczania rozmowy.
• Czytać i odtwarzać nuty — wystarczy skierować aparat na drukowane nuty. Visionauta rozpoznaje nuty, czyta muzykę na głos i odtwarza ją na samym urządzeniu, generując pliki MusicXML i MIDI. Funkcja bezprecedensowa dla niewidomych muzyków, którzy historycznie zależą od innych osób lub od rzadkich i drogich wydań w brajlu.
• Pomagać osobie z niepełnosprawnością wzroku robić zdjęcia — asystent zdjęć podpowiada kadrowanie, informuje, kiedy jest dobrze, odlicza i uruchamia aparat, aby zdjęcia rodzinne, dokumentów czy do mediów społecznościowych wychodziły dobrze.
• Nagrywać filmy z dźwiękiem — użytkownik prosi głosem, asystent podpowiada kadrowanie i nagrywa; nagranie można wstrzymać, wznowić, zakończyć lub anulować dzięki dostępnych elementów sterowania, a filmy są zapisywane w sekcji Aktywności, gotowe do obejrzenia i udostępnienia.
• Zamawiać przejazd głosem — wystarczy powiedzieć cel podróży, a aplikacja otworzy Ubera, 99, Bolt lub Lyft z już wypełnionym zamówieniem, pozostaje tylko potwierdzić.
• Odpowiadać na każde pytanie o to, co jest przed aparatem — co to za produkt, jaka jest data ważności, jakiego koloru jest to ubranie, co jest napisane na tej tabliczce.

VISIONAUTA MAGIC: SZTUCZNA INTELIGENCJA, KTÓRA OPISUJE OBRAZY I WYKONUJE ZADANIA NA TELEFONIE

Dostępny wyłącznie na Androida dla subskrybentów Visionauta Plus, Visionauta Magic współpracuje z czytnikiem ekranu urządzenia, takim jak TalkBack, i rozwiązuje dwa dawne problemy społeczności:
Po pierwsze, opisuje obrazy bez etykiet, które pojawiają się w każdej aplikacji. Gdy fokus czytnika ekranu zatrzymuje się na obrazie, ikonie lub karcie bez opisu, Visionauta analizuje tylko ten element i głośno ogłasza, co się na nim znajduje.
Po drugie, wykonuje zadania na telefonie. Użytkownik prosi o coś w rodzaju „otwórz WhatsApp i wyślij wiadomość do Ani”, a Visionauta tworzy plan, czyta go na głos i działa dopiero po zatwierdzeniu przez użytkownika — opisując każdy krok i dając możliwość przerwania w dowolnej chwili przyciskiem awaryjnym lub dwukrotnym stuknięciem dwoma palcami. Nic się nie dzieje bez potwierdzenia.

FUNKCJE NA CO DZIEŃ

Poza rozmową Visionauta zachowuje zestaw narzędzi, który uczynił ją popularną w społeczności osób z niepełnosprawnością wzroku, a znaczna ich część działa bez internetu:

• Czytanie tekstów offline — skieruj aparat na dokumenty, opakowania, listy lub tablice i posłuchaj treści na głos.
• Rozpoznawanie banknotów — real, dolar, euro, peso meksykańskie, jen, dolar kanadyjski i australijski, bez dostępu do internetu.
• Lokalizator przedmiotów — powiedz „pomóż mi znaleźć telefon”, a aplikacja skanuje otoczenie, sygnalizując wibracją i głosem, gdy go znajdzie.
• Elektroniczna lupa dla słabowidzących — z powiększeniem i trybami wysokiego kontrastu, odwróconymi kolorami, białym na czarnym, czarnym na białym i żółtym na niebieskim.
• Latarka z przypomnieniem wibracją.
• Własne naturalne głosy — które można używać w całym systemie, jako głos TalkBack na Androidzie i VoiceOver na iPhonie, działające offline po pobraniu.

Wersja na iPhone’a jest w pełni zintegrowana z VoiceOver i funkcjami ułatwień dostępu iOS.

O TWÓRCY

Jonathan Santos jest inżynierem systemu specjalizującym się w sztucznej inteligencji, który pracował w Google i Samsungu. Jako badacz i doktorant inżynierii komputerowej na Universidade Presbiteriana Mackenzie jest także wykładowcą na Faculdade de Cięncias Médicas da Santa Casa de São Paulo, gdzie prowadzi zajęcia z Generatywnej Sztucznej Inteligencji Stosowanej w Zdrowiu. Jest niewidomy i poświęca się tworzeniu technologii dostępnościowych, które wspierają niezależność osób z niepełnosprawnością wzroku.

Źródło: materiały prasowe