Wybierz język:
Wywiad z Rolandem Haase z zespołu projektowego odpowiedzialnego za rozwój systemu EUROLabOffice i EUROPattern Classifier w EUROIMMUN AG.
Co sądzisz o przyszłości sztucznej inteligencji (AI, ang. artificial intelligence) w naszym życiu?
W ostatnich latach algorytmy sztucznej inteligencji wkroczyły do naszego codziennego życia. Technologie, które jeszcze niedawno wydawały się nieosiągalne, takie jak odblokowywanie urządzeń elektronicznych dzięki rozpoznawania twarzy, tłumaczenie mowy na tekst czy prowadzenie (bardziej lub mniej) znaczących rozmów z chatbotami, stały się powszechne. Korzystamy z tych osiągnięć zarówno w życiu codziennym, jak i w pracy zawodowej.
Zastosowanie algorytmów AI w specjalistycznych aplikacjach otwiera zupełnie nowe możliwości. Tam, gdzie praca wiąże się z interakcją z danymi (obrazami, tekstem, wynikami pomiarów i danymi teoretycznymi itp.), odpowiednio wdrożone narzędzia AI mogą ją znacznie ułatwić. AI umożliwia również łagodzenie skutków zmian demograficznych – nie poprzez odbieranie miejsc pracy, ale poprzez eliminację rutynowych czynności, co pozwala pracownikom skupić się na bardziej znaczących zadaniach.
W naszej aplikacji EUROLabOffice używamy algorytmu AI, który nazywa się splotowymi sieciami neuronowymi. Czy mógłbyś wyjaśnić, czym one są i jak działają?
Splotowe (lub inaczej konwolucyjne) sieci neuronowe (CNN, ang. convolutional neural networks) są najważniejszym typem algorytmu AI stosowanym w przetwarzaniu obrazów. Mówiąc najprościej, CNN przeprowadza na cyfrowym obrazie wejściowym szereg operacji filtracyjnych, wydobywając z niego określone informacje lub wyniki. Może to obejmować na przykład klasyfikację obiektów na obrazie (czyli identyfikację, co znajduje się na obrazie), segmentację obrazów (czyli podział obrazu na różne obszary) lub inne zadania. CNN są bardzo wszechstronne i mogą rozwiązywać różne problemy związane z przetwarzaniem obrazów. jeżeli chodzi o analogie biologiczne, można porównać to do sposobu, w jaki kora wzrokowa przetwarza informacje – CNN są inspirowane i blisko związane z tą strukturą.
Na czym polega proces szkolenia splotowej sieci neuronowej, aby osiągnąć pożądane wyniki?
Aby CNN mogła generować prawidłowe wyniki, musi być szkolona na danych referencyjnych. Wielokrotnie prezentowane są jej te same dane wejściowe oraz oczekiwane wyniki. Dzięki optymalizacji matematycznej wspomniane wcześniej filtry są dostosowywane w taki sposób, aby „nauczyły się” wydobywać z obrazu wejściowego pożądane informacje. Dzieje się to analogicznie do nauki języka obcego – początkowo rozumiemy tylko podstawowe słownictwo, a z czasem, dzięki praktyce i feedbackowi, stajemy się coraz lepsi. Podobnie sieć neuronowa dostosowuje połączenia neuronowe, aby lepiej rozumieć określone obrazy wejściowe.
To naprawdę fascynujące. Jak to działa w przypadku testów immunofluorescencji pośredniej (IFA, ang. indirect immunofluorescence assay)?
EUROLabOffice i EUROPattern Classifier przy użyciu splotowych sieci neuronowych automatycznie analizują obrazy IFA uzyskane z mikroskopów automatycznych (EUROPattern Microscope Live, UNIQO 160 itp.). Dzięki temu użytkownicy niemal natychmiast otrzymują propozycje wyników dla różnych testów EUROIMMUN IFA i dowolnej liczby badanych próbek. Propozycja wyniku to połączenie wykrytego przez oprogramowanie wzoru świecenia IFA z szacowanym mianem. Dodatkowo, oprogramowanie automatycznie sortuje obrazy według intensywności świecenia wzoru, co pozwala użytkownikom gwałtownie rozróżnić obrazy potencjalnie pozytywne od negatywnych. Umożliwia to pracownikom laboratoriów szybki przegląd wyników testów, choćby przy dużej liczbie próbek.
Jakie są główne wyzwania związane z pracą z wzorami świeceń IFA?
Rozwój systemów AI dla obrazów IFA napotyka wiele wyzwań, z których najważniejsze jest pozyskiwanie danych szkoleniowych. Obrazy, z którymi pracujemy, muszą być pozyskiwane dzięki specjalistycznego sprzętu i opisywane przez wykwalifikowany personel, co sprawia, iż dane szkoleniowe są ograniczone i kosztowne. W porównaniu do opracowywania klasyfikatorów obrazów kotów i psów, gdzie każdy może samodzielnie tworzyć zestawy danych, w przypadku obrazów IFA sytuacja jest bardziej skomplikowana. Dodatkowo, niektóre istotne dla nas przeciwciała mają niską prewalencję, co prowadzi do problemu „nierównowagi klas” w danych szkoleniowych – zestawy danych zawierają wiele próbek negatywnych i kilka pozytywnych. Wreszcie, wiele substratów IFA, zwłaszcza komórki HEp-2, może prezentować mieszane wzory świeceń, co utrudnia automatyczne wykrywanie wzorów.
Czy możliwe jest połączenie różnych obrazów w jeden wynik przypisany do próbki?
Tak, zdecydowanie! Ponieważ w testach wykonywanych z wykorzystaniem zestawów EUROIMMUN IFA próbki są zwykle inkubowane w różnych rozcieńczeniach i na różnych substratach, łączymy wszystkie informacje z poszczególnych obrazów (gdzie jeden obraz odpowiada jednemu rozcieńczeniu i jednemu substratowi) w jeden wynik dla całej próbki. Dzięki temu wynik analizy jest wiarygodny zarówno pod względem przypisanego wzoru świecenia IFA, jak i oszacowanego miana. Można to porównać do układanki, w której pojedyncze obrazy muszą zostać prawidłowo połączone – próbka jest naszą układanką, a poszczególne obrazy jej elementami. Uzyskanie propozycji wyniku próbki dzięki systemu jest korzystne zarówno dla pracownika laboratorium, jak i dla pacjenta: eliminuje konieczność analizowania każdego obrazu, a jednocześnie dzięki ustandaryzowanemu przetwarzaniu zapewnia porównywalne wyniki. Oczywiście, jeżeli zajdzie taka potrzeba, w EUROLabOffice można również przeglądać wszystkie pojedyncze obrazy.
Jakie są plany dotyczące rozwoju oceny wzorów świeceń IFA w najbliższej przyszłości?
Plan rozwoju systemu EUROPattern Classifier jest trzyetapowy. Przede wszystkim koncentrujemy się na wspieraniu rozwijającej się oferty EUROIMMUN IFA. Po drugie, pracujemy nad obsługą nowych urządzeń laboratoryjnych EUROIMMUN IFA, takich jak UNIQO 160, aby zapewnić tę samą ofertę testów i jakość wyników co dla pozostałych urządzeń. Wreszcie, nieustannie dążymy do poprawy jakości naszego systemu poprzez śledzenie najnowszych osiągnięć technologicznych, zapewnienie jego bezpieczeństwa oraz optymalizację czasu przetwarzania.
Dziękuję bardzo.
Rozmawiał: Mateusz Miłosz
Decoding convolutional neural networks: The backbone of immunofluorescence image processing in modern labs
Interview with Roland Haase from the EUROLabOffice and EUROPattern Classifier software development project team at EUROIMMUN AG.
What do you think the future holds for AI (artificial intelligence) in our lives?
AI algorithms have rapidly found their way into our daily lives in recent years. Things that used to be inconceivable such as unlocking your personal electronic devices through facial recognition, speech-to-text language translation or having (more or less) meaningful conversations with your favorite chatbot are now commonplace. Although the professional sector equally benefits from these developments in the mainstream, AI algorithms offer another whole set of opportunities for businesses through specialized applications. Wherever a job incorporates the interaction with data (images, text, abstract measurements, etc.), AI tools can facilitate the work, if they are implemented right. As such, AI offers the unique possibility to mitigate the effects of demographic change – not by replacing jobs, but by allowing employees to focus on meaningful tasks and to do away with repetitive or redundant ones.
We use an AI algorithm called convolutional neural networks in our EUROLabOffice Software. Could you explain what it is and how it works?
Convolutional neural networks (CNNs) are the most prominent type of AI algorithm for image processing out there today. Put simply, a CNN takes a visual input (a digital image) and applies a series of filter operations to that input. Through this process, a certain type of information or output is extracted from the input image. This could, for example, be the type of object that is displayed in the input (a.k.a. image classification), but it could also be a partitioning of the input into different regions (a.k.a. image segmentation) or something else entirely. CNNs are very versatile in that respect and can be used to solve all kinds of image processing problems. For those interested in analogies with biology, think of the way that the visual cortex processes information (cf. works of Hubel & Wiesel) – CNNs are inspired by and closely related to this architecture.
What is the process of training a convolutional neural network to achieve desired outputs?
In order for a CNN to produce valid outputs, it has to be trained on samples of ground truth data. During this training process, the network is shown the same samples of input data along with the desired outputs over and over again. Through mathematical optimization, the filters mentioned above are adapted during this process in such a way that they “learn” to extract the desired information from the input image. Again, an analogy can be drawn with the way that humans learn things, i.e., by being shown examples, by practicing and by feedback. Think of the way that you learn a new language in school: at first you only understand a small vocabulary, but the more you hear the language and the more feedback you receive from your teacher, the better you become at it. What happens in your brain when you learn a new language is very similar to what happens in a neural network during its training: neuron connections are adapted so that the whole system becomes better at “understanding” certain inputs.
It’s pretty amazing stuff. Could you explain how it works for IFA (indirect immunofluorescence assay) testing in simple terms?
With our EUROLabOffice and EUROPattern Classifier software, we provide a system that automatically analyzes the IFA images taken by our automatic microscopes (EUROPattern Microscope Live, UNIQO 160, etc.) with convolutional neural networks. What this means for our users is that they receive result proposals for various EUROIMMUN IFA assays and for any number of tested samples with little to no delay. In our context, a result proposal describes the combination of a software-detected IFA pattern with a corresponding titer estimate. Moreover, our software system automatically sorts images by pattern brightness so that users can quickly differentiate between potentially positive and negative images. This helps lab workers to get a good overview of test results at first glance, even for large numbers of tested samples.
What are the main challenges when working with IFA images?
There are multiple challenges when it comes to developing AI systems for IFA images, the most crucial one being the availability of training data. Since the images that we work with have to be acquired with specialized hardware and have to be labeled by trained personnel, our training data is comparatively limited and expensive. Compare this to developing an image classifier which distinguishes between images of cats and dogs. Everyone can take pictures of cats and dogs with their smartphone, label them by themselves and thus generate a training dataset. However, none of this is the case for IFA images and that’s what it makes it a challenge. Moreover, since some of the antibodies that we are interested in have a low prevalence, we often face the problem of “class imbalance” in our training data. This means that a dataset is comprised of lots of negative and comparatively few positive learning samples/images. Think back to the analogy of learning a new language: when you hear certain words only infrequently, you will have a harder time getting them right compared to words that you hear regularly. Finally, let me mention the challenge of mixed patterns: many IFA substrates, especially HEp-2 cells, can exhibit different patterns, sometimes even at the same time. Correctly detecting multiple patterns is therefore another key challenge in automating IFA image analysis.
Is it possible to combine the results of different images into one result per sample?
Yes, very much so! Since samples are usually incubated across multiple dilutions and substrates in our EUROIMMUN IFA assays, we combine all of the information that we extract from the individual images (where one image corresponds to one dilution and one substrate) into one result for the whole sample. By combining all of the single image analyses, the resulting sample analysis computed by our software becomes robust and reliable, both in terms of IFA pattern and titer estimates. Think of the whole sample as a puzzle and the single images as its pieces, which have to be combined in the right way. Having a sample result proposal computed in software is also desirable from both the lab worker’s and the patient’s perspective: it saves the lab worker the effort of reviewing each individual image and it ensures comparable results through standardized processing. Of course, users are still able to review all single images in our EUROLabOffice software, if it is required.
What’s the plan for developing IFA evaluation in the near future?
The development plan for our EUROPattern Classifier software is always threefold. First and foremost, we work on supporting an ever-growing number of EUROIMMUN IFA assays with our software. Secondly, we work on supporting each new EUROIMMUN IFA lab device, e.g. the UNIQO 160 as of recent, by making sure that we offer the same assay portfolio and the same quality of result proposals as for the established devices. Finally, we are constantly striving to improve the quality of our software by keeping up with the latest technological developments, by ensuring its security and by optimizing processing times.
Thank you very much.
Interviewer: Mateusz Miłosz
