Mesterséges_Intelligencia_3D

Planktonikus algák 3D modeljei

A közcélú küldetés

A felszíni vizel fitoplankton alapján történő monitorozása során a feladatot végző laboratóriumok a Víz Keretirányelv adminisztratív elvárásainak megfelelő gyakorlatot követik, azaz a mintavételek, amelyek havi gyakorisággal történnek, és csupán az 50 ha-nál nagyobb méretű tavak és tározókat érintik. Egy olyan élőlénycsoportnál, melynek reprodukciós ideje hozzávetőleg két nap ez a mintavételi gyakoriság nem teszi lehetővé, hogy a változásokat (amelyek olykor szélsőséges mértékűek is lehetnek) időben követni tudjuk. Ugyancsak probléma, hogy az 50 ha-nál kisebb vízterekről semmilyen információ nem áll rendelkezésre, holott a rekreációs célú holtmedrek és tározók döntő része ebbe a kategóriába tartozik. A fentiekben részletezett fejlesztések gyakorlati alkalmazásával a mintafeldolgozásra fordított idő olyan mértékben lerövidülhet, ami lehetővé teszi több minta feldolgozását, így a mintavételi gyakoriság növelését és a vizsgálatok kiterjesztését korábban nem vizsgált, de társadalmi szempontból fontos vízterekre.


A program megvalósításához 3 fő új alkalmazása történt meg, akik a 3D modellezésben és a mesterséges intelligencia tanításához szükséges képi feldolgozást és annotálást végzik. A munka során 2021. augusztus 31-ig kidolgoztuk a mesterséges intelligencia tanításához szükséges módszertant, beleértve a képek készítésének módját, azok annotálását, teszteltük a mesterséges intelligencia alkalmazásának lehetőségeit. A munkafolyamat részleteinek kidolgozását követően megkezdtük több víztér (Tisza-tó, Mocskos-Duna, Paks-Duna, Vaja-tározó, Keleti-főcsatorna, Bárdosi-tó) fitoplankton mintáinak feldolgozását. Eddig 480 mikroszkópos kép feldolgozása történt meg, melynek során hozzávetőleg 130 fajról 14000 annotációt végeztünk. A mesterséges intelligencia jelenleg 14 faj azonosítását végezte el. A módszer működésének igazolását követően, kiválasztottunk a Tisza-tavat, az Alföld társadalmi szempontból legfontosabb nagy vízterét és megkezdtük a tó vízmintáinak feldolgozását.
A program során munkakapcsolatot alakítottunk ki a Közép-Tiszavidéki Vízügyi Igazgatóság laboratóriumával.


Társadalom & döntéshozók számára kézzel fogható eredmények

A Program kapcsán két rádióriport hangzott el. A 3D-algák alkalmazhatóságát bemutató közleményünkkel az Élet és Tudomány címoldalára kerültünk

Annotálás folyamata

Annotálatlan nyers képek

Annotált képek

Koncepció

Mikroalgák 3-dimenziós valósághű vizualizációja

Az állóvizek ökológiai állapotának egyik legfontosabb indikátora a fitoplankton mennyisége és fajösszetétele. E két jellemző alapvetően meghatározza a vizek ökológiai állapotát és társadalmi használhatóságát. A hazai vízügyi gyakorlatban ezért évente több ezer fitoplankton minta vizsgálata zajlik. A minták mikroszkópos feldolgozásának szűk keresztmetszetét a kellő határozási gyakorlattal rendelkező szakemberek hiánya, valamint magának a mintafeldolgozásnak a biomasszabecsléssel kapcsolatos módja jelentik. A TKO Funkcionális Algológiai Kutatócsoportja ezért olyan fejlesztéseket indított el, amelyek megkönnyítik a határozást, és jelentős mértékben gyorsítják és pontosabbá teszik a biomasszabecslést.

A mikroalgák 3dimenzós modellezésén alapuló projekt keretében sikerült olyan eljárást kidolgoznunk, amellyel 2500 mikroalga térfogatának és felületének mérése elvégezhető a jelenlegi CEN szabványnál jóval pontosabb mérési eredményeket kapva https://doi.org/10.1016/j.scitotenv.2021.145538 (Borics et al., 2021). Ennek a projektrésznek a kiterjesztését tervezzük valamennyi édesvízi algataxonra. Emellett a fajok 3D-s vizualizációja lehetővé teszi a jelenleg használatos határozóirodalmak kiváltását a mikroszkópi képekkel azonos megjelenésű modellekkel. Ezzel egy nemzetközileg is új utat nyithatunk a határozás módszertana terén, és segítséget nyújtanánk a képzésben. http://freshwater-ecology.com:3838/3D_Algae/

A Kutatócsoport kapcsolódó projektjében a fitoplankton minták feldolgozásának másfél évszázada változatlanul működő metódusát hivatott kiváltani a mesterséges intelligencia alkalmazásával. Mivel a TKO Funkcionális Algológiai Kutatócsoportja munkája során évi több száz fitoplankton minta vizsgálatát végzi, lehetőség van fotódokumentációkat is készíteni a mikroszkópi képekről. Amennyiben a rögzített képeken látható szervezeteket egyenként azonosítjuk és megjelöljük, lehetőség nyílik arra, hogy tanítsuk a mesterséges intelligenciát azok felismerésére. Az eljárás nemcsak segítené a fénymikroszkópos mintafeldolgozást, de azt teljesen új alapokra is helyezheti. 

 

A mesterséges intelligencia tanításának folyamatábrája

Elért eredmények a gépi algafelismeréssel

A vízmintákban előforduló algák megtalálása, felismerése, bejelölése és a méretük meghatározása a képfeldolgozás feladattípusai közül az objektumfelismerésre vezethetők vissza.
A fejlesztés irodalomkutatással kezdődött, a számos objektumfelismerésre alkalmas neurális hálóra épülő módszer közül a YOLOv4 [https://arxiv.org/abs/2004.10934] nevű tűnt számunkra megfelelőnek. Pontossága mellett kivételesen gyors, illetve készítői nagy hangsúlyt fektettek a gyakorlati alkalmazhatóságra. A konvolúciós neurális hálók általában sokkal gyorsabban taníthatók nVidia videókártyán (GPU-n), ami saját tulajdonban nem állt rendelkezésre, de a felhőszolgáltatóknál bérelhető ezzel ellátott virtuális gép. A projecthez az Amazon Cloud-ban (AWS) béreltünk GPU-val ellátott számítógépet a mesterséges intelligencia tanításokhoz.

A folyamatosan gyűlő annotációk között 10 fajból / csoportból gyűlt már össze legalább 50 egyed képe – ezt a 10 osztályt tanítottuk a neurális hálónak. A jelenlegi eredmények bíztatóak: a dobozokat is jó pontossággal helyezi le a gépi módszer, illetve a faj-felismerés is máris jó pontossággal kategorizálja be az egyedeket, és hagyja figyelmen kívül a szennyeződéseket.

A következő képpárok bal oldalán az emberi annotáció, jobb oldalán a gépi felismerés kimenete látható: