Gyümölcsfák állapotfelmérése drónok segítségével

A videó teljes tartalmának szöveges verziója:

Köszönöm szépen a lehetőséget az előadás megtartására és nagy szeretettel üdvözlök mindenkit itt a szekcióban. Abban a kényelmes helyzetben vagyok, hogy rengeteg hivatkozási alapom keletkezett itt már ebben a szekcióban is, illetve ha közületek. Elnézést a tegeződésért, ez természetesebben jön nekem. Igaz, hogy az életkorom az lehet, hogy némelyeknél fiatalabb, de megköszönöm, ha ezt lehet használnom. Ha esetleg némelyikőtök a drónok szekcióban is részt vett, ami reggel 9 órától kezdődött, ott is nagyon nagyon érdekes információkat lehetett gyűjteni úgyhogy lehet, hogy majd erre meg arra a szekcióra is hivatkozni fogok az előadás során.

Gyümölcsfák állapotfelmérése UAV távérzékeléssel. Igazából az a munka, amit itt szeretnék megmutatni, az egy javaslat, egy esettanulmány, amit én precíziós gazdálkodási szakmérnöki tanulmányaim végén szakdolgozati munkaként készítettem el 2022 ben. Ezt szeretném megmutatni, és igazából az egész történetnek az lenne a célja, hogy egy olyan nagy hatékonyságú szűrő módszerre szeretnék javaslatot tenni, ami nagy kiterjedésű gyümölcsültetvényeknek individuális gyümölcsfára lebontott módon tud gyümölcsültetvényekből tud adatot szolgáltatni. Lehetővé teszi azt, hogy egymással összevethessük a relatív állapotát az ott található fáknak vegetációs indexek segítségével. Itt rögtön az első néhány dián is igaz az, hogy nem kell sok időt eltöltenem itt sok minden elhangzott az előttem előadóktól.

Igazából az arányok azok egy korábbi dián láthatóak voltak 80 ezer hektár gyümölcsültetvényről beszélünk. Körülbelül egy negyed rész az, ami korszerű, amin korszerű termelés zajlik és versenyképesnek mondható. További negyede az, ahol látótávolságon belül vagyunk ahhoz, hogy felfejleszthetők legyenek. És sajnos az a rossz hír Magyarországon, hogy a fele ennek a területnek elmaradott termesztéstechnológiát használ és nem feltétlenül versenyképes. És ami még egy ilyen borús hírmorzsa itt az elején a magyar viszonyokra vonatkozóan, az az, hogy a 2020 as évek legelején itthon megjelenő szakirodalmi adatokban arról kaphatunk értesülést, hogy gyümölcsültetvényeken precíziós eszközök noha éppen az előbb befejeződött előadásból nagyon jól látható, hogy az eszközök és a technológiák rendelkezésünkre állnak, azonban ezeknek az elterjedése még várat magára. Szeretnék felvillantani nagyon röviden néhány szakirodalmi adatot. Az első ilyen egy 2020 as összefoglaló tanulmány, ahol a mezőgazdaságban végzett távérzékelési témájú tanulmányoknak az évre lebontott számát lehet látni 2019-ig bezárólag. Ha megnézzük a bal oldali grafikont, akkor nagyon jól látható rajta, hogy különböző platformokkal végeztek és végeznek a mai napig ilyen távérzékelési vizsgálatokat a mezőgazdaságban. 

Nyilván a műholdas távérzékelés talán a leginkább ismert, viszont ha megnézzük a kék vonalat a grafikonon azt látjuk rajta, hogy 2019-ben körülbelül 110 darab ilyen típusú tanulmány jelent meg, ahol drónt használtak az adatgyűjtéshez. Ez körülbelül 20% át adja ki az abban az évben összesen megjelent mezőgazdasági távérzékelési tanulmánynak. 

Miért pont drónokat? 

Miért lehet célszerű drónokat használni ilyen célra? Azt hiszem, hogy ezt sem kell feltétlenül olyan nagyon magyaráznom. Ezen a ezen a fórumon itt a predán. Ugye a fizikai kialakításuk, a tömegük, a hordozhatóságuk miatt már kapásból azt lehet mondani róluk, hogy nagyon rugalmas platformról beszélhetünk, amit könnyen be lehet vetni ott és akkor, amikor arra szükség van. A szabályozási hátteréről külön előadás szólhatna. Most itt erre nem nem fogok kitérni. A repülési idejük, a hatótávolságuk nagyon jelentős mértékben megnövekedett az elmúlt időszaknak a fejlesztésének köszönhetően. 

És a legfontosabb, amit én nagyon szeretek bennük, az az, hogy rugalmas platformról beszélünk. Bármennyire is izgalmas egy egy drón, ami önmagában amiatt, hogy a levegőben van és én irányíthatom és repülök és élőképen van, ez szuper. Viszont nagyon nagy mértékben az határozza meg a felhasználhatóságát, hogy hasznos teherként milyen eszközt, milyen kamerát vagy milyen berendezést fogok felfüggeszteni erre a trónra. Csak egy villanás még egy szakirodalomból. 2021 es összefoglaló tanulmányról van szó, ami a gyümölcsösökben felhasznált viszonylag olcsó, beszerzési árú és üzemeltetési költségű drónokkal végzett felméréseket próbálja összegezni 2020 január elseje előtt. Nézett szét a szerző szerzők csoportja a szakirodalomban, és azt találta, hogy 2020. Január 1 ig összesen 84 darab olyan publikációra bukkantak, ahol ilyen kisméretű, relatíve olcsó eszközöket használtak gyümölcsösben távérzékelési célra. 

Ugye egy év alatt 110 ről beszéltünk a mezőgazdaságban összességében, ami drónnal készült 2019 ben, itt másfél két évtized alatt összesen 84 darab ilyen publikációt találtak. És ami az én előadásom szempontjából jelentős, az az, hogy betegségek korai azonosítására, vagy egy gyors, időhatékony szűrővizsgálatra, amire egyébként ezek az eszközök kiemelten alkalmasak lehetnek. Mindössze ennek a 84 publikációnak kb. 10 százalékában került említést, tehát nagyjából 8 cikkről beszélünk és másfél két évtizedről. Szeretném megmutatni röviden azt, a mintaterületet, ahol a munkámat végeztem. 

Ez egy Balaton felvidéken, a Veszprémi fennsíkon található kajszibarackültetvény és a kajszibarack ültetvényen gazdálkodó Csabát is itt köszönthetjük a körünkben, úgyhogy majd ha valamit nagyon nagyon másképp látsz, Csaba, légyszives jelezz. Együtt végeztük a munkát, úgyhogy ilyen talán nem fog adódni. 11 hektár, 12 hektár volt az a terület, ahol én a távérzékeléses munkát végeztem. Szeretném megmutatni azokat az eszközöket, amikkel dolgoztunk 2022 hatodik hóban, tehát júniusban és októberben zajlottak az adatfelmérő repülések, tehát több felvételezési alkalom volt, noha ezt azért nem nevezném idősornak.

Talán egy kicsit túlzásnak tűnne. Kettő darab pilóta nélküli légi járművet használtam, Phantom 4-est, DJI modellt, aminek két változatát ugye 20 megapixeles RGB szenzorral szerelt Phantom 4 Pro V2 t és ennek a testvérét, a multispektrális kamera rendszerrel ellátott Phantom 4 multispektrát használtam az adatfelvételhez. 

Néhány paramétert láthattok, amin megmutatom a felvételező repüléseknek néhány néhány jellemzőjét, így a repülési magasság nyílt kategóriáról volt szó. 120 méter alatt maradt 113 méteren teljesültek azok a terepi felbontási feltételek, amiket itt látok 3 cm/képpont, tehát viszonylag nagy magasságról beszélünk nyílt kategórián belül. Mégis ez a 20 megapixeles szenzor, illetve a kamerának a tulajdonságai, látószöge, egyebei. Ezek lehetővé tették azt, hogy egy nagyon szép téri részletességű felvételt készítsek el.

A multispektrális felvételek 6 cm pár pixeles felbontású AK voltak. És még egy dolog, amit nagyon gyorsan kiemelnék, az a sebessége egy ilyen felmérésnek. Tehát ha megnézzük az alsó keretet, akkor látható, hogy 5 és 10, 11 néhány perc között lehet közzé lehet tenni ezt az RGB felvételezési terület teljesítményt, ami ezt a 12 hektárt képes volt lefedni és RGB adatot gyűjteni erről az RGB és multispektrális adatot gyűjteni erről a területről. A különbségnek egyébként az oka a két RGB érték 5 és fél és 13 perc között az az, hogy milyen szélesre húztam meg a felvételezendő terület határát, mekkora ráhagyást hagytam körben, hogy sikeres legyen a képek összeillesztése, illetve, hogy milyen módszerrel készítettem a képet. Kértem a drónt, hogy álljon meg felvétel készítéshez és álló helyzetből végezze ezt, vagy folyamatában, repülés közben.

Itt látható az az adatfeldolgozási folyamat egy egyszerű folyamatábrán, amin végigfuttattam a nyersanyagot, a nyers légi felvételeket. Itt csak annyi a megjegyzésem ehhez a diához, hogy megpróbáltam olyan szoftveres megoldásokat használni és erőforrásokat használni, amikhez ingyenes hozzáférés is lehetséges, úgyhogy több ilyen elem található úgy is, mint egy nagyon ismert és kedvelt térinformatikai szoftver. Az egyik ilyen és hát a high tech megoldás az a jobb alsó sarokban látható statisztikák Kingdoms weboldal, ahol ingyenesen lehet adatot feltölteni, statisztikai próbákat végezni.

Térjünk rá az eredményekre

Itt csak megmutatnám a júniusi és az októberi ortofotó mozaikot, amit az RGB felvételekből állítottam össze, és egy kis pici dobozban lehet látni, ha nem kicsinyítve, hanem normál felbontáson ránézünk ezekre az ábrákra, akkor milyen téri részletek láthatóak az ültetvényből? Mi volt a célom? Onnan indultam el, hogy szerettem volna olyan módszert találni, ami az individuális gyümölcsfákról is képes információt szolgáltatni.

Ehhez ugye meg kellett oldani azt, hogy a lombkoronákat az egyes fákhoz tartozó lombkoronákat el tudjam különíteni. Ugye füvesített sorköz művelésű ültetvényről van szó. Itt nem annyira triviális a kérdés, hiszen a zöld színű háttérből kellett valahogy elővarázsolni a zöld színű lombkorona pixeleket, hogyha spektrálisan próbálja az ember. Ez egy kicsit nehézkes, úgyhogy én megpróbáltam inkább a digitális felszínmodell és domborzat modell segítségét kérni, amit ugye el lehet készíteni kimenetként egy RGB felvét drónos RGB felvételezés után, és hogyha ezen a két modellen egy egyszerű kivonásos műveletet végzünk, akkor meg lehet találni azokat a pixeleket, amik szinte kizárólag lombkorona pixeleket tartalmaznak.

Ezután az individuális fákat el lehet különíteni egymástól, és ezekből az individuális fákhoz tartozó képpontokból egy poligonokat lehet létrehozni, ami annak az adott fának a lombját fogja lefedni.

Miért jó nekem, ha van poligonom minden fához?

Azért, mert ezekre a poligonokra minden egyes benne foglalt két pontra lehetséges vegetációs indexeket számítani. És aztán ezeknek a képpontoknak az értékét lombkoronánként tudom átlagolni. Így nyerhetek egy olyan paramétert, amivel tudom jellemezni. Igaz, hogy csak közvetetten, tehát a vegetációs aktivitás szintjén, de ezt tudom jellemezni az egyes fáknak az egymáshoz képesti állapotát, ha úgy tetszik. Ugye milyen vegetációs indexeket használtam jobboldalt? A táblázatban lehet látni három ilyet a vari, a TGI és az NDVI indexet az eddig eléggé széles körben ismert nem feltétlenül kell bemutatni. 

A multispektrális képalkotásra épül, közeli infravörös tartományból van szükségem hozzá adatgyűjtésre, a másik kettőt viszont kiemelném. Szerettem volna olyan módszert választani, ami az RGB szenzorral is és az RGB tartományból építkezve is számítható VARI és a TGI ilyen. És akkor néhány további eredmény látszik. Itt jobboldalt a számított vegetációs indexeknek a a térképei, vizualizációi láthatók a különböző repülési alkalmakra és indexekre. Baloldalt pedig a multispektrális képalkotás során hullámhossz tartományonként elkészített ortofotó mozaikokból látszanak. Példák. Vannak az eredmények leíró, statisztikai és egy statisztikai próba eredménye is. Mi volt számomra nagyon fontos? Az egyik az, hogy a módszer mindenképp legyen képes arra, hogy megragadja a változást a fenológiai fázisok közt.

Mi történik júniustól októberre?

Természetesen az, hogy a fák felkészülnek a nyugalmi állapotra, és így a lombkoronájuk színe változni fog. Nagyon nagy baj lett volna, hogyha a vegetációs indexekkel ezt nem lehetett volna nyomon követni. A hisztogramokon felül látható, hogy a VARI és a TGI index is jelentősen eltérő grafikonformát mutat a két repülési alkalommal. A VARI esetében gyengébb index értékek gyengébb kondíciót, kisebb index értékekkel jár együtt, tehát októberre balra tolódik a hisztogram. A TGI egy picit másképp működik, ott egy spektrális háromszögnek a területét kell alapul vennem. Ennek a sarokpontjai különböző hullámhossz tartományokban mért reflektanciából fakadnak. Ha ezek a sarokpontok vándorolnak valamiért, például azért, mert a lombkorona színeződik, akkor a háromszög területe változik, Ebben az esetben sárguló, lomhán nőni fog. Ezt is látjuk a hisztogramon. Statisztikai próbával is látható volt, hogy a repülési alkalmak között a varni és a tigriájú gyengébb indexek is szépen megmutatták a különbséget. És egy infó morzsa legalul.

Nagyon sokan keresik a bölcsek kövét. A szeretnének olyan RGB indexet javasolni, ami ami egy RGB fendi wifi. Tulajdonképpen elég komoly a kapcsolat a kettő között, azok között a felhasználási körülmények között, amelyek között én dolgoztam, a VARI index és az NDVI index értéke. Az októberi felvételezésről beszélünk, egyszerűen azért, mert csak abban az időpontban tudtam a megfelelő időjárási körülmények között adatot gyűjteni, és onnan van csak eddig hiányom. De ebben az ebben az időpontban, októberben nagyon erős volt a pozitív korreláció VARI és az NDVI index értékei között. És akkor itt jön a legizgalmasabb rész. Igazából, ami lehet, hogy egy picit össze is zavarja a nézőket és a hallgatókat.

Nagyon bízom benne, hogy ha egy vizuálisan megnézitek ezt az ábrát, akkor a két oldala között azért látszik némi nemű hasonlóság. Baloldalt ezek a színes képek ezek egy egér egy fluoreszcensen megfestett metszetéből származó mikroszkópos felvételek.

Hogy kerülnek ők ide? Nekem az előző munkahelyem egy neurobiológiai kutatóintézet volt, ahol tíz évet töltöttem el idegrendszeri alapkutatással, és ott a munkatársaimmal például ilyen fluoreszcens festéseket készítettünk. Miért színesek az idegsejtek itt? Azért, mert léteznek olyan antitestek, amikkel fehérjéknek a jelenlétét lehet kimutatni egy sejtben. Hozzá tudnak kapcsolódni ezekhez a fehérjékhez, és nem csak önmagukban kapcsolódnak, hanem visznek magukkal egy fluoreszcens, sugárzó, valamilyen színben világító festéket. Ha a zöld színű a sejt, akkor mondjuk azt, hogy a zöld fehérje van benne. Valamilyen fehérje van benne, amit zölddel jelölök, Ha piros, akkor a piros. És ha egyszerre több vizsgált fehérje is ott van egy sejtben, akkor ilyen nagyon szép sárga sejteket lehet látni, amiket itt a nyilakkal próbáltam jelölni.

Jobboldalon a barackos nak a térképét lehet látni, és ha megnézitek ezeket a térképeket, egy szürke, viszonylag halvány színnel lehetnek. Lehet látni az individuális gyümölcsfáknak a körvonalait, amik engem sejtekre emlékeztettek, a színek pedig amiket szintén, hogy ha átlapoljuk a térképeket, akkor egymásra tudok helyezni meg tudom nézni, hogy hol érnek össze, azokat pedig a vegetációs indexek értékei adták. Tehát én megpróbáltam úgy használni a vegetációs indexeket, mintha antitestek lennének, ha úgy tetszik, és arra használni őket, hogy a gyenge kondíciójú fákat megjelöljem bizonyos indexekkel, majd a különböző indexekből készült térképeket átlapoljam egymással és megnézzem, hogy hol sárgák a fák, hol kollokalizálnak ezek a jelzések. Hogyha több ilyen jelzés van, akkor vélhetően számíthatunk arra, hogy a fák fiziológiai állapota gyengébb, sérülékenyebb lehet.

Úgyhogy ami itt látható jobboldalt az jelű, a júniusi, a B jelű pedig az októberi repülésből származó VARI és TGI, mint idézőjeles antitestekkel megfestett térkép. A sárga színű poligonok azok a fák, amik mind a 2 index mentén a leggyengébb 10% ba tartoztak. Ez egy önkényes döntés volt. Sorba állítottam egyszerűen minden index mentén a lombkorona poligonokat. Azt mondtam, hogy a leggyengébb 10% ra vagyok kíváncsi és őket jelenítettem meg a térképen pirossal, kékkel, vagy ha a szerencsétlenek voltak a fák, akkor sárga színnel, és ugyanúgy megpróbáltam kolokalizációt vizsgálni. Nem kell megijedni itt a diától, bal oldalán ugyanazt az ábrát látjuk, amit az előbb a jobboldalon láttunk, jobb oldalon pedig az úgynevezett végső kockázati kompozit. Legalábbis a szakdolgozatomban ezt a nevet találtam neki.

Látszik, amit úgy állítottam elő, ugyanez a módszer átlapolós. Úgy állítottam elő, hogy a bal oldalon már önmagukban átlapolásokból származó két térképet újra egymásra tettem, ezáltal az átlapolások logikájából fakadóan tovább szűkült azoknak a fáknak a száma, amik sérülékenynek minősülnek. És csak nagyon röviden a színkódra, hogy ha ránéztek, akkor az látszik, hogy közös. Ezekben a megjelölt fákban mi az ültetvény 1456 darab azonosított fájából 3 százalékot tesz ki, 44 darabot. Közös bennük, hogy mind a júniusi, mind az októberi időpontban legalább egy index mentén pozitívak voltak. Ha mind a két időpontban egy egy esetében, akkor kék színnel látjuk, és duplán pozitívak. ha az egyikben mindkét index mentén gyengék voltak, de a másikban csak egy, akkor háromszoros pozitívak és pirosak, és egyetlen egy olyan fát találtam, ami volt olyan szerencsétlen, hogy mind a két alkalommal mindkét index mentén gyengének találtatott. A nyilak pedig az októberben rendelkezésemre álló Endívia II index értékek mentén ugyanezt a varázslatot elkövetve még egy ilyen antitestet vagy markert adtak. Tehát ha valamelyik poligomba még nyilat is tudtam tűzni, az tovább súlyosbítja az ő helyzetét. És itt látszik néhány olyan körvonal, ami azokat a fákat mutatja az RGB felvételeken, amiket a szűrőmódszer kiszűrt.

Végül összefoglalásként annyit szeretnék csak elmondani, hogy mi a célja, végül is végcélja ennek az egésznek. Mire lehet jó?

Hát arra, hogy ne kelljen feltétlenül szárazföldön, hagyományos módszerekkel bejárni, bejárni a teljes ültetvényt, hanem meg tudjunk próbálni egy kicsit idő hatékonyabban információt gyűjteni, és gyerekjáték lekérni a téri koordinátáit azoknak a fáknak, amiket egy ilyen vagy ehhez hasonló módszer kiszúr, és azokat célzottan meg tudjuk látogatni. Szemrevételezés vagy mintavétel céljából.

És meg is köszönöm a figyelmet az előadás végén.