In het kader van het TETRA AutoDrone-project van UAntwerpen wordt volop geëxperimenteerd met neurale netwerken voor het analyseren van dronebeelden. In verschillende case studies wordt machine learning toegepast om inspecties van gebouwen of andere infrastructuren te automatiseren. Gecapteerde dronebeelden worden dan door een getraind algoritme gestuurd om probleemzones op te sporen. Een verdere analyse van die resultaten moet dronepiloten vervolgens ook meer inzichten geven in hun methodiek tijdens de dataverzameling.
De doelstelling van het project is 3-ledig. Enerzijds willen de onderzoekers machine learning software ontwikkelen om uit een grote hoeveelheid beeldinformatie op een automatische manier schade te herkennen. Die informatie willen ze vervolgens projecteren op een CAD-model om zo aan de hand van verschillende meetcampagnes evoluties van schade en slijtage te kunnen opvolgen. Tot slot moet het project dronepiloten en hun opdrachtgevers meer inzicht geven in de beste methode om dronebeelden te verzamelen om ze achteraf zo efficiënt en effectief mogelijk te kunnen verwerken.
Machine learning is een compex gegeven dat vooral gericht is op het detecteren van objecten in fotomateriaal. Daarbij zijn er tal van factoren die het bijna onmogelijk maken om handmatig een machine te programmeren die alle vereiste objecten kan herkennen. Een appel is bijvoorbeeld meestal rond en rood, maar kan ook groen en misvormd zijn. Neem daarbij de verschillende soorten lichtinval, het verschil in perspectief en een verschil in schaal of afstand, wat het onmogelijk maken om al deze afwijkingen handmatig te gaan aanleren. Daarom is het veel efficiënter om machine learning toe te passen en een computer zichzelf te laten trainen in het herkennen van alle mogelijke afwijkingen.
Port of Antwerp
In een 5-tal concrete cases is men hiermee aan de slag gegaan. In de haven van Antwerpen werd bijvoorbeeld samen met Haviq gekeken naar machine learning technologie om olielekken op te sporen. Er werd een duale testopstelling gemaakt met RGB-camera’s en infarood camera’s. Uit de test blijkt dat de analyses uit beelden van een RGB-camera en die van een infraroodcamera erg goed overeen komen. Dit toont aan dat infrarood ook een goede manier is om bijvoorbeeld ’s nachts olielekken op te sporen.
Haviq
Haviq is ook betrokken bij een tweede case. Daarin zijn de onderzoekers op zoek gegaan naar oplossingen om lasnaden op een geautomatiseerde manier te inspecteren. De droneprofessionals van Haviq inspecteren vaak opslagtanks en silo’s. Soms komt het voor dat stalen constructies afbreken op de lasnaad. Daarom is het interessant om een neuraal netwerk te trainen om slechte lasnaden te detecteren. In de case study is een netwerk getraind in een eerste fase de lasnaden te herkennen en ze vervolgens te klasseren in goede en slechte lasnaden.
Het detecteren van de lasnaden is vrij goed gelukt, maar het klasseren in een goede of een slechte lasnaad is een veel moeilijkere kwestie. Puur op basis van beeldmateriaal is het bijna onmogelijk om te herkennen of een lasnaad goed of slecht is. Er is veel overbelichting en er zijn tal reflecties omwille van de staalconstructies. Mogelijks kunnen er in de toekomst andere vormen van camera’s of sensoren gebruikt worden om dit mogelijk te maken.
Fortech
Windmolenfabrikant Fortech zocht door haar deelname aan het AutoDrone-project een oplossing om volgeslachtoffers onder windturbines te detecteren. Voorheen stapten ze een gebied rond de windtrubines af om vogelslachtoffers op te sporen. Met deze case study hopen ze dat proces te kunnen automatiseren met behulp van dronetechnologie. Uit een eerste testopstelling blijkt een accuraatheid van 99%, wat vrij indurkwekkend is voor een machine learing toepassing die nog niet getraind is.
Engie
Tot slot heeft ook Engie een case aangeleverd rond het detecteren van schade op windturbines. De energieleverancier heeft een dataset aangeleverd van drie beschadigde windturbinebladen om te onderzoeken of zulke schade automatische gedetecteerd kan worden. In de case study is de dataset van één windturbineblad gebruikt om een neuraal netwerk te trainen en zo de schade op de twee andere bladen te gaan voorspellen.
Corona
Naast de vooraf gedefinieerde case studies hebben de onderzoekers in het AutoDrone project ook machine learning toegepast op het meten van de temperatuur van mensen. De oppervlaktetemperatuur geeft niet altijd de juiste lichaamtemperatuur aan. Daarom is machine learning gebruikt om de ogen te detecteren, die doorgaans een correctere lichaamstemeratuur aangeven. Intussen werken de onderzoekers van Flanders Make verder aan dit project.
Overige cases
Ook WTCB heeft enkele cases voorgesteld, onder andere voor materiaal- en schadedetectie. Het eerste idee is om op een automatische manier materialen van elkaar te onderscheiden. In een muur waar verschillende natuurstenen in verwerkt zitten, kan door middel van machine learning detecteerd worden waar welke materiaal gebruikt zijn, terwijl dat met het blote oog niet altijd eenvoudig te onderscheiden is.
Er wordt tevens ook geëxperimenteerd met 3D thermografie. Zulke 3D modellen van een thermische inspectie kunnen veel betere inzichten geven dan klassieke 2D modellen. De thermische beelden worden dan aan elkaar gesticht tot een 3D model dat kan dienen als input om aan de hand van machine learning automatisch probleemzones te gaan detecteren.
Naast de uitgevoerde cases staan er nog een aantal interessant andere cases op til. Zo is het de bedoeling om aan de slag te gaan rond betoninspecties van bruggen in samenwerking met het Vlaams departement van Mobiliteit en Openbare Werken, boutinspecties van attracties in Bobbejaanland en een inspectie van een zonnepanelenpark.
Dit TETRA-project werd mogelijk gemaakt door de steun van het Vlaams Agentschap Innoveren & Ondernemen (VLAIO)