In this post I give an overview of the theory, tools, frameworks and best practices I have found until now around the testing (and debugging) of machine learning applications. I will start by giving an overview of the specificities of testing machine learning applications.
LINK
Both Software Engineering and Machine Learning have become recognized disciplines. In this article I analyse the combination of the two: engineering of machine learning applications. I believe the systematic way of working for machine learning applications is at certain points different from traditional (rule-based) software engineering. The question I set out to investigate is “How does software engineering change when we develop machine learning applications”?. This question is not an easy to answer and turns out to be a rather new, with few publications. This article collects what I have found until now.
LINK
The past two years I have conducted an extensive literature and tool review to answer the question: “What should software engineers learn about building production-ready machine learning systems?”. During my research I noted that because the discipline of building production-ready machine learning systems is so new, it is not so easy to get the terminology straight. People write about it from different perspectives and backgrounds and have not yet found each other to join forces. At the same time the field is moving fast and far from mature. My focus on material that is ready to be used with our bachelor level students (applied software engineers, profession-oriented education), helped me to consolidate everything I have found into a body of knowledge for building production-ready machine learning (ML) systems. In this post I will first define the discipline and introduce the terminology for AI engineering and MLOps.
LINK
Middels een RAAK-impuls aanvraag wordt beoogd de vertraging van het RAAK-mkb project Praktische Predictie t.g.v. corona in te halen. In het project Praktische Predictie wordt een prototype app ontwikkeld waarmee fysiotherapeuten in een vroeg stadium het chronisch worden van lage rugpijn kunnen voorspellen. Om chronische rugpijn te voorkomen is het belangrijk om in een vroeg stadium de kans hierop in te schatten door psychosociale en mogelijk andere risicofactoren op chronische pijnklachten te herkennen en hierop te interveniëren. Fysiotherapeuten zijn met deze vraag naar het lectoraat Werkzame factoren in Fysiotherapie en Paramedisch Handelen van de Hogeschool van Arnhem en Nijmegen gegaan en dit heeft aanleiding gegeven een onderzoek op te zetten waarin een dergelijke methodiek ontwikkeld wordt. De voorgestelde methodiek betreft een Clinical Decision Support Tool waarmee een geïndividualiseerde kans op chronische rugpijn kan worden bepaald gekoppeld aan een behandeladvies conform de lage rugpijn richtlijn. Hiervoor is eerst geïnventariseerd welke methoden fysiotherapeuten reeds gebruiken en welke in de literatuur worden genoemd. Op basis hiervan is een keuze gemaakt ten aanzien van data die digitaal verzameld worden in minimaal 16 fysiotherapiepraktijken waarbij patiënten gedurende 12 weken gevolgd worden. Met de verzamelde data worden met machine learning algoritmes ontwikkeld voor het berekenen van de kans op chroniciteit. De algoritmes worden ingebouwd in de Clinical Decision Support Tool: een gebruiksvriendelijke prototype app. Bij het ontwikkelen van de tool worden eindgebruikers (fysiotherapeuten en patiënten) intensief betrokken. Op deze manier wordt gegarandeerd dat de tool aansluit bij de wensen en behoeften van de doelgroep. De tool berekent de kans op chroniciteit en geeft een behandeladvies. Daarnaast kan de tool gebruikt worden om patiënten te informeren en te betrekken bij de besluitvorming. Vanwege de coronacrisis is er een aanzienlijke vertraging in de patiënten-instroom (doel n= 300) ontstaan die we met ondersteuning van een RAAK-impuls subsidie willen inlopen.
De glastuinbouw in Nederland is wereldwijd toonaangevend en loopt voorop in automatisering en data-gedreven bedrijfsvoering. Voor de data-gedreven teelt wordt, naast het monitoren van de kas-parameters ook het monitoren van gewasparameters steeds meer gevraagd. De sector is daarbij vooral geïnteresseerd in niet-destructieve, contactloze en persoonsonafhankelijk monitoring van gewassen. Optische sensortechnologie, zoals spectrale afbeeldingstechnologie, kan veel waardevolle informatie opleveren over de staat van een gewas of vrucht, bijvoorbeeld over het suikergehalte, maar ook de aanwezigheid van plantziektes of insecten. Echter is dit vaak een te kostbare oplossing voor zowel de technologiebedrijven die oplossingen leveren als voor de telers zelf. In dit project onderzoeken wij de mogelijkheid om spectrale beeldvorming tegen lagere kosten te realiseren. Het beoogde resultaat is een prototype van een instrument dat tegen lage kosten met spectrale beeldvorming een of meerdere gewaseigenschappen kan kwantificeren. Realisatie van dit prototype heeft een sterke Fotonica-component (expertise Haagse Hogeschool) maakt gebruik van Machine Learning (expertise perClass) en is bedoeld voor toepassing op scout robots in de glastuinbouw (expertise Mythronics). Een betaalbare oplossing betekent in potentie voor de teler een betere controle over kwaliteit van het gewas en automatisering voor detectie van ziekte-uitbraken. Bij een succesvol prototype kan deze innovatie leiden tot betere voedselkwaliteit en minder verspilling in de glastuinbouw.
Horse riding falls under the “Sport for Life” disciplines, where a long-term equestrian development can provide a clear pathway of developmental stages to help individuals, inclusive of those with a disability, to pursue their goals in sport and physical activity, providing long-term health benefits. However, the biomechanical interaction between horse and (disabled) rider is not wholly understood, leaving challenges and opportunities for the horse riding sport. Therefore, the purpose of this KIEM project is to start an interdisciplinary collaboration between parties interested in integrating existing knowledge on horse and (disabled) rider interaction with any novel insights to be gained from analysing recently collected sensor data using the EquiMoves™ system. EquiMoves is based on the state-of-the-art inertial- and orientational-sensor system ProMove-mini from Inertia Technology B.V., a partner in this proposal. On the basis of analysing previously collected data, machine learning algorithms will be selected for implementation in existing or modified EquiMoves sensor hardware and software solutions. Target applications and follow-ups include: - Improving horse and (disabled) rider interaction for riders of all skill levels; - Objective evidence-based classification system for competitive grading of disabled riders in Para Dressage events; - Identifying biomechanical irregularities for detecting and/or preventing injuries of horses. Topic-wise, the project is connected to “Smart Technologies and Materials”, “High Tech Systems & Materials” and “Digital key technologies”. The core consortium of Saxion University of Applied Sciences, Rosmark Consultancy and Inertia Technology will receive feedback to project progress and outcomes from a panel of international experts (Utrecht University, Sport Horse Health Plan, University of Central Lancashire, Swedish University of Agricultural Sciences), combining a strong mix of expertise on horse and rider biomechanics, veterinary medicine, sensor hardware, data analysis and AI/machine learning algorithm development and implementation, all together presenting a solid collaborative base for derived RAAK-mkb, -publiek and/or -PRO follow-up projects.
