Industrial robot manipulators are widely used for repetitive applications that require high precision, like pick-and-place. In many cases, the movements of industrial robot manipulators are hard-coded or manually defined, and need to be adjusted if the objects being manipulated change position. To increase flexibility, an industrial robot should be able to adjust its configuration in order to grasp objects in variable/unknown positions. This can be achieved by off-the-shelf vision-based solutions, but most require prior knowledge about each object tobe manipulated. To address this issue, this work presents a ROS-based deep reinforcement learning solution to robotic grasping for a Collaborative Robot (Cobot) using a depth camera. The solution uses deep Q-learning to process the color and depth images and generate a greedy policy used to define the robot action. The Q-values are estimated using Convolutional Neural Network (CNN) based on pre-trained models for feature extraction. Experiments were carried out in a simulated environment to compare the performance of four different pre-trained CNNmodels (RexNext, MobileNet, MNASNet and DenseNet). Results showthat the best performance in our application was reached by MobileNet,with an average of 84 % accuracy after training in simulated environment.
Wednesday 17th of January MediaLAB Amsterdam arranged LABFEST, a final expo where we could showcase our protypes and talk to people in the industry about our projects. We got a lot of nice feedback and are happy with the end-product we came up with. Quite a lot of people showed up and we were excited to talk to people about our prototype and the future possibilities of our Virtual Reality Exposure Therapy!
MULTIFILE
Aaltjes: automatisch classificeren en tellen. Agrariërs laten bodemmonsters analyseren op onder meer aanwezigheid van aaltjes. Deze bodemanalyse is voor agrariërs cruciaal om de bodemgezondheid- en vruchtbaarheid vast te stellen maar behelst een grote kostenpost. Het identificeren, analyseren en tellen van aaltjes (nematoden) in een bodemmonster geschiedt in een gespecialiseerd laboratorium. Dit is tijdrovend, specialistisch en seizoensgebonden werk. Het tellen- en analyseren van aaltjes is mensenwerk en vergt training en ervaring van de laborant. Daarnaast hebben de laboratoria te maken met personeelstekort en de laboranten met sterk fluctuerende werkdruk. Derhalve is het speciaal voor dit project opgerichte samenwerkingsverband tussen Fontys GreenTechLab, ROBA Laboratorium en CytoSMART voornemens om een oplossing te ontwikkelen voor het automatisch classificeren en tellen van aaltjes. Dit project richt zich op de ontwikkeling van een proof of concept van een analysescanner. Het werk van de laboranten wordt grotendeels geautomatiseerd waarbij door de scanner de bodemmonsters middels toepassing van deep learning en virtual modeling kan worden geanalyseerd. Daarmee wordt beoogd een oplossing te bieden waarmee het personeelstekort wordt tegengegaan, de werkdruk kan worden verlaagd, mensenwerk wordt geautomatiseerd (waardoor de kans op fouten wordt verkleind) en de kosten voor agrariërs worden verlaagd.
Onbetrouwbare oogstvoorspellingen in kassen veroorzaken onnodige kosten bij telers. Fontys/Green Tech Lab (GTL) is in een eerdere studie tot de conclusie gekomen dat het meten van de mogelijke oogst middels een camera systeem mogelijk is. Dit wordt ook wel ‘scouten’ genoemd. Dit heeft men al gedaan met paprika’s en komkommers. Nu is de vraag gekomen of dit ook mogelijk is voor het telen en voorspellen van de oogst van aardbeien: Strawberry Harvest Prediction. Nu wil men dit onderzoeken door het herkennen van vruchten en groeicurves (algoritmen) niet met echte beelden van de vruchten te doen, maar met digitale beelden als een ‘Digital Twin’. In deze virtuele kas worden virtuele planten met bloemetjes, vruchten en aardbeien ‘gekweekt’ middels de groeicurve van een aardbeiplant. Hiertoe heeft men een samenwerkingsverband opgericht met Kwekerij de Kemp BV en Kwekerij VieVerde BV (oogstvoorspelling m.b.v. kunstmatige intelligentie). Het samenwerkingsverband is voor dit doel opgericht en nieuw in deze samenstelling. GTL wil in een jaar tijd een proof of concept ontwikkelen van een systeem dat met behulp van een Digital Twin oogstvoorspellingen kan doen voor de teelt van aardbeien. Door de ontwikkeling van een Digital Twin kan veel sneller (wel 100 tot 1000 keer) een algoritme ontwikkeld worden. Het project levert een proof of concept op van een virtual strawberry harvest prediction -systeem dat d.m.v. Digital Twin technieken oogstvoorspellingen doet voor de teelt van aardbeien.
Virtual plant modelling for deap learned harvest prediction Onbetrouwbare oogstvoorspellingen in kassen veroorzaken onnodige kosten bij telers. Fontys GreenTechLab wil met partners een virtueel model (digital twin) ontwikkelen, waarmee men nauwkeurig voorspellingen kan doen over wat de te verwachten oogst is. Met behulp van een slim camerasysteem - dat gebruik maakt van vision-technieken - worden er opnamen gemaakt van een deel van de oogst. Al eerder (mei 2018 – mei 2019) heeft een projectteam bij GreenTechLab samen met studenten en Kwekerij Litjens (paprika’s) een onderzoek gedaan naar de ontwikkeling van een virtueel model (digital twin) waarmee men heel nauwkeurig voorspellingen kan doen over de te verwachten oogst. Nu wil men dit onderzoek verder verdiepen (nachtopnames) en het samenwerkingsverband uitbreiden met VieVerde B.V. (komkommers) en Yookr B.V. (besturingssystemen in kassen). Het samenwerkingsverband is voor dit doel opgericht en nieuw in deze samenstelling. Het GreenTechLab wil nu een proof of concept ontwikkelen van een systeem dat in de nacht beelden analyseert en classificeert. Ook wil men data verzamelen over de effecten van het micro- en macroklimaat in de kas op de groei. Hiervoor moet de software die thans gebruikt wordt ook worden aangepast. Het systeem moet in eerste instantie zowel toepasbaar zijn bij de teelt van paprika’s als bij de teelt van komkommers. Het project levert een proof of concept op van een virtual plant modelling-systeem dat d.m.v. vision technieken en deep learning technieken oogstvoorspellingen doet voor de teelt van paprika’s en komkommers.
