Industrial robot manipulators are widely used for repetitive applications that require high precision, like pick-and-place. In many cases, the movements of industrial robot manipulators are hard-coded or manually defined, and need to be adjusted if the objects being manipulated change position. To increase flexibility, an industrial robot should be able to adjust its configuration in order to grasp objects in variable/unknown positions. This can be achieved by off-the-shelf vision-based solutions, but most require prior knowledge about each object tobe manipulated. To address this issue, this work presents a ROS-based deep reinforcement learning solution to robotic grasping for a Collaborative Robot (Cobot) using a depth camera. The solution uses deep Q-learning to process the color and depth images and generate a greedy policy used to define the robot action. The Q-values are estimated using Convolutional Neural Network (CNN) based on pre-trained models for feature extraction. Experiments were carried out in a simulated environment to compare the performance of four different pre-trained CNNmodels (RexNext, MobileNet, MNASNet and DenseNet). Results showthat the best performance in our application was reached by MobileNet,with an average of 84 % accuracy after training in simulated environment.
The number of applications in which industrial robots share their working environment with people is increasing. Robots appropriate for such applications are equipped with safety systems according to ISO/TS 15066:2016 and are often referred to as collaborative robots (cobots). Due to the nature of human-robot collaboration, the working environment of cobots is subjected to unforeseeable modifications caused by people. Vision systems are often used to increase the adaptability of cobots, but they usually require knowledge of the objects to be manipulated. The application of machine learning techniques can increase the flexibility by enabling the control system of a cobot to continuously learn and adapt to unexpected changes in the working environment. In this paper we address this issue by investigating the use of Reinforcement Learning (RL) to control a cobot to perform pick-and-place tasks. We present the implementation of a control system that can adapt to changes in position and enables a cobot to grasp objects which were not part of the training. Our proposed system uses deep Q-learning to process color and depth images and generates an (Formula presented.) -greedy policy to define robot actions. The Q-values are estimated using Convolution Neural Networks (CNNs) based on pre-trained models for feature extraction. To reduce training time, we implement a simulation environment to first train the RL agent, then we apply the resulting system on a real cobot. System performance is compared when using the pre-trained CNN models ResNext, DenseNet, MobileNet, and MNASNet. Simulation and experimental results validate the proposed approach and show that our system reaches a grasping success rate of 89.9% when manipulating a never-seen object operating with the pre-trained CNN model MobileNet.
Op de hogeschool van Utrecht en de Fontys hogescholen doen twee promovendi van de Technische Universiteit Delft onderzoek naar assemblage systemen voor miniatuurcomponenten. De nadruk ligt op het assembleren van elektronica-componenten door Pick-and-Place (P&P) machines op Printed Circuit Boards (PCB's). Deze P&P machines hebben een output van enkele duizenden componenten per uur per plaatsingskop. De snelste P&P-machine in het veld (2001) is de FCM II van Assembleon met een output van 6000 componenten per uur per plaatsingskop. De plaatsings nauwkeurigheid bedraagt 100 um. Het Doel van het onderzoek is output verhoging, met minimaal een factor 2, met behoud van plaatsingsnauwkeurigheid.
Assemblageprocessen en diensten van producenten van hightech systemen worden in Noordwest-Europa gekenmerkt door een hoge variatie aan producten en oplossingen met laag volume. Productieautomatisering, flexibilisering en optimalisatie zijn essentiële processen om kleinere series te produceren en tegelijkertijd de grote verscheidenheid aan producten en diensten te realiseren. Om arbeidsproductiviteitsverbeteringen mogelijk te maken worden apparaten steeds vaker uitgerust met visionsystemen voor pick-and-place toepassingen, kwaliteitscontroles, objectlokalisaties en objectherkenning. Visionsystemen zijn echter gevoelig voor veranderingen in de omgeving, waardoor systemen kunnen stilvallen. Visionsystemen zijn met name gevoelig voor onvoorspelbare veranderingen in de omgeving, zoals belichting, schaduwvorming, oriëntatie van producten en grote optische variaties in bijvoorbeeld natuurlijke producten. Machine Learning (ML), een vorm van kunstmatige intelligentie, kan deze tekortkomingen grotendeels oplossen en kan visionsystemen robuuster en sneller configureerbaar maken; ML is uitermate geschikt om toegepast te worden in visiontoepassingen. Echter, ML voor vision is voor veel MKB’ers een ver-van-mijn-bed-show, voorbestemd voor multinationals met grote budgetten. Bovenal is de structuur en kennis over het toepassen van ML voor vision niet helder noch eenvoudig toegankelijk. Daarom is de onderzoeksvraag: Hoe kunnen door het industriële MKB machine learning frameworks binnen visiontoepassingen worden gebruikt om efficiëntere productieprocessen te realiseren? Met dit project wil het consortium deze ML-structuur inzichtelijk maken; ten tweede ML beschikbaar maken voor MKB; ten derde samen onderzoeken hoe ML voor vision industrieel kan worden toegepast middels drie casussen en ten vierde de opgedane kennis borgen en verspreiden binnen MKB en onderwijs. Het project is een samenwerking tussen lectoraten mechatronica en ambient intelligence van Saxion, Computer Vision & Data Science van NHL Stenden. De participerende bedrijven zijn actief als hightech systeemontwikkelaar, kennis-toeleverancier en/of eindgebruiker als productiebedrijf. Daarnaast zijn het Smart Industry Fieldlab TValley en brancheorganisatie BOOST betrokken. Dit project zal kennis ontwikkelen ten behoeve van het adequaat toepassen van Machine Learning algoritmes in visionapplicaties.
