The number of applications in which industrial robots share their working environment with people is increasing. Robots appropriate for such applications are equipped with safety systems according to ISO/TS 15066:2016 and are often referred to as collaborative robots (cobots). Due to the nature of human-robot collaboration, the working environment of cobots is subjected to unforeseeable modifications caused by people. Vision systems are often used to increase the adaptability of cobots, but they usually require knowledge of the objects to be manipulated. The application of machine learning techniques can increase the flexibility by enabling the control system of a cobot to continuously learn and adapt to unexpected changes in the working environment. In this paper we address this issue by investigating the use of Reinforcement Learning (RL) to control a cobot to perform pick-and-place tasks. We present the implementation of a control system that can adapt to changes in position and enables a cobot to grasp objects which were not part of the training. Our proposed system uses deep Q-learning to process color and depth images and generates an (Formula presented.) -greedy policy to define robot actions. The Q-values are estimated using Convolution Neural Networks (CNNs) based on pre-trained models for feature extraction. To reduce training time, we implement a simulation environment to first train the RL agent, then we apply the resulting system on a real cobot. System performance is compared when using the pre-trained CNN models ResNext, DenseNet, MobileNet, and MNASNet. Simulation and experimental results validate the proposed approach and show that our system reaches a grasping success rate of 89.9% when manipulating a never-seen object operating with the pre-trained CNN model MobileNet.
Dutch industrial manufacturers are confronted a new and promising industrial robot: the collaborative robot (cobot). These small robotic arms are revolutionary as they allow direct and safe interaction with production workers for the very first time. The direct interaction between production worker and cobot has the potential to not only increase efficiency, but also enhance flexibility as it can align the strengths of (wo)man and machine more thoroughly. Currently, Dutch manufacturers are experimenting with cobots. To obtain a first understanding about the use of cobots in Dutch industrial practice and what the consequences are for operators and production work, we conducted an exploratory interview study (N=61). We learnt that most cobots under study are used for the production of one or a few large product batches (mass production) and work highly autonomous. The interaction between cobot and production worker is limited and reduced to operators preventing the cobot from falling into a standstill. The results tend to be in line with traditional industrial automation practices: an overemphasis on leveraging the technology’s potential and limited attention for the production workers’ work design and decision latitude. HR professionals were not involved and, therefore, miss out on a crucial opportunity to be of an added value.
MULTIFILE
ICT is veel meer dan een hulpmiddel bij onderwijs en opleiding: zij provoceert een voortdurend nieuwe kijk op de essentie van leren en daarmee ook op het leraarschap. Opvallend is dat ICT in onderwijs penetreert nog voordat er enig model of theorievorming over haar bijdrage gevormd is; dat is pragmatisch en opportunistisch. Sterker nog: als we achteraf kijken naar hervormingen van onderwijsopvattingen, dan worden ze vaak aangedreven door technologische innovaties op dat moment: de entree van de boekdruk, telecommunicatie, computersystemen en virtuele realiteit. Binnenkort zullen we ingrijpende invloeden zien vanuit de biotechnologie, genetische modificatie, nanotechnologie etcetera. De huidige stap van laptop naar het veelkunnende mobieltje is er slechts één van de lange rij ICT-hulpmiddelen die er nog aan gaan komen. Als we de trend van ICT in onderwijs doortrekken, dan valt te verwachten dat 'mobiel leren' vooral zal leiden tot 'ubiquitous learning': overal- en voortdurend leren. Het begrip 'learning by heart' krijgt opnieuw betekenis: niet alleen het 'van buiten' leren, maar het opbouwen van een relatie met het onderwerp dat je bestudeert. De persoon van de docent wordt nog belangrijker dan hij nu al is. Mobiele communicatie gaat haar eerste vruchten afwerpen bij het 'voortdurend leren' van de docent. Het mobieltje en de on-line PDA gaan hierin een cruciale rol spelen. De Fontys lerarenopleidingen nemen met enthousiasme deze voortrekkersrol op zich. Het lectoraat Educatieve Functies van ICT begeleidt docenten en promovendi hierbij.
De transitie naar een gerobotiseerde industriële omgeving is in volle gang. Robots zijn zich aan het ontwikkelen tot collaboratieve robots (co-bots) en worden zo meer een collega dan een geïsoleerde machine in een kooi. Een goede co-bot-mens-samenwerking heeft positieve effecten op de werkbeleving, resulteert in minder stress, verzuim, minder ‘bijna-ongelukken’ en leidt tot hogere productiviteit en kwaliteit op de werkvloer. Onderling vertrouwen tussen medewerker en co-bot speelt een belangrijke rol in een goede samenwerking en voor effectieve teamprestaties. De interactie tussen medewerker en co-bot dient daartoe zo natuurlijk mogelijk, voorspelbaar en intuïtief te verlopen. Op dit terrein valt nog veel winst te boeken in het industriële MKB. Co-bots moeten leren anticiperen op wat in de directe omgeving komen gaat, zodat de medewerker nimmer in een onveilige situatie verkeert en zich comfortabel voelt in de samenwerking met de co-bot. Van de andere kant moeten medewerkers leren begrijpen hoe co-bots werken en wat ze van hen kunnen verwachten. Ambitie van het project “Close Encounters with Co-bots” is het verbeteren van de effectieve samenwerking tussen medewerker en co-bot op de industriële werkvloer en daarbij vertrouwen en beleefde veiligheid te borgen voor de medewerker. In het project wordt daartoe gewerkt aan begrip van de co-bot in de mens, begrip van de mens in de co-bot, het bouwen aan technische oplossingen voor effectieve communicatie, en prototyping en testing in relevante praktijkomgevingen in het MKB. Het bedrijfsleven kan met de resultaten van het project versneld de door hen gewenste leercurve doorlopen om samenwerkende industriële mens-co-bot-systemen substantieel te laten bijdragen aan operationele winst in economisch, (productie)technisch en sociaal opzicht. Het project is een interdisciplinair samenwerking tussen de vakgebieden psychologie, mechatronica en ICT binnen Fontys Hogescholen en Saxion Hogeschool. De negen participerende (MKB) bedrijven zijn actief als industrieel productiebedrijf, in robotica ontwikkeling, als systeem- en robotleverancier, in productieautomatisering en in de sociale werkvoorziening. Daarnaast zijn kennisinstelling TU/e, coöperatie Brainport Industries en samenwerkingsverband Holland Robotics nauw betrokken. In het project zal bestaande kennis toepasbaar worden gemaakt en zal nieuwe kennis worden ontwikkeld t.b.v. een natuurlijke, voorspelbare en intuïtieve samenwerking tussen medewerker en co-bot op de industriële werkvloer. Verder zal verankering van kennis en kunde in onderwijs en lectoraten plaatsvinden en een vergroting van de kwaliteit van docenten en afstudeerders. Er zullen circa 17 docent-onderzoekers van de hogescholen en circa 100 studenten betrokken worden, die in de vorm van studentenprojecten, stages en afstudeeronderzoeken werken aan interessante vraagstukken direct uit de beroepspraktijk.
Mkb’ers in de maakindustrie willen stappen zetten in het produceren van kleine productseries met behulp van collaboratieve robots. Zij weten echter niet waar ze moeten beginnen. Tien mkb’ers en zes kennisinstellingen hebben daarom hun krachten gebundeld om robotisering voor flexibele productie te realiseren in de dagelijkse mkb praktijk. De huidige praktijk bij de deelnemende mkb’ers wordt gekenmerkt door robotsystemen die één kunstje kunnen doen en daarmee geschikt zijn voor massa productie. Deze bedrijven moeten het echter niet hebben van massaproductie, maar zijn vooral sterk in kleine series van op maat gemaakte producten. Dat vraagt om een uiterst flexibel productiesysteem en stelt specifieke eisen aan de implementatie van robottechnologie. In een uitgebreid proces van vraagarticulatie zijn de behoeften en eisen van de tien mkb’ers opgehaald en geconcretiseerd: (1) snel kunnen omstellen; (2) optimaal benutten van de kwaliteiten van robot en productiemedewerkers (3) inrichting van een mens-robot samenwerking voor de productie van kleine series (4) het voorbereiden van productiemedewerkers voor de mens cobot samenwerking. De bedrijven hebben samen met kennisinstellingen de afgelopen jaren samengewerkt aan een kennisagenda om robotiseren voor flexibele productie te realiseren. In het voorliggende project focussen we op het ontwerpen en implementeren van een robuuste, interdependente mens-robot samenwerking voor flexibele productie waarin optimaal gebruik wordt gemaakt van zowel de robottechnologie als de productiemedewerkers (joint optimization). We beantwoorden de volgende hoofdvraag: hoe kunnen mkb’ers een interdependente mens-robot samenwerking realiseren waarmee zij in staat zijn om kleine series producten te produceren? Evident is namelijk geworden dat flexibele productie een nauwe afstemming vereist van de kwaliteiten van de robot (zoals betrouwbaarheid, snelheid) en de kwaliteiten van de productiemedewerker (zoals flexibiliteit en snel kunnen omschakelen). In dit project zetten we concrete stappen in het ontwerpen, proefdraaien, implementeren en monitoren van een mens-robot samenwerking voor flexibele productie.
