Although learning analytics benefit learning, its uptake by higher educational institutions remains low. Adopting learning analytics is a complex undertaking, and higher educational institutions lack insight into how to build organizational capabilities to successfully adopt learning analytics at scale. This paper describes the ex-post evaluation of a capability model for learning analytics via a mixed-method approach. The model intends to help practitioners such as program managers, policymakers, and senior management by providing them a comprehensive overview of necessary capabilities and their operationalization. Qualitative data were collected during pluralistic walk-throughs with 26 participants at five educational institutions and a group discussion with seven learning analytics experts. Quantitative data about the model’s perceived usefulness and ease-of-use was collected via a survey (n = 23). The study’s outcomes show that the model helps practitioners to plan learning analytics adoption at their higher educational institutions. The study also shows the applicability of pluralistic walk-throughs as a method for ex-post evaluation of Design Science Research artefacts.
LINK
Although learning analytics benefit learning, its uptake by higher educational institutions remains low. Adopting learning analytics is a complex undertaking, and higher educational institutions lack insight into how to build organizational capabilities to successfully adopt learning analytics at scale. This paper describes the ex-post evaluation of a capability model for learning analytics via a mixed-method approach. The model intends to help practitioners such as program managers, policymakers, and senior management by providing them a comprehensive overview of necessary capabilities and their operationalization. Qualitative data were collected during pluralistic walk-throughs with 26 participants at five educational institutions and a group discussion with seven learning analytics experts. Quantitative data about the model’s perceived usefulness and ease-of-use was collected via a survey (n = 23). The study’s outcomes show that the model helps practitioners to plan learning analytics adoption at their higher educational institutions. The study also shows the applicability of pluralistic walk-throughs as a method for ex-post evaluation of Design Science Research artefacts.
LINK
From the article: "The educational domain is momentarily witnessing the emergence of learning analytics – a form of data analytics within educational institutes. Implementation of learning analytics tools, however, is not a trivial process. This research-in-progress focuses on the experimental implementation of a learning analytics tool in the virtual learning environment and educational processes of a case organization – a major Dutch university of applied sciences. The experiment is performed in two phases: the first phase led to insights in the dynamics associated with implementing such tool in a practical setting. The second – yet to be conducted – phase will provide insights in the use of pedagogical interventions based on learning analytics. In the first phase, several technical issues emerged, as well as the need to include more data (sources) in order to get a more complete picture of actual learning behavior. Moreover, self-selection bias is identified as a potential threat to future learning analytics endeavors when data collection and analysis requires learners to opt in."
Hbo-studenten doen tijdens hun opleiding werkervaring op, bijvoorbeeld door stage te lopen. Wij onderzoeken op welke manier technologie het leerproces van studenten op de werkplek kan ondersteunen. We ontwikkelen ontwerpprincipes en de daarop gebaseerde Stage-App.Doel Studenten leren op de werkplek heel anders dan op de hogeschool. Het leren gebeurt vaak onbewust en impliciet. De Stage-App helpt studenten bewuster te worden van dit leerproces en hier actiever mee bezig te zijn, om uiteindelijk meer uit hun stage te halen. Resultaten Dit onderzoek loopt. We hebben de resultaten tot nu toe gedeeld via posters, presentaties en artikelen. Gepubliceerde artikelen Exploring Design Principles for Technology-Enhanced Workplace Learning Design Propositions for Technology-Enhanced Workplace Learning Design & Implementation of Technology-Enhanced Workplace Learning Learning Analytics voor Stages en Werkplekleren Workplace Learning Analytics in Higher Engineering Education Automated Feedback for Workplace Learning in Higher Education De open-source Stage-App is beschikbaar via Github.com. Looptijd 01 november 2015 - 31 december 2020 Aanpak In het eerste deel van onderzoek hebben we uitgezocht wat er nodig is om een app voor het leerproces te ontwerpen. Vervolgens hebben we de Stage-App ontwikkeld. Daarin kunnen studenten registreren wat ze hebben geleerd en dit koppelen aan de leerdoelen die ze vanuit hun opleiding meekrijgen. We ontwikkelen de app zoveel mogelijk vanuit het perspectief van de student. Om de app aan te laten sluiten op de wensen en eisen van studenten houden we interviews, enquêtes, gebruikerstesten en co-design-sessies. Tegelijkertijd baseren we de functionaliteiten op literatuuronderzoek over werkplekleren en 'technology enhanced learning', om te zorgen dat de app het leerproces zo goed mogelijk ondersteunt.
Hbo-studenten doen tijdens hun opleiding werkervaring op, bijvoorbeeld door stage te lopen. Wij onderzoeken op welke manier technologie het leerproces van studenten op de werkplek kan ondersteunen. We ontwikkelen ontwerpprincipes en de daarop gebaseerde Stage-App.Doel Studenten leren op de werkplek heel anders dan op de hogeschool. Het leren gebeurt vaak onbewust en impliciet. De Stage-App helpt studenten bewuster te worden van dit leerproces en hier actiever mee bezig te zijn, om uiteindelijk meer uit hun stage te halen. Resultaten Dit onderzoek loopt. We hebben de resultaten tot nu toe gedeeld via posters, presentaties en artikelen. Gepubliceerde artikelen Exploring Design Principles for Technology-Enhanced Workplace Learning Design Propositions for Technology-Enhanced Workplace Learning Design & Implementation of Technology-Enhanced Workplace Learning Learning Analytics voor Stages en Werkplekleren Workplace Learning Analytics in Higher Engineering Education Automated Feedback for Workplace Learning in Higher Education De open-source Stage-App is beschikbaar via Github.com. Looptijd 01 november 2015 - 31 december 2020 Aanpak In het eerste deel van onderzoek hebben we uitgezocht wat er nodig is om een app voor het leerproces te ontwerpen. Vervolgens hebben we de Stage-App ontwikkeld. Daarin kunnen studenten registreren wat ze hebben geleerd en dit koppelen aan de leerdoelen die ze vanuit hun opleiding meekrijgen. We ontwikkelen de app zoveel mogelijk vanuit het perspectief van de student. Om de app aan te laten sluiten op de wensen en eisen van studenten houden we interviews, enquêtes, gebruikerstesten en co-design-sessies. Tegelijkertijd baseren we de functionaliteiten op literatuuronderzoek over werkplekleren en 'technology enhanced learning', om te zorgen dat de app het leerproces zo goed mogelijk ondersteunt.
