Purpose: The main purpose of the research was to measure reliability and validity of the Scoring Rubric for Information Literacy (Van Helvoort, 2010). Design/methodology/approach: Percentages of agreement and Intraclass Correlation were used to describe interrater reliability. For the determination of construct validity, factor analysis and reliability analysis were used. Criterion validity was calculated with Pearson correlations. Findings: In the described case, the Scoring Rubric for Information Literacy appears to be a reliable and valid instrument for the assessment of information literate performance. Originality/value: Reliability and validity are prerequisites to recommend a rubric for application. The results confirm that this Scoring Rubric for Information Literacy can be used in courses in higher education, not only for assessment purposes but also to foster learning. Oorspronkelijke artikel bij Emerald te vinden bij http://dx.doi.org/10.1108/JD-05-2016-0066
MULTIFILE
The main purpose of the research was the development and testing of an assessment tool for the grading of Dutch students' performance in information problem solving during their study tasks. Scholarly literature suggests that an analytical scoring rubric would be a good tool for this.Described in this article are the construction process of such a scoring rubric and the evaluation of the prototype based on the assessment of its usefulness in educational practice, the efficiency in use and the reliability of the rubric. To test this last point, the rubric was used by two professors when they graded the same set of student products. 'Interrater reliability' for the professors' gradings was estimated by calculating absolute agreement of the scores, adjacent agreement and decision consistency. An English version of the scoring rubric has been added to this journal article as an appendix. This rubric can be used in various discipline-based courses in Higher Education in which information problem solving is one of the learning activities. After evaluating the prototype it was concluded that the rubric is particularly useful to graders as it keeps them focussed on relevant aspects during the grading process. If the rubric is used for summative evaluation of credit bearing student work, it is strongly recommended to use the scoring scheme as a whole and to let the grading work be done by at least two different markers. [Jos van Helvoort & the Chartered Institute of Library and Information Professionals-Information Literacy Group]
from the article: "The purpose of this paper is to design a rubric instrument for assessing oral presentation performance in higher education and to test its validity with an expert group. Design/methodology/approach This study, using mixed methods, focusses on: designing a rubric by identifying assessment instruments in previous presentation research and implementing essential design characteristics in a preliminary developed rubric; and testing the validity of the constructed instrument with an expert group of higher educational professionals (n=38). Findings The result of this study is a validated rubric instrument consisting of 11 presentation criteria, their related levels in performance, and a five-point scoring scale. These adopted criteria correspond to the widely accepted main criteria for presentations, in both literature and educational practice, regarding aspects as content of the presentation, structure of the presentation, interaction with the audience and presentation delivery. Practical implications Implications for the use of the rubric instrument in educational practice refer to the extent to which the identified criteria should be adapted to the requirements of presenting in a certain domain and whether the amount and complexity of the information in the rubric, as criteria, levels and scales, can be used in an adequate manner within formative assessment processes. Originality/value This instrument offers the opportunity to formatively assess students’ oral presentation performance, since rubrics explicate criteria and expectations. Furthermore, such an instrument also facilitates feedback and self-assessment processes. Finally, the rubric, resulting from this study, could be used in future quasi-experimental studies to measure students’ development in presentation performance in a pre-and post-test situation."
LINK
Werknemers en werkgevers in de Groen Grond Infra (GGI) sector krijgen een steeds grotere rol in de natuurinclusieve transitie binnen de agrarische sector en GGI. Deze groene transitie vereist verschillende soorten kennis, investeringen en inzet van loonwerkers. De betrokken loonwerkers moeten nu niet alleen taken uitvoeren maar ook meedenken over hoe die taken uit te voeren om bij te dragen aan de groene transitie. Een belangrijk onderdeel van deze verandering is dat werknemers als "change agents" gaan optreden. Dit betekent dat ze, dankzij hun kennis en houding, helpen om de groene transitie te realiseren. De GGI-sector omvat veel verschillende werkterreinen, zoals cultuurtechniek, agrarisch loonwerk en beheer van groene ruimtes. Om studenten op te leiden voor de arbeidsmarkt in deze diverse sector, is een nieuwe aanpak nodig. Deze aanpak moet de diversiteit van de sector bedienen en studenten stimuleren om een ondernemende en duurzame rol aan te nemen. Bedrijven, studenten, docenten, onderzoekers en andere betrokkenen gaan in een praktijkonderzoek een leeromgeving creëren die opleidt voor deze "change agents". In dit pilot-onderzoek werken studenten, bedrijven, een docent-onderzoeker, een practor en lector samen met vraaggestuurd onderwijs. Dit betekent dat de leerbehoeften van de studenten centraal staan, binnen kaders van duurzaamheid en natuurinclusiviteit. Het bedrijfsleven en het onderwijs faciliteren het leerproces, bewaken de kaders en reflecteren met de studenten op hun toekomstige rol als "change agents" in de GGI-sector. Het doel van dit pilot-onderzoek is dat studenten GGI(loonwerk) vaardigheden en tools ontwikkelen om mee te denken binnen de groene transitie. Door middel van interviews, Situational Judgement Tests en rubrics wordt inzicht verkregen in dit proces. De onderzoeksvraag is: Hoe kan vraaggestuurd onderwijs, vormgegeven door studenten, bedrijfsleven en Terra MBO, bijdragen aan een ondernemende houding bij GGI-studenten, zodat zij beter kunnen functioneren als "change agents" in toekomstbestendig loonwerk?
Adequate en volledige verslaglegging is een belangrijk onderdeel van de dagelijkse fysiotherapeutische praktijk. Tegelijkertijd gaat het gepaard met hoge administratieve lastendruk. Het neemt veel tijd in beslag en gaat ten koste gaat van patiëntencontact. Uit gesprekken met eerstelijns fysiotherapeuten uit het netwerk van de Hogeschool van Arnhem en Nijmegen (HAN) is gebleken dat er dringend behoefte is aan vermindering van de administratieve lastendruk. Automatische verslaglegging op basis van spraakherkenning en taalmodellen (ChatGPT, LaMDA) is hiervoor een aanlokkelijk toekomstperspectief. De leerstoel Software Production (Universiteit Utrecht)) en het Nivel zijn een AI-gestuurde infrastructuur voor automatische verslaglegging aan het ontwikkelen voor andere zorgcontacten, zoals bij medisch specialisten (care2report.nl). Zij zijn bereid de HAN te adviseren bij de ontwikkeling van automatische verslaglegging in de fysiotherapie, dat gedaan wordt samen met beroepsorganisatie KNGF, EPD-leverancier Smartfile en enkele eerstelijns fysiotherapiepraktijken. Als eerste worden fysiotherapeuten in het aangevraagde project in focusgroepen bevraagd over de barrières die zij ervaren t.a.v. verslaglegging. Vervolgens wordt een zogenaamde ontologie (bestaande uit gespreksonderwerpen en onderliggende medische concepten) ontwikkeld aan de hand van transcripten van opgenomen consulten fysiotherapie. Deze transcripten worden geanalyseerd waarbij talige uitingen en gebruikte terminologie worden gerubriceerd conform bestaande richtlijnen van de beroepsgroep (richtlijn dossiervoering en de aandoeningspecifieke richtlijn lage rugpijn). De ontwikkelde ontologie is een onderlegger voor de doorontwikkeling van automatische verslaglegging middels natural language processing met ChatGPT. In het aangevraagde Kiem-project worden minimaal 30 eerstelijns fysiotherapieconsulten bij mensen met lage rugpijn opgenomen, getranscribeerd en in samenhang met het EPD verslag geanalyseerd. De ontologie ondersteunt de natuurlijke variatie in consultgesprekken, opdat de werkwijze van de fysiotherapeut geen aanpassing vergt. Er is gekozen voor lage rugpijn omdat deze aandoening het meest voorkomt en er een recent geüpdate richtlijn voor bestaat.
Het SIA Raak project Van Goeden Huize helpt controllers aan adviezen en instrumenten om te gaan met hun rol als financiële professional met een wettelijke taak om onafhankelijk toezicht te houden in een complexe omgeving (de zogenoemde onafhankelijke controllersfunctie). Met deze resultaten kunnen zij en hun corporaties bepalen welke persoonlijke competenties kunnen worden versterkt, hoe hun positie moet worden ingebed in de organisatie en welk beleid dit vraagt van de verschillende corporaties.
