Service of SURF
© 2025 SURF
Background: Experienced assessors show good intra-rater reproducibility (within-session and between-session agreement and reliability) when using an algometer to determine pressure pain thresholds (PPT). However, it is unknown whether novice assessors perform equally well. This study aimed to determine within and between-session agreement and reliability of PPT measurements performed by novice assessors and explored whether these parameters differed per assessor and algometer type.Methods: Ten novice assessors measured PPTs over four test locations (tibialis anterior muscle, rectus femoris muscle, extensor carpi radialis brevis muscle and paraspinal muscles C5-C6) in 178 healthy participants, using either a Somedic Type II digital algometer (10 raters; 88 participants) or a Wagner Force Ten FDX 25 digital algometer (nine raters; 90 participants). Prior to the experiment, the novice assessors practiced PPTs for 3 h per algometer. Each assessor measured a different subsample of ~9 participants. For both the individual assessor and for all assessors combined (i.e., the group representing novice assessors), the standard error of measurement (SEM) and coefficient of variation (CV) were calculated to reflect within and between-session agreement. Reliability was assessed using intraclass correlation coefficients (ICC1,1).Results: Within-session agreement expressed as SEM ranged from 42 to 74 kPa, depending on the test location and device. Between-session agreement, expressed as SEM, ranged from 36 to 76 kPa and the CV ranged from 9-16% per body location. Individual assessors differed from the mean group results, ranging from -55 to +32 kPa or from -9.5 to +6.6 percentage points. Reliability was good to excellent (ICC1,1: 0.87 to 0.95). Results were similar for both types of algometers.Conclusions: Following 3 h of algometer practice, there were slight differences between assessors, but reproducibility in determining PPTs was overall good.
Toetsen is een vak apart en niet elke goede opleider is direct ook een goede beoordelaar. Toetsen en leren zijn onlosmakelijk met elkaar verbonden en voor het verkrijgen van beter onderwijs zullen onderwijs en toetsing steeds beter geïntegreerd en op elkaar afgestemd dienen te worden. Professionalisering van de beoordelaars is daarvoor noodzakelijk. Het onderzoek dat in dit rapport beschreven wordt, wil antwoord geven op de vraag of er inderdaad verschil in interventies waar te nemen is tijdens het criteriumgericht interview (CGI) tussen de verschillende groepen van assessoren (ongetraind, getraind en expert), en op de vraag of er verschillende professionele niveaus van criteriumgericht beoordelen zijn te beschrijven in de vorm van een kwaliteitsrubriek (rubric) criteriumgericht beoordelen? Dit leidt tot de onderstaande onderzoeksvragen: 1. Is er verschil te observeren bij de 3 onderzoeksgroepen (ongetraind, getraind en expert) in het gebruik van de interventies die de assessoren bij het criteriumgericht beoordelen hanteren tijdens de afname van het CGI? Het onderzoek richt zich vooral op de eerste vijf onderdelen van het assessorenprofiel. 2. Als blijkt dat er verschil is in de hantering van de onderdelen van het assessorenprofiel, zijn er dan patronen waar te nemen in de interventies die de assessoren gebruiken? 3. Is er een kwaliteitsrubriek criteriumgericht beoordelen te beschrijven waarin de drie verschillende professionele niveaus (ongetraind, getraind en gecertificeerd) qua interventies met betrekking tot criteriumgericht beoordelen zichtbaar zijn. Om de onderzoekvragen te kunnen beantwoorden is het noodzakelijk om de assessoren te observeren bij het afnemen van assessments. De onderzoeker heeft daarom gekozen voor observaties van ongetrainde, getrainde en expert assessoren. Dit was mogelijk doordat de onderzoeker vanuit haar assessorentrainingspraktijk direct toegang heeft tot het observeren van alle drie de onderzoeksgroepen ongetraind – ervaren - expert. De observaties waren deels ‘live’ en deels observaties van op DVD opgenomen assessments. De methode van onderzoek is kwalitatief. Gekozen is voor de observatie als waarnemingstechniek om via de directe waarneming (zien en horen) de gedragsinterventies die de assessor pleegt tijdens het criteriumgericht interview (CGI) te observeren en te analyseren. Dit gebeurt in de natuurlijke context van de assessmentafname. De onderzoeker gebruikt het assessorenprofiel als kijkkader om de CGI-gesprekken en DVD’s te analyseren. Op basis van de observaties die in het kader van dit onderzoek zijn uitgevoerd, kunnen drie prototypische assessorenprofielen beschreven worden, die onderling verschillen in de mate waarin ze systematisch gebruik maken van gesprekstechnieken, in staat zijn om tot objectieve en transparante oordelen te komen, zich bewust zijn van de kwaliteit van hun handelen en gericht zijn op het verbeteren daarvan. Het gaat hier om prototypische beschrijvingen: individuele assessoren kunnen ook zonder formele training tot de categorie expert assessor horen, en assessoren kunnen kenmerken uit verschillende prototypen hebben
Background To gain insight into the role of plantar intrinsic foot muscles in fall-related gait parameters in older adults, it is fundamental to assess foot muscles separately. Ultrasonography is considered a promising instrument to quantify the strength capacity of individual muscles by assessing their morphology. The main goal of this study was to investigate the intra-assessor reliability and measurement error for ultrasound measures for the morphology of selected foot muscles and the plantar fascia in older adults using a tablet-based device. The secondary aim was to compare the measurement error between older and younger adults and between two different ultrasound machines. Methods Ultrasound images of selected foot muscles and the plantar fascia were collected in younger and older adults by a single operator, intensively trained in scanning the foot muscles, on two occasions, 1–8 days apart, using a tablet-based and a mainframe system. The intra-assessor reliability and standard error of measurement for the cross-sectional area and/or thickness were assessed by analysis of variance. The error variance was statistically compared across age groups and machines. Results Eighteen physically active older adults (mean age 73.8 (SD: 4.9) years) and ten younger adults (mean age 21.9 (SD: 1.8) years) participated in the study. In older adults, the standard error of measurement ranged from 2.8 to 11.9%. The ICC ranged from 0.57 to 0.97, but was excellent in most cases. The error variance for six morphology measures was statistically smaller in younger adults, but was small in older adults as well. When different error variances were observed across machines, overall, the tablet-based device showed superior repeatability. Conclusions This intra-assessor reliability study showed that a tablet-based ultrasound machine can be reliably used to assess the morphology of selected foot muscles in older adults, with the exception of plantar fascia thickness. Although the measurement errors were sometimes smaller in younger adults, they seem adequate in older adults to detect group mean hypertrophy as a response to training. A tablet-based ultrasound device seems to be a reliable alternative to a mainframe system. This advocates its use when foot muscle morphology in older adults is of interest.
MULTIFILE