Occupational performance in school settings: evaluation and intervention using the school AMPS
Michaela Munkholm
Professor Anne G Fisher, Assistant professor Britta Löfgren
Docent Curt Hagquist
Umeå universitet
2010-12-16
Occupational performance in school settings: evaluation and intervention using the school AMPS
Institutionen för samhällsmedicin och rehabilitering, Arbetsterapi
Abstrakt
Avhandlingen består av fyra studier som avser att utvärdera reliabilitet och validitet hos bedömningsinstrumentet Skol- AMPS (School Version of the Assessment of Motor and Process Skills [Skol-AMPS]) (Fisher, et al., 2007). Skol-AMPS är en observationsbaserad bedömning som arbetsterapeuter använder för att bedöma kvalitén i barns utförande av skoluppgifter i klassrumsmiljö, planera mål och åtgärder samt mäta förändring. Det långsiktiga målet var att bidra med kunskap om barn med lindriga funktionshinder som ofta uppvisar svårigheter i utförandet av skoluppgifter, till exempel, på grund av svårigheter att koncentrera sig, motorisk oro, svårigheter att följa instruktioner eller organisera och planera sitt skolarbete för att få det färdigt i tid. Vi avsåg också att utvärdera om Skol-AMPS är ett användbart bedömnings- instrument för att bedöma barn när de utför skoluppgifter som de vill och behöver kunna utföra för att vara delaktiga i skolan och beskriva hur Skol-AMPS kan användas tillsammans med lärare eller annan skolpersonal för att planera mål och genomföra åtgärder som underlättar utförandet av skoluppgifter för barn med lindriga funktionshinder i svensk skolmiljö. När Skol-AMPS används i det kliniska arbetet är det viktigt att kvalitetsmåtten är stabila. Detta för att det ska vara möjligt att mäta förändring efter insatta åtgärder. Eftersom Skol-AMPS är ett internationellt standardiserat bedömningsinstrument som på senare år har börjat användas i de nordiska länderna, framför allt i Sverige och Danmark, är det också viktigt att undersöka om Skol-AMPS skill items skiljer sig åt mellan olika världs regioner eller mellan olika grupper av barn. Normalt finns det små variationer men om variationerna blir för stora föreligger det risk för differential item functioning (DIF). Om det finns DIF mellan världs regioner kan det leda till att, till exempel, barn som bedöms med Skol-AMPS i en världs region inte får tillgång till åtgärder som det annars skulle ha fått om samma barn var bedömt i en annan världs region bedömningen blir orättvis. Därför är det också viktigt att undersöka om DIF leder till differential test functioning (DTF). Om Skol-AMPS uppvisar kvalitetsmått som är reliabla och valida kanarbetsterapeuter vara säkra på att Skol-AMPS kvalitetsmått är känsliga för att mäta förändringar över tid.Metoder: I studie I användes två olika split-half metoder och Pearson product moment correlation för att undersöka om Skol-AMPS kvalitets mått är stabila mellan två bedömningar. Resultatet från de båda split-half metoderna korsvaliderades med Cronbach s alphas motsvarighet i Rasch. Vi beräknade också standard error of measurement (SEm) som kan användas för att mäta förändring för ett enskilt barn. I studie II och III användes mångfacetterade Rasch analyser och/eller andra relevanta statistiska metoder (t.ex. ANOVA, t tests) för att undersöka evidens för validitet baserat på (1) intern struktur (stabilitet) relaterat till DIF, (2) relationer till andra variabler (sensivitet/känslighet) vid jämförelser mellan grupper (typiskt utvecklade barn jmf med barn med lindriga funktionshinder) och (3) konsekvenser av testning (fördelar) relaterat till om bedömningen är rättvis. I studie IV användes ANOVA och t tester för att undersöka om Skol-AMPS kvalitetsmått är en känsliga och kan användas för att upptäcka förändringar över tid, till exempel, före och efter insatta åtgärder.Resultat: De tre metoderna för att beräkna reliabiliteten i Skol- AMPS kvalitetsmått ledde till höga reliabilitetskoefficienter (re0.73) och låga SEm. Minimal DIF identifierades mellan världs regioner och mellan typisk utvecklade barn och barn med milda funktionshinder. Trots minimal DIF visade det sig att Skol-AMPS bedömningarna var utan DTF. Resultatet visade också att Skol-AMPS är känslig för att upptäcka skillnader mellan grupper liksom mäta förändringar till följd av åtgärder som planerats tillsammans med läraren och som implementerats i barnets naturliga skolmiljö.Sammanfattning: Resultaten bekräftar god reliabilitet och validitet hos Skol-AMPS kvalitetsmått och skill items när bedömningsinstrumentet används för att bedöma kvalitén i utförandet av uppgifter i skolan. Resultaten har också klinisk betydelse eftersom de ger evidens för att arbetsterapeuter kan använda Skol-AMPS med god tillförlitlighet när bedömningsresultat används för att fatta beslut om enskilda barn, planera mål och åtgärder tillsammans med läraren samt senare utföra uppföljande bedömningar för att mäta effekten av dessa åtgärder. Vi har också evidens att barn med lindriga funktionshinder faktiskt uppvisarnedsatt kvalité i görandet när de utför sina skoluppgifter. De potentiella långsiktiga fördelarna med dessa evidens kan vara att motivera behovet av stöd till barn med lindriga funktionshinder som ofta faller mellan stolarna när resurser i skolan prioriteras, att de får tillgång till arbetsterapeutisk bedömning och insatser i skolan samt genom att samarbeta med lärare och föräldrar, planera och utföra bättre målinriktade och mer effektiva åtgärder implementerade direkt i barnets skolmiljö. Det återstår att genomföra fördjupade forskningsstudier, dvs. fortsätta processen att inhämta evidens om effekten av arbetsterapi i skolan och att vidareutveckla samt utvärdera Skol-AMPS användbarhet för att bedöma barn med aktivitetsbegränsningar i sin skolmiljö.
Occupational performance in school settings: evaluation and intervention using the school AMPS
Background: This thesis is was designed to evaluate aspects of reliability and validity of the School Version of the Assessment of Motor and Process Skills (School AMPS) (Fisher, Bryze, Hume, & Griswold, 2007), an observation-based evaluation of quality of occupational performance when children perform schoolwork tasks in school settings. The long term goal was to contribute to knowledge about children at risk or with mild disabilities who experience difficulties with occupational performance in school settings, and describe how the School AMPS can be used when a true top down process of planning and implementing school-based occupational therapy services is implemented in a Swedish context.Methods: In Study I, two different split-half methods and were used to estimate reliability of the School AMPS measures. These were cross-validated using Rasch equivalent of Cronbach s alpha. The standard error of measurement (m) was also calculated. In Studies II and III, many-facet Rasch analyses and/or relevant inferential statistics (e.g., ANOVA, tests) were used to examine for evidence of validity based on (1) internal structure related to differential item functioning (DIF), (2) relations to other variables (sensitivity) in terms of comparing groups (typically-developing children vs. children with mild disabilities), and (3) consequences of testing (benefits of testing) in terms of test fairness. In Study IV, ANOVA and tests were used to examine relations to other variables in terms of sensitivity of the School AMPS measures for detecting change based on repeated School AMPS evaluations pre- and post-interventions.Results: The three methods for estimating reliability of the School AMPS measures yielded high reliability coefficient estimates (e0.73) and low ms. Minimal DIF was identified, and despite minimal DIF, the School AMPS measures were found to be free of differential test functioning. The School AMPS measures were sensitive enough to detect differences between groups as well as changes following consultative occupational therapy services provided in natural school settings.Conclusions: The results support the reliability and validity of the School AMPS scales and measures when used to evaluate quality of occupational performance in school settings. The results are also of clinical importance as they provide evidence that occupational therapists can have confidence in the School AMPS measures when they are used in the process of making decisions about individual students, planning interventions, and later perform follow-up evaluations to measure the outcomes. We also have objective evidence that children with mild disabilities demonstrate diminished quality of ”doing” when performing schoolwork tasks. The potential long term benefits of such evidence may be to support or justify the need for children with mild disabilities to receive occupational therapy services within school settings in Sweden; and through collaboration with teachers, plan and implement better targeted and more effective interventions.