Exploring and modeling response process data from PISA: inferences related to motivation and problem-solving

Modellering av responsprocessdata från PISA: inferenser relaterade till motivation och problemlösning

Datorbaserade prov gör det möjligt att samla in data om provtagarnas beteende när de utför uppgifter. Genom att analysera dessa data kan vi lära oss mer om hur deltagarna tänker och vilka mål som styr deras handlingar. Detta kan vara viktigt för att förstå provpoängens validitet, det vill säga huruvida provpoängen betyder det vi tror att den betyder. Ett av de områden där analys av responsprocesser kan vara särskilt användbar är för att undersöka provtagarnas motivation att göra sitt bästa i provsituationen. Det vanligaste sättet att undersöka testmotivation är genom självrapport, men analys av responsprocessdata skulle kunna ge kompletterande information. Ännu ett område som responsprocessdata kan ge information om är deltagarnas problemlösningsstrategier när de löser provuppgifter, vilket kan bidra med mer nyanserade tolkningar av provtagares svar. Avhandlingens mål har varit att undersöka hur responsprocessdata kan öka förståelse för prov- och enkätresultat genom att pröva och utveckla nya metoder för att bedöma provtagarnas motivation och dess effekt på poäng, samt att utforska och utveckla metod för att härleda problemlösningsstrategier. Avhandlingen är en sammanställning av fyra delstudier där det empiriska materialet baseras på PISA-studien. Förhoppningen är dock att forskningen ska vara relevant även för andra prov och enkäter. I Studie I delades provtagare in i grupper med låg, medel och hög ansträngning baserat på klustring av responsprocessdata från en PISA 2012 problemlösningsuppgift. Resultaten visade att högre ansträngning var relaterad till högre provresultat i PISA i de fall då provtagare inte löste uppgiften, vilket givet uppgiftens design innebar att provtagaren hade gett upp att lösa uppgiften. Om provtagaren lyckades lösa uppgiften så fanns inget positivt samband mellan ansträngning och prestation. Resultaten har implikationer för hur testmotivation kan mätas, då de indikerar att det endast är tillförlitligt att mäta testmotivation från grad av ansträngning före provtagare ger upp, något som inte fungerar för provtagare som har lätt att lösa alla uppgifter, och något som är problematiskt då uppgifters design sällan ger information om huruvida provtagare har gett upp. Studie II syftade till att undersöka om och hur problemlösningsstrategier kunde identifieras från responsprocessdata i en uppgift från PISA 2012. Metoden var att träna en textklassificeringsmodell med datorsimulerade strategier. Resultaten från studien visade att träffsäkerheten för ix att klassificera problemlösningsstrategier var cirka 72%, men att träffsäkerheten kunde ökas till 90% om uppgiften modifierades. Uppgiften kunde lösas med flera strategier, vissa mer effektiva än andra. Provtagare vars beteende med störst sannolikhet passade in på en strategi som valde handlingar helt slumpmässigt uppvisade lägre provprestation kontra andra strategier. Resultaten tyder på att vi kan få en mer detaljerad bild av deltagares problemlösningsprocess, metoden är dock komplicerad och inte direkt generaliserbar till andra uppgiftstyper. Studie III syftade till att uppskatta provtagares motivation att svara på bakgrundsenkäten i PISA 2018 genom att härleda motivationen från responstider på enskilda enkätuppgifter. Resultaten visade att de flesta deltagare hade hög motivation att svara på enkäten. Dock var vissa frågor, och frågor i slutet av enkäten, mer utsatta för icke-motiverade svar. Enkätmotivation var positivt relaterad till provprestation, ett resultat som tyder på att enkätmotivation kan vara en indikation på provmotivation. Dock kan estimering av enkätmotivation ha påverkats av vilket läsflyt provtagarna har, något som framtida studier bör undersöka. Studie IV syftade till att skapa en modell som, baserat på responstider och svarsmönster, uppskattade andelen svar som resulterade från ytligt genomtänkta svar (eng. satisficing), och om sådana svar påverkade poäng på frågor som avsåg mäta medvetenhet om lässtrategier. Resultaten visade att mellan 15% och 29% av svaren på de studerade enkätfrågorna kan ha genererats genom en ytlig svarsprocess, och att andelen opålitliga svar var tillräckligt stor för att påverka poängen. Slutsatsen är att validitet i poäng från enkäten kan hotas av skenbart valida svar vilka inte kan upptäckas utan att beakta responstider och svarsmönster. Sammanfattningsvis visar studierna att responsprocessdata från storskaliga prov ger värdefulla insikter om provtagres motivation, problemlösningsstrategier och enkätsvars tillförlitlighet, och att genom att beakta responsprocessdata kan validiteten i vår tolkning av provresultat öka. Resultaten tyder inte på att självrapporterade motivationsupskattningar bör ersättas av motivationsuppskattningar baserade på responsprocessdata, snarare att de har kompletterande funktioner. Den mest praktiska tillämpbara användningen av responsprocessdata bedöms vara i samband med bakgrundsenkäter. Trots att responsprocessdata ger detaljerade observationer är de inte kompletta beskrivningar av provtagares beteenden, en begränsning som måste beaktas. Betänk dock även x att detaljerade beskrivningar av beteenden sällan otvetydigt kan avslöja den underliggande kognitionen. Mer forskning behövs för att utvärdera hur väl slutsatser från modeller över responsprocessdata överensstämmer med exakta sanningskriterier, och om sådana saknas, med modeller baserade på mer detaljerade observationer.

Exploring and modeling response process data from PISA: inferences related to motivation and problem-solving

This thesis explores and models response process data from large-scale assessments, focusing on test-taking motivation, problem-solving strategies, and questionnaire response validity. It consists of four studies, all using data from PISA (Programme for International Student Assessment) data.

Study I processed and clustered log-file data to create a behavioral evaluation of students’ effort applied to a PISA problem-solving item, and examined the relationship between students’ behavioral effort, self-reported effort, and test performance. Results show that effort invested before leaving the task unsolved was positively related to performance, while effort invested before solving the tasks was not. Low effort before leaving the task unsolved was further related to lower self-reported effort. The findings suggest that test-taking motivation could only be validly measured from efforts exerted before giving up.

Study II used response process data to infer students’ problem-solving strategies on a PISA problem-solving task, and investigated the efficiency of strategies and their relationship to PISA performance. A text classifier trained on data from a generative computational model was used to retrieve different strategies, reaching a classification accuracy of 0.72, which increased to 0.90 with item design changes. The most efficient strategies used information from the task environment to make plans. Test-takers classified as selecting actions randomly performed worse overall. The study concludes that computational modeling can inform score interpretation and item design.

Study III investigated the relationship between motivation to answer the PISA student questionnaire and test performance. Departing from the theory of satisficing in surveys a Bayesian finite mixture model was developed to assess questionnaire-taking motivation. Results showed that overall motivation was high, but decreased toward the end. The questionnaire-taking motivation was positively related to performance, suggesting that it could be a proxy for test-taking motivation, however, reading skills may affect the estimation.

Study IV examines the validity of composite scores assessing reading metacognition, using a Bayesian finite mixture model that jointly considers response times and sequential patterns in subitem responses. The results show that, the relatively high levels of satisficing (up to 30%) negatively biased composite scores. The study highlights the importance of considering response time data and subitem response patterns when the validity of scores from the student questionnaire.

In conclusion, response process data from international large-scale assessments can provide valuable insights into test-takers’ motivation, problem-solving strategies, and questionnaire validity.