Testing english collocations: <br>Developing receptive tests for use with advanced swedish learners

Abstrakt

Forskningsprojektet som rapporteras i denna avhandling har två övergripande mål. Det första målet är att utveckla testinstrument avsett för avancerade svenska inlärare av engelska, som genererar reliabla och valida testpoäng kopplat till receptiv kunskap avseende engelska kollokationer som en specifik förmåga. Med kollokationer avses konventionaliserade och frekvent förekommande ordkombinationer, och de typer som testas är adjektiv + nominalfras, samt verb + nominalfras. Mål nummer två är att kartlägga kunskapsnivåer hos avancerade svenska inlärare av engelska avseende receptiv kollokationskunskap, samt undersöka sambandet mellan denna kunskap och ordförrådets storlek respektive lärandenivå. Baserat på tre stycken forskningsfrågor behandlas avhandlingens två mål i sju empiriska studier, där informanterna är svenska engelskstuderande samt infödda talare av engelska. De svenska informanterna är gymnasie- och universitetsstuderande i engelska som främmande språk och har erhållit mellan 8 och 11 års undervisning.

Resultaten visar att de två utvecklade testinstrumenten COLLEX och COLLMATCH genererar reliabla testpoäng, som också kan kopplas till olika typer av validitet, t.ex. begreppsvaliditet, samtidig validitet och upplevd validitet. Innehållsvaliditet bör undersökas vidare och vissa problem identifieras vad gäller takeffekter. Resultaten visar också att a) testpoängen på COLLEX och COLLMATCH ökar som en funktion av lärandenivå, b) de två testen urskiljer väl inlärare på olika färdighetsnivåer, samt urskiljer inlärare från infödda talare av engelska, och c) testpoäng från COLLEX och COLLMATCH uppvisar en hög korrelation med testpoäng från test som mäter det receptive ordförrådets storlek. Resultaten antyder att det finns ett nära samband mellan storleken på avancerade inlärares ordförråd och deras receptive kollokationskunskap. Skillnaden när det gäller receptiv kollokationskunskap mellan inlärare med en högre respektive en lägre färdighetsnivå anses följa av en dominerande konceptuell process hos de senare genom vilken strukturer i andraspråket kopplas till strukturer i förstaspråket, och vilket förstärks genom en lägre grad av språkexponering. Resultaten tyder också på att universitetsstudier på heltid i mellan 4 och 6 månader inte är tillräckligt för att en mätbar ökning av receptiv kollokationskunskap skall kunna ske. Resultaten pekar också på att receptiv kollokationskunskap ökar när lärandenivå, allmän språkfärdighet och ordförrådets storlek ökar. Detta innebär att en hög grad av språkexponering torde vara en viktig faktor för ett implicit tillägnande av kollokationer, utöver explicit undervisning. COLLEX- och COLLMATCH-testen tar kort tid att göra, uppskattas av informanter och så länge hänsyn tas till deras begränsningar kan de användas som både färdighetsprov och som forskningsinstrument avseende receptiv kollokationskunskap.

Testing english collocations: Developing receptive tests for use with advanced swedish learners

The research reported in this thesis has two main aims. The first aim is to develop tests capable of yielding reliable and valid scores of receptive knowledge of English collocations as a single construct, for use with advanced L2 learners of English. Collocations are seen as conventionalized, recurring combinations of words, and the targeted types are adjective + NP and verb + NP. The second aim is to chart the levels of receptive collocation knowledge in advanced Swedish learners of English, and investigate the relationship between receptive collocation knowledge, vocabulary size, and learning level. In a series of seven empirical studies, involving students of English in Sweden as well as native speakers of English, the two main aims of the thesis are addressed through three research questions. The informants in Sweden are L2 learners of English at upper-secondary school and university level, who have had 8 and 11 years of classroom instruction in English.

The results show that the two tests developed called COLLEX and COLLMATCH yield reliable scores, and show evidence of different types of validity, such as construct validity, concurrent validity, and face validity. Further investigation is needed in terms of content validity, and certain lingering problems are identified with regard to ceiling effects. It is furthermore shown that a) scores on COLLEX and COLLMATCH increase as a function of learning level, b) the two tests discriminate well between learners of different proficiency levels, and between learners and native speakers of English, and c) scores on COLLEX and COLLMATCH correlate highly with scores on a receptive vocabulary size test. The results suggest that there is a close relationship between advanced learners vocabulary size and receptive collocation knowledge. The difference in receptive collocation knowledge between higher and lower proficiency learners is argued to stem from a dominating conceptual processing mediation of L2 forms through L1 forms for the lower proficiency learners, coupled with less exposure to the target language. The results also suggest that 4-6 months of full-time university-level studies are not enough for a measurable increase in receptive collocation knowledge to emerge. There is furthermore evidence to suggest that there is a progression in receptive collocation knowledge concomitant of learning level, overall language proficiency, and vocabulary size. This arguably favours a great deal of language exposure as an important factor for implicit acquisition of collocations, in addition to explicit instruction. COLLEX and COLLMATCH are quick to administer, hold appeal with test-takers, and so long as their limitations are noted they may be used as tests of receptive collocation knowledge, both as proficiency tests and as research tools.