Tidligere undersøgelser har fokuseret på effekten af en bestemt teknologi på holdninger, motivation og simple viden tests. Sådanne studier forevige en hovedløs debat om den pædagogiske effekt af medier (Clark, 1994; Kozma, 1994). Hvad bør undersøges, er konsekvenserne for læring i form af forbedringer i de studerendes forespørgsel processer og andre højere ordens aspekter af læring, er direkte relevante for forståelsen af udfordrende og komplekst emne (Lowyck et al, 2003;. Spector & Anderson, 2000).
For at demonstrere, at specifikke instruktions tilgange og uddannelsesmæssige teknologier er effektiv til at forbedre komplekse problemløsning færdigheder, en metode bestemme højere orden læringsresultater egnede til sådanne problemer er påkrævet. En pilot test af en sådan metode blev demonstreret og diskuteret på internationale system Dynamics konference i Bergen, Norge fra 2000 (Christensen, Spector, Sioutine, & McCormack, 2000). En lignende metodologi udviklet i Tyskland har vist lovende (Seel, Al-Diban, & Blumschein, 2000).
Generelle resultater af en 1-årig National Science Foundation (NSF) undersøgelse, der involverer denne modellering vurderingsmetode diskuteres næste. NSF projekt med titlen '' The Deep metode til vurdering Læring i komplekse domæner '' (se Spector & Koszalka 2004 for detaljerede resultater; kun højt niveau resuméer rapporteres her) undersøgte brugen af annoterede problem repræsentationer til at bestemme relative niveauer af ekspertise i biologi, teknik og medicin. Supplerende undersøgelser med lignende resultater er blevet rapporteret i litteraturen (Seel et al, 2000;.
Stoyanova & Kommers, 2002; Taricani & Clariana, 2006). De dybe Undersøgelsen involverede udvælgelsen af to repræsentative problem scenarier for hver af tre komplekse problemløsning domæner (biologi, teknik og medicin). Emner omfattede både ekspert og ikke-ekspert respondenter; de blev forsynet med et problem scenario og bed