Testele standardizate sunt dezvoltate pe baza unor principii științifice de măsurare (ramura științei care se ocupă de aceasta se numește psihometrie), astfel încât întrebările, condițiile de administrare, procedurile de scorare și de interpretare să fie aceleași pentru toate persoanele care trec prin testul respectiv. Ele utilizează metode statistice complexe pentru a respecta principiile de fidelitate și validitate, adică acuratețe (lipsă de eroare) și adecvare (corectitudine, acoperirea teritoriului conceptual țintit). De aceea sunt mult mai riguroase decât testele dezvoltate ad-hoc. Scorul unui test standardizat nu este supus subiectivității, el nefiind dependent de blândețea sau severitatea evaluatorului sau de lejeritatea ori dificultatea întrebărilor.
Testele standardizate oferă multiple avantaje:
- sunt obiective și imparțiale: ele oferă măsurare obiectivă, desprinsă de interesul cuiva, de incapacitatea de a alege itemii cei mai potriviți, de nivelul mai scăzut sau mai ridicat pe care îl impune sau practică un profesor, de interesele sau preferințele subiective pe care le poate avea o instituție sau o persoană, de principiile profesorului sau ale școlii;
- sunt fidele (lipsite de eroare): ele asigură rezultate convergente pentru toți cei care dau testul;
- sunt valide: ele măsoară acele caracteristici țintite în mod complet (nu omit componente);
- asigură o corelație mare între rezultatele la test și performanța viitoare, prezisă de test (de exemplu, performanța școlară sau profesională viitoare).
Scop ultim al oricărui test educațional standardizat este acela de a oferi informație obiectivă, independentă, care să servească școlarilor evaluați, părinților și tutorilor, profesorilor, școlii și sistemului de educație.
Metoda de testare Brio este unică față de toate testele digitale concepute pentru elevii români, diferențele fiind date de:
- caracterul științific al metodologiei Brio: este dezvoltată de specialiști în psihometrie și profesori cu expertiză, pe baza unor proceduri statistice consacrate internațional și utilizate în teste prestigioase precum GMAT, GRE și SAT;
- rigurozitatea și complexitatea întrebărilor din teste (sistemul Brio a implicat până acum 60.000 de elevi testați și 200.000 de ore de testare pentru calibrarea itemilor, iar baza de întrebări rezultată cuprinde doar pentru matematică 20.000 de itemi);
- rapoartele de performanță generate după fiecare sesiune de testare, care arată în detaliu zonele de competență ale unui elev, precum și zonele unde acesta trebuie să mai lucreze;
- indicarea poziției pe care un elev testat o ocupă la nivel național, comparativ cu toți elevii din același an de studiu din țară (prin scorul centilă);
- acoperirea întregii programe școlare anuale în cadrul fiecărui test;
- posibilitatea re-evaluării constante a unui elev, fără ca întrebările din teste să se repete;
- posibilitatea monitorizării progresului unui elev (fiecare cont de utilizator creat are un istoric cu rezultatele anterioare și cu evoluția acestora în timp).
Brio respectă statutul de profesor și nu se substituie în niciun fel rolului vital pe care îl au profesorii în actul educațional. În ceea ce privește metoda de evaluare Brio comparativ cu evaluarea realizată de către profesor la clasă, testele Brio sunt cu adevărat obiective întrucât funcționează pe baza unei metodologii standard (teste standardizate).
Prin urmare, ele oferă o măsurare imparțială, desprinsă de interesul cuiva, de incapacitatea de a alege itemii cei mai potriviți pentru testare, de nivelul mai scăzut sau mai ridicat pe care îl impune sau îl practică un profesor, de interesele sau preferințele subiective pe care le poate avea o instituție sau o persoană, de principiile profesorului sau ale școlii.
Merită menționat aici și sistemul de notare a itemilor folosit de Brio. Fiecare item are un singur răspuns corect. Notarea itemilor este diferită în funcție de gradul de dificultate a acestora.
Fiecare item are asociat un număr de parametri, printre care gradul de dificultate, capacitatea de diferențiere și probabilitatea de oferire a unui răspuns corect din întâmplare. Scorarea (calcularea rezultatului) este realizată pe baza acestor parametri, în conformitate cu o procedură matematică subsumată Teoriei Răspunsului la Item.
Testele se adresează elevilor de toate nivelurile, de aceea cuprind întrebări de la cele mai simple la cele mai complexe. Nu există elevi prea slabi sau prea buni ca să dea testele Brio. Testele au întrebări configurate automat pentru a oferi o radiografie completă a cunoștințelor și competențelor elevilor, indiferent la ce nivel se află aceștia.
Fiecare elev testat va fi comparat cu elevii din același an de studiu cu el din România. Acest lucru este posibil întrucât testele au fost calibrate pe un număr foarte mare de elevi români (Brio a implicat până la acest moment testarea a 60.000 de elevi).
Performanța fiecărui copil testat va fi de aceea comparată cu performanța acestor mari eșantioane reprezentative de elevi de aceeași vârstă utilizate la calibrarea testului, iar elevul testat va fi inclus într-o ierarhie între toți acești elevi.
Scorul efectiv obținut de un elev la un test nu spune mare lucru despre performanța reală a acelui elev, dacă nu avem și informații despre dificultatea testului. De exemplu, în cazul unui test cu 20 de întrebări la care se poate obține un scor de 0 pentru răspunsul greșit și un scor de 1 pentru răspunsul corect, scorurile se pot situa în mod teoretic între 0 și 20.
Dacă un copil a obținut 15 puncte, nu putem însă spune nimic despre capacitatea lui, comparativ cu cea a altor elevi, pentru că nu știm dacă testul este simplu sau dificil. De exemplu, dacă este un test simplu și toți ceilalți elevi din clasa lui au luat 18, 19 și 20 de puncte, cele 15 puncte obținute de elevul nostru denotă o abilitate scăzută, comparativ cu a colegilor. Dacă însă testul este unul dificil și majoritatea colegilor lui au obținut 0, 1 și 2 puncte, cele 15 puncte ale elevului nostru îl descriu drept performant.
Pe scurt, etalonul este informația (despre distribuția scorurilor și dificultatea întrebărilor) de care avem nevoie pentru a face aserțiuni comparative și calitative în urma măsurării scorului unui elev la un test.
Un eșantion pe baza căruia se construiește etalonul unui test trebuie să aibă anumite caracteristici. În primul rând trebuie să fie suficient de voluminos: dacă am lua decizii despre abilitatea unui elev pe baza testării altor 2 elevi, ar fi cu siguranță insuficient – nici 20 sau nici chiar 200 nu ar părea suficienți.
Dincolo de faptul că trebuie să fie suficient de mare, el trebuie să reflecte corect distribuția populației din care el este extras. Această caracteristică de a reprezenta corect și proporțional toate caracteristicile populației din care este extras este ”reprezentativitatea” unui eșantion. De exemplu, dacă toți elevii din eșantionul Brio ar fi fost recrutați din cele mai bune școli din România, el nu ar fi fost reprezentativ. Sau dacă acești elevi ar fi provenit doar din mediul urban, eșantionul nu ar fi fost reprezentativ.
Eșantionul care stă la baza scorurilor Brio este însă reprezentativ, căci a fost realizat cu grijă, pe baza unei proceduri de eșantionare stratificată.
Un eșantion de 24.000 de participanți este un eșantion imens. Majoritatea studiilor se bazează pe eșantioane de 1.000 sau sub 1.000 de participanți. Majoritatea sondajelor de opinie, a sondajelor politice sau a altor investigații de acest tip operează cu eșantioane aflate între 400 și 1.100 de participanți. Foarte puține ajung la câteva mii de participanți și niciodată sau aproape niciodată nu se ajunge la zeci de mii de participanți.
Etalonul pe care se bazează testele Brio este actualizat încontinuu și reflectă nivelul actual de abilitate al populației școlare a României.
Această caracteristică este proprie metodologiei psihometrice utilizate de sistemul Brio (Teoria Răspunsului la Item, IRT). Parametrii IRT ai fiecărei întrebări sunt cunoscuți înainte de alocarea respectivei întrebări unui test. Cunoscând nu doar răspunsurile corecte sau greșite ale unui elev, ci de asemenea parametrii întrebărilor la care au fost date aceste răspunsuri, sistemul poate calcula cu precizie nivelul de abilitate al elevului testat.
De exemplu, chiar dacă două teste nu conțin nici o întrebare identică, dacă este cunoscut pentru fiecare întrebare gradul ei de dificultate și sistemul are grijă ca fiecare copil să primească întrebările cu gradul de dificultate corect, atunci întrebările sunt echivalente (chiar dacă nu identice), iar testele în ansamblul lor sunt și ele echivalente (chiar dacă nu identice).
Centila este diferită de notă. Pentru a înțelege mai bine conceptul de centilă, este util să ne imaginăm că toți elevii români din același an de studiu (de exemplu, toți elevii de clasa a VIII-a) sunt împărțiți în 100 de grupe cu număr egal de membri.
Pentru un elev care se află la centila 80, acest lucru înseamnă că el este în al 80-lea grup, din cele 100 de grupuri egale, numărând de jos către vârf. Prin urmare, 20% dintre elevii din România (de aceeași clasă) sunt mai buni decât el și 80% sunt mai slabi sau egali cu el. Centila este așadar o poziție într-o ierarhie și nu o notă.
Nota nu corespunde cu centila. Există profesori severi la care nota zece nu poate fi obținută decât dacă știi totul și perfect (echivalent cu centila 99), așa cum există și profesori la care nota zece poate fi obținută dacă știi cam jumătate din materie în mod adecvat (echivalent cu centila 50).
În timp ce notele sunt rezultatul unor aprecieri subiective și se raportează la baremul interpretat personal de cel care evaluează, centila este un scor statistic care se raportează la ceva concret, respectiv la nivelul de competență pe care l-au dovedit ceilalți elevi aflați în același an de studiu.
Atunci când se modifică programa școlară (dacă aceasta se modifică), testele Brio se vor modifica și ele pentru a urma programa.
Comparația se face cu elevii din același an de studiu, deci de aceeași clasă cu elevul testat.
Testele grilă sunt o componentă importantă a testelor standardizate. În absența lor nu ar fi posibilă administrarea automată a unui astfel de sistem de evaluare și nici comparabilitatea rezultatelor sau obiectivitatea lor (din moment ce răspunsurile deschise ar presupune implicarea factorului uman inerent subiectiv).
Răspunsurile completate liber nu ar putea fi procesate de calculator cu suficientă acuratețe și ar trebui să intervină pentru scorare și o persoană, ceea ce ar aduce din nou în ecuație subiectivitatea inerentă raționamentului uman. Bazarea testării standardizate pe teste de tip grilă este o soluție excelentă, validată de știință și de practica de câteva decenii în acest domeniu.
Mediul în care este administrat un test nu influențează abilitatea elevului care dă testul. Dacă un copil știe să rezolve o ecuație și să dea răspunsul pe hârtie, știe să facă acest lucru și în fața ecranului computerului. Așadar, abilitatea nu este dependentă de mediul în care este administrat testul.
Testele Brio sunt teste computerizate: întrebările apar pe ecranul computerului, iar răspunsurile sunt date și ele pe ecranul computerului. Însă elevul testat are în fața sa ciorne și realizează pe acestea operațiile matematice de care are nevoie pentru rezolvare. Faptul că în loc să bifeze un răspuns pe o foaie bifează un răspuns pe ecran este o diferență minoră.
Întrebările Brio au fost dezvoltate de o echipă extinsă de profesori români cu vastă experiență în domeniile lor de activitate, în colaborare cu specialiști în psihometrie. Pentru a citi mai multe despre Echipa Brio, accesați acest link.
Brio este mult mai mult decât o sumă de itemi, este un sistem care integrează acești itemi într-un produs digital complex, care întrunește toate standardele internaționale de metodologie și administrare.
Sistemul Brio a implicat 60.000 de elevi testați și 200.000 de ore de testare pentru calibrarea itemilor. Baza de întrebări astfel rezultată cuprinde doar pentru matematică 20.000 de itemi și garantează acoperirea minuțioasă a întregii programe școlare anuale, în cadrul fiecărui test.
De asemenea, Brio oferă în urma fiecărei testări un raport de performanță detaliat, cu radiografia nivelului educațional specific fiecărui elev și cu indicarea scorului centilă specific.
Fondatorul Brio este prof. dr. Dragoș Iliescu, doctor în psihologie și profesor universitar în cadrul Facultății de Psihologie și Științele Educației, Universitatea București.
El a lucrat la sistemul Brio împreună cu o echipă de specialiști în educație, statistică, psihometrie și branding, din România și din afara ei. Pentru a citi mai multe despre Echipa Brio, accesați acest link.
În dezvoltarea sistemului Brio au fost realizate cercetări intensive privind validitatea scorurilor oferite de sistem.
Corelația scorurilor Brio cu notele școlare sau cu alți indicatori de performanță școlară este foarte bună.
Nu contează cât timp alocă elevul testat pentru rezolvarea unei întrebări. Sistemul ia în calcul doar dacă răspunsul la o întrebare este corect sau greșit.