Programul Național de Testare Standardizată este primul proiect pilot de testare standardizată din România, derulat de Ministerul Educaţiei, prin inspectoratele școlare județene și în parteneriat cu Brio®, platformă ed-tech de măsurare a performanței educaționale. Acesta s-a desfășurat în perioada 30 mai – 8 iunie 2022 și a avut drept scop să identifice atât modalitatea prin care acest tip de testare poate fi generalizat, cât și permisivitatea mediului educațional românesc la tranziția către instrumente standardizate și digitale în evaluare.
În program au participat 526 de școli din întreaga țară, din toate ciclurile de învățământ: primar, gimnazial și liceal, iar în total, au fost administrate 280.237 de teste.
Analiza itemilor au fundamentat o serie de limite de scoruri și categorii aferente. Scorurile sub 40 descriu o zonă de risc masiv pentru elevii respectivi: risc de abandon școlar, risc de nepromovare, risc de a nu putea promova examenele (Evaluare Națională sau Bacalaureat) sau în risc de a nu putea înțelege componente ale materiei. Scorurile între 40 și 75 descriu o zonă de funcționalitate limitată: elevii reușesc să opereze cu noțiunile cuprinse în materie și reușesc să rezolve probleme fundamentale, fără însă a avea fluența și familiaritatea necesare, pentru a putea fi siguri că performanța aceasta este constantă. Scorurile între 75 și 95 descriu o zonă de funcționalitate bună: elevii sunt familiari și fluenți cu materia și rezolvă cu relativă lejeritate probleme, chiar de complexitate mai ridicată. Scorurile peste 95 descriu o zonă de excelență: elevii sunt nu doar în elementul lor în respectiva materie, ci manifestă și elemente de creativitate individuală, abordând inclusiv probleme nefamiliare și complexe, cu potențial mare de performanță superioară.
„Am finalizat un proiect extrem de important pentru Brio®. Programul pilot de Testare Standardizată a fost, atât pentru noi, cât și pentru sistemul românesc de educație, un moment de cotitură: beneficiile unui demers de testare standardizată la nivel de sistem sunt multiple, de la posibilitatea de a interveni la nivel individual asupra lacunelor la elaborarea, la nivel de sistem, de politici noi. Dar mai cu seamă cred că am trecut, noi ca nație, un test de acceptare a unui asemenea instrument: participarea mult peste orice așteptare la acest program, precum și rezultatele sondajului de la finalul testului ne întăresc convingerea că întregul sistem își dorește o reformă profundă a instrumentelor de evaluare. Și aceasta e cea mai mare victorie, cred eu, a acestui program”, spune Gabi Bartic, CEO Brio®.
În urma administrării testelor, s-a constatat că un volum mare din populația testată se află în zona de risc educațional (aproximativ 20%). Totodată, jumătate din masa elevilor testați sunt în zona de performanță limitată. Chiar și în condițiile unui eșantion selectat peste media națională, rezultatele arată un volum extrem de mic de elevi în zona de excelență (aprox. 1-2%).
În ceea ce privește diferențele de gen, fetele sunt mai bune decât băieții la Limba Română, iar diferențierea se accentuează pe măsură ce elevii avansează în clase superioare. De asemenea, fetele înregistrează procente mai mari în categoria „Excelență” la nivelul tuturor claselor, spre deosebire de băieți. Această caracteristică este neclară, însă, la Matematică, unde când fetele, când băieții auscor mai mare. În ceea ce privește Istoria, băieții sunt mai buni decât fetele, prezența lor în categoria „Excelență” este mai înaltă decât cea a fetelor.
Raportul mai arată că suntem în fața unui decalaj consistent în defavoarea mediului rural: acest decalaj este pervaziv, la toate clasele și la toate materiile. La Limba Română și Matematică diferența este de aproximativ 5% (în medie), în timp ce la Istorie acesta este de circa 10%. Procente semnificativ mai mari din mediul rural se află în zona de risc educațional și de performanță limitată.
Cele mai mari procente la nivelul tuturor ciclurilor școlare și la toate materiile testate sunt înregistrate în categoria „Performanță limitată”, aceasta fiind urmată de categoria „Performanță bună”. La Limba Română, în ceea ce privește situația de risc, cel mai mic procent care se încadrează aici este cel al elevilor din clasa a-XI-a (9,32%), lucru care se repetă și în cazul categoriei de excelență, unde din nou cel mai mic procent se înregistrează la elevii de aceeași clasă (0,97%). În ceea ce privește situația de risc la disciplina Matematică, cel mai mic procent care se încadrează aici este cel al elevilor din clasa a-XI-a (19,92%), în timp ce în cazul categoriei de excelență, cel mai mic procent se înregistrează la clasa a-IV-a (2,02%). În urma efectuării sesiunilor de testare la Istorie, cel mai mic procent în situație de risc este cel al elevilor din clasa a-XI-a (10,16%), similar cu ce se întâmplă în cazul categoriei de excelență, unde cel mai mic procent se înregistrează la aceeași clasă (1,21%).
Distribuția scorurilor medii obținute la Limba Română la nivelul țării, în funcție de județul de proveniență, arată că cele mai mari rezultate medii obținute se înregistrează în județele Galați, Prahova, Buzău etc., cele mai mici scoruri medii fiind obținute în județele Arad, Mureș și Harghita. La Matematică cele mai mari rezultate medii se înregistrează în județele Vâlcea, Dolj, Galați, cele mai mici scoruri medii fiind în județele Arad, Sibiu și Mehedinți, în timp ce la Istorie cele mai bune rezultate medii sunt obținute în județele Satu-Mare, Galați, Buzău, iar cele mai mici scoruri medii sunt în județele Harghita, Maramureș și Giurgiu.
În ce privește reacțiile elevilor la acest pilot, acestea au fost în general pozitive și puternic corelate cu performanța avută. Subiectele au părut mai grele la Matematică si la Istorie decât la Limba Română. La Istorie, reacția a fost ceva mai rezervată, cel mai probabil din cauză că elevii nu sunt testați în mod curent în acest fel la clasă, ci prin subiecte expozitive. Lla Matematică, reacția a fost de asemenea mai rezervată, în mod special la liceu și în mod special la cei cu doar 2 ore pe săptămână. Elevii au fost favorabili cu privire la testarea digitalizată.
***
Despre Brio®
Brio® este prima și singura platformă de teste digitale standardizate pentru elevii români. Prin testele școlare Brio® , elevii români din clasele I-XII își pot evalua obiectiv cunoștințele la principalele materii școlare și își pot îmbunătăți performanța la examene. Testele standardizate sunt dezvoltate pe baza unor principii științifice de măsurare (ramura științei care se ocupă de aceasta se numește psihometrie), astfel încât întrebările, procedurile de scorare și de interpretare să fie aceleași pentru toate persoanele care trec prin testul respectiv. Ele utilizează metode statistice complexe pentru a respecta principiile de fidelitate și validitate, adică acuratețe (lipsă de eroare) și adecvare (corectitudine, acoperirea teritoriului conceptual țintit). De aceea, sunt mult mai riguroase decât testele dezvoltate ad-hoc. Scorul unui test standardizat nu este supus subiectivității, el nefiind dependent de blândețea sau severitatea evaluatorului ori de lejeritatea ori dificultatea întrebărilor.
După fiecare testare, elevul și părintele sau profesorul primesc un raport de evaluare — Raportul Brio® — un document detaliat ce descompune în termeni foarte clari aspectele din subcapitolele analizate, indicând ce noțiuni sunt stăpânite deja de elev, respectiv pe cele pentru care e nevoie de aprofundare. Un instrument de ghidare și de informare obiectivă și acționabilă, este singurul tool de pe piața românească de educație digitală ce sprijină pregătirea și performanța susținută, identificând cu exactitate ariile unde elevul trebuie să mai lucreze pentru a fi competitiv față de colegii săi de generație.
Brio® este avizat de Ministerul Educației și Cercetării, Sistemul de Testare fiind un produs științific conceput pe baza programei școlare din România, conceptualizat de o echipă de profesori și experți internaționali în testare și psihometrie.
În program au participat 526 de școli din întreaga țară, din toate ciclurile de învățământ: primar, gimnazial și liceal, iar în total, au fost administrate 280.237 de teste.
Analiza itemilor au fundamentat o serie de limite de scoruri și categorii aferente. Scorurile sub 40 descriu o zonă de risc masiv pentru elevii respectivi: risc de abandon școlar, risc de nepromovare, risc de a nu putea promova examenele (Evaluare Națională sau Bacalaureat) sau în risc de a nu putea înțelege componente ale materiei. Scorurile între 40 și 75 descriu o zonă de funcționalitate limitată: elevii reușesc să opereze cu noțiunile cuprinse în materie și reușesc să rezolve probleme fundamentale, fără însă a avea fluența și familiaritatea necesare, pentru a putea fi siguri că performanța aceasta este constantă. Scorurile între 75 și 95 descriu o zonă de funcționalitate bună: elevii sunt familiari și fluenți cu materia și rezolvă cu relativă lejeritate probleme, chiar de complexitate mai ridicată. Scorurile peste 95 descriu o zonă de excelență: elevii sunt nu doar în elementul lor în respectiva materie, ci manifestă și elemente de creativitate individuală, abordând inclusiv probleme nefamiliare și complexe, cu potențial mare de performanță superioară.
„Am finalizat un proiect extrem de important pentru Brio®. Programul pilot de Testare Standardizată a fost, atât pentru noi, cât și pentru sistemul românesc de educație, un moment de cotitură: beneficiile unui demers de testare standardizată la nivel de sistem sunt multiple, de la posibilitatea de a interveni la nivel individual asupra lacunelor la elaborarea, la nivel de sistem, de politici noi. Dar mai cu seamă cred că am trecut, noi ca nație, un test de acceptare a unui asemenea instrument: participarea mult peste orice așteptare la acest program, precum și rezultatele sondajului de la finalul testului ne întăresc convingerea că întregul sistem își dorește o reformă profundă a instrumentelor de evaluare. Și aceasta e cea mai mare victorie, cred eu, a acestui program”, spune Gabi Bartic, CEO Brio®.
În urma administrării testelor, s-a constatat că un volum mare din populația testată se află în zona de risc educațional (aproximativ 20%). Totodată, jumătate din masa elevilor testați sunt în zona de performanță limitată. Chiar și în condițiile unui eșantion selectat peste media națională, rezultatele arată un volum extrem de mic de elevi în zona de excelență (aprox. 1-2%).
În ceea ce privește diferențele de gen, fetele sunt mai bune decât băieții la Limba Română, iar diferențierea se accentuează pe măsură ce elevii avansează în clase superioare. De asemenea, fetele înregistrează procente mai mari în categoria „Excelență” la nivelul tuturor claselor, spre deosebire de băieți. Această caracteristică este neclară, însă, la Matematică, unde când fetele, când băieții auscor mai mare. În ceea ce privește Istoria, băieții sunt mai buni decât fetele, prezența lor în categoria „Excelență” este mai înaltă decât cea a fetelor.
Raportul mai arată că suntem în fața unui decalaj consistent în defavoarea mediului rural: acest decalaj este pervaziv, la toate clasele și la toate materiile. La Limba Română și Matematică diferența este de aproximativ 5% (în medie), în timp ce la Istorie acesta este de circa 10%. Procente semnificativ mai mari din mediul rural se află în zona de risc educațional și de performanță limitată.
Cele mai mari procente la nivelul tuturor ciclurilor școlare și la toate materiile testate sunt înregistrate în categoria „Performanță limitată”, aceasta fiind urmată de categoria „Performanță bună”. La Limba Română, în ceea ce privește situația de risc, cel mai mic procent care se încadrează aici este cel al elevilor din clasa a-XI-a (9,32%), lucru care se repetă și în cazul categoriei de excelență, unde din nou cel mai mic procent se înregistrează la elevii de aceeași clasă (0,97%). În ceea ce privește situația de risc la disciplina Matematică, cel mai mic procent care se încadrează aici este cel al elevilor din clasa a-XI-a (19,92%), în timp ce în cazul categoriei de excelență, cel mai mic procent se înregistrează la clasa a-IV-a (2,02%). În urma efectuării sesiunilor de testare la Istorie, cel mai mic procent în situație de risc este cel al elevilor din clasa a-XI-a (10,16%), similar cu ce se întâmplă în cazul categoriei de excelență, unde cel mai mic procent se înregistrează la aceeași clasă (1,21%).
Distribuția scorurilor medii obținute la Limba Română la nivelul țării, în funcție de județul de proveniență, arată că cele mai mari rezultate medii obținute se înregistrează în județele Galați, Prahova, Buzău etc., cele mai mici scoruri medii fiind obținute în județele Arad, Mureș și Harghita. La Matematică cele mai mari rezultate medii se înregistrează în județele Vâlcea, Dolj, Galați, cele mai mici scoruri medii fiind în județele Arad, Sibiu și Mehedinți, în timp ce la Istorie cele mai bune rezultate medii sunt obținute în județele Satu-Mare, Galați, Buzău, iar cele mai mici scoruri medii sunt în județele Harghita, Maramureș și Giurgiu.
În ce privește reacțiile elevilor la acest pilot, acestea au fost în general pozitive și puternic corelate cu performanța avută. Subiectele au părut mai grele la Matematică si la Istorie decât la Limba Română. La Istorie, reacția a fost ceva mai rezervată, cel mai probabil din cauză că elevii nu sunt testați în mod curent în acest fel la clasă, ci prin subiecte expozitive. Lla Matematică, reacția a fost de asemenea mai rezervată, în mod special la liceu și în mod special la cei cu doar 2 ore pe săptămână. Elevii au fost favorabili cu privire la testarea digitalizată.
***
Despre Brio®
Brio® este prima și singura platformă de teste digitale standardizate pentru elevii români. Prin testele școlare Brio® , elevii români din clasele I-XII își pot evalua obiectiv cunoștințele la principalele materii școlare și își pot îmbunătăți performanța la examene. Testele standardizate sunt dezvoltate pe baza unor principii științifice de măsurare (ramura științei care se ocupă de aceasta se numește psihometrie), astfel încât întrebările, procedurile de scorare și de interpretare să fie aceleași pentru toate persoanele care trec prin testul respectiv. Ele utilizează metode statistice complexe pentru a respecta principiile de fidelitate și validitate, adică acuratețe (lipsă de eroare) și adecvare (corectitudine, acoperirea teritoriului conceptual țintit). De aceea, sunt mult mai riguroase decât testele dezvoltate ad-hoc. Scorul unui test standardizat nu este supus subiectivității, el nefiind dependent de blândețea sau severitatea evaluatorului ori de lejeritatea ori dificultatea întrebărilor.
După fiecare testare, elevul și părintele sau profesorul primesc un raport de evaluare — Raportul Brio® — un document detaliat ce descompune în termeni foarte clari aspectele din subcapitolele analizate, indicând ce noțiuni sunt stăpânite deja de elev, respectiv pe cele pentru care e nevoie de aprofundare. Un instrument de ghidare și de informare obiectivă și acționabilă, este singurul tool de pe piața românească de educație digitală ce sprijină pregătirea și performanța susținută, identificând cu exactitate ariile unde elevul trebuie să mai lucreze pentru a fi competitiv față de colegii săi de generație.
Brio® este avizat de Ministerul Educației și Cercetării, Sistemul de Testare fiind un produs științific conceput pe baza programei școlare din România, conceptualizat de o echipă de profesori și experți internaționali în testare și psihometrie.