Luați în considerare următorul scenariu.
V-ați înscris la Massive Open Online Course (MOOC) oferit de universitatea de renume mondial.
După patru săptămâni de muncă solidă, ați finalizat prima lucrare și vă așezați pentru a trimite un eseu. În al doilea eseu, care este trimis spre clasificare, rezultatul dvs. pare să declare că eseul dvs. este mai puțin decât efortul stelar.
Dar este posibil ca eseul să nu fi fost văzut de oameni, ci a fost evaluat exclusiv de un sistem computerizat care a comparat eseul cu un eșantion de eseuri dintr-o bază de date.
EdX, un furnizor MOOC non-profit fondat de Universitatea Harvard și Institutul de Tehnologie din Massachusetts, a introdus o capacitate de clasificare a esei automatizate în actualizările de software la începutul acestui an.
Dar ar trebui folosite sisteme automate de clasificare pentru eseuri? Și cât de bine sunt și aceste sisteme?
Fenomenele MOOC
Abundența din jurul MOOC-urilor a atins febra terenului anul trecut. MOOC-urile ne-au fost inițial aduse de universități americane de prestigiu - care oferă același conținut pe care l-au plătit studenții, gratuit pentru toată lumea.
În curând, universitățile australiene au sărit la bord și au urmat rapid platformele MOOC interne.
Școlile și universitățile australiene folosesc de mulți ani sisteme automate de notare pentru teste multiple și adevărate.
Dar edX a făcut un pas mai departe cu ajutorul tehnologiei de inteligență artificială până la eseuri de clasă - un pas controversat dat fiind că această abordare nu a fost încă făcută.
Președintele EdX, Anant Agarwal, a declarat luna aceasta pentru New York Times că „software-ul de evaluare instantanee ar fi un instrument pedagogic util care le-ar permite studenților să susțină teste și să scrie eseuri de mai multe ori și să îmbunătățească calitatea răspunsurilor lor. Tehnologiile de inteligență artificială pentru evaluarea eseurilor au avut „avantaje diferite față de sistemul clasic tradițional, în care elevii așteaptă adesea zile sau săptămâni pentru note”.
Nivelatoare de roboți
Sistemele automate de clasificare care evaluează răspunsurile scrise au existat încă din anii 1960, când au fost introduse primele computere mainframe.
New York Times relatează că patru state americane (Louisiana, Dakota de Nord, Utah și Virginia de Vest) folosesc acum sisteme automate de notare a esei în licee și, în unele situații, software-ul este folosit ca o copie de rezervă pentru a oferi controlul evaluatorilor umani.
Evaluarea automată a esei se bazează pe un sistem care este instruit cu un set de exemple de eseuri care au fost punctate manual. Apoi vor învăța din exemple de eseuri și rezultate furnizate pentru alte eseuri studențești și vor include o analiză a indicatorilor de fraze, cuvinte cheie, propoziții și construcția de paragrafe.
Sistemele automate de clasificare a testelor pot fi ajustate pentru a determina oamenii să evalueze un subset de eseuri trimise. Cu toate acestea, acest lucru limitează capacitatea sistemului automat de clasificare de a oferi rezultate și feedback imediat.
Tehnologia inteligenței artificiale poate intra apoi în proces pentru a face procesul mai sofisticat, folosind cunoștințele acumulate din eseuri marcate de ființe umane.
Poate un computer să evalueze cu adevărat un eseu?
Utilizarea tehnologiilor de inteligență artificială în sistemele automate de clasificare nu este, în general, acceptată. Și pașii recenți ai organizațiilor de educație online pentru a utiliza tehnologiile de inteligență artificială pentru testarea mizelor ridicate au ridicat îngrijorări în rândul mediului academic.
Acest interes a culminat cu o petiție online împotriva evaluării automatizate a eseurilor lansată anul acesta de un grup de academicieni și cercetători interesați. Până în prezent au fost colectate peste 3.600 de semnături, inclusiv de la intelectuali de rang înalt, precum Noam Chomsky.
Într-o declarație pe site-ul petiției se spune că „computerele nu pot citi”. Nu pot măsura bazele unei comunicări scrise eficiente: acuratețe, raționament, adecvarea dovezilor, bun simț, atitudine etică, argument persuasiv, organizare semnificativă, claritate și veridicitate, printre altele.
Les Perelman, cercetător la MIT, este foarte critic față de sistemele de clasificare automată și a criticat tehnologia de ultimă generație folosind tehnologia inteligenței artificiale în sistemele de clasificare a testelor automate.
Perelman afirmă că „o comparație a performanțelor claselor umane care se potrivesc între ele cu mașinile care se potrivesc cu un scor diferențiat sugerează încă unele indicații că evaluatorii umani pot fi semnificativ mai fiabili decât mașinile.
În iunie 2012, Perelman a trimis un eseu absurd la Serviciul de Testare Educațională din SUA (ETS) numit e-Rater și a primit cea mai mare notă posibilă.
ETS folosește software-ul e-Rater în colaborare cu evaluatori ai drepturilor omului pentru a clasifica examenele postuniversitare (GRE) și testele de engleză non-umană (TOEFL) pentru teste practice.
Ambele teste sunt ridicate - primul decide cu privire la admiterea în școlile americane absolvite și cel de-al doilea cu privire la soarta non-vorbitorilor de limba engleză care vor să studieze la universitățile americane.
Timpii de testare
Universitățile australiene se pot grăbi să adopte MOOC pentru a ignora discuțiile importante cu privire la ce forme de evaluare sunt acceptabile și cum să se asigure că rezultatele învățării sunt valabile.
Valoarea centrală a valorilor MOOC-urilor ca instrument pedagogic este metoda utilizată pentru evaluarea participanților la curs.
Tehnologiile de inteligență artificială avansează rapid, dar au ajuns la un punct în care sistemele automate de notare pot înlocui profesorii universitari?
Vă rugăm să ne spuneți ce credeți - avem nevoie de oameni cu viață reală pentru a evalua eseuri sau credeți că computerele își pot face treaba la fel de bine? Lasă-ți gândurile în comentariile de mai jos.
- Zilele Cenușii încep 40 de zile de post - Societate - Jurnal
- Vedeți ce mănâncă femeile din întreaga lume
- Au comparat modul în care percepem frumusețea feminină în lume; Jurnalul N
- Președintele Caputova condamnă otrăvirea politicianului rus Navalny
- Când mâncăm, ar trebui să folosim cu adevărat bunul simț - Societatea de protecție a consumatorilor