A dolgozatjavító is ember – vagy mégsem?

A tanárok idejük jelentős részét nem tanítással, hanem dolgozatjavítással töltik. Mi lenne, ha ezt a feladatot más, például egy számítógép végezné el? Megoldható-e megfelelően ez a feladat, vagy a technológiai újítás bevezetése csak rontana a helyzeten?

A tanárok igen hamar felfedezték, hogy a számítógépek terjedése a munkájukat sokban megkönnyítheti – például a segíthet a tesztek elkészítésében és javításában. Arra viszont sokáig nem gondolhattak, hogy a számítógép a szöveges dolgozatok javítását is elvégzi – legalábbis a legutóbbi időkig. Az Egyesült Államokban azonban már intenzíven folyik az úgynevezett esszéjavító ás -értékelő szoftverek tesztelése, és vannak olyan programok is, melyek a szöveges válaszok értékelésére is képesek.

Válaszok és választások

A szöveges válaszokat feldolgozó szoftverek a választ úgy értelmezik, hogy a benne szereplő szavak között igyekeznek értelmi viszont teremteni. Így például az „a szív vért pumpál” szerkezetből azonosítják, mikről is van szó (a szív nevű szervről és a vér nevű anyagról), és milyen viszony van közöttük (az egyik pumpálja a másikat – természetesen a szoftver azt is azonosítja, melyik melyiket). A program egy táblázatból keresi ki, hogy mely viszonyok felelnek meg a valóságnak, és melyek nem.

A diákok nagyon szeretik a rendszert, hiszen emailben elküldik munkájukat, és egy percen belül máris megkapják az eredményt. Sőt, arra is lehetőségük van, hogy a hibákat kijavítsák, és újra elküldjék a szöveget. A módszer az oktatásban is hasznos: az egyik ilyen kísérletben részt vett diákok a 12,5%-kal magasabb eredményt értek el, mint a kísérletben részt nem vevő társaik.

Esztelen esszék?

Egy másik hasonló kísérletben esszéket értékelt a program. Az ezt a programot használó diákok mintegy háromszor annyit írnak, mint társaik, és ennek köszönhetően szintén gyorsabban fejlődnek. A program azért is motiváló, mert a diákok a munkát inkább játéknak fogják fel, és a negatív értékeléseket sem büntetésként élik meg.

A megfigyelések szerint ezek a rendszerek sokkal következetesebben osztályoznak, mint az emberi értékelők, már csak azért is, mert döntéseiket a fáradtság és a hasonló tényezők nem befolyásolják. De ami ennél is fontosabb: a gépi értékelés eredménye általában megegyezik az emberi értékelésével. Egy kísérletben kilenc esszéértékelő szoftvert használtak: ezek a szókincs gazdagságát és a nyelvhelyességet figyelték, és ugyanazon szövegekre hasonló osztályzatokat adtak – ezek mindig közel álltak az emberi kiértékelőkhöz által adott értékelésekhez.

Ugyanakkor vannak, akik kritizálják az ilyen programokat. Ezek ugyanis képtelenek valóban értelmezni a szöveget, helyette formális kritériumokra adnak pontot. Ha például valaki három példát hoz, az egy retorikai formulát használ, és ezért pontokat kaphat. Ha a diák a nagy helyett a hatalmas, gigantikus, jókora, terjedelmes stb. szavakat használja, szintén többletpontot nyer. Még azzal is pontokat lehet szerezni, ha valaki hosszú mondatokat ír, ellenben az érvelés szerkezetét a szoftver egyáltalán nem képes figyelembe venni.

Ennek köszönhető, hogy a diákok leginkább olyan külsődleges stílusjegyekre szoknak rá, melyeket a szoftver ugyan nagyra értékel, de az esszé minőségét nem befolyásolják – a rossz stílusról pedig úgy kell leszoktatni őket. Sőt, a programokat tökéletesen át lehet verni ügyesen megformált, de teljesen értelmetlen mondatokkal is.

Forrás: nyest.hu