MOOCin arvioinnista

Liittyen arviointikäytäntöihin MOOCeissa. Teen sivuaineopintoja kurssilla sosiaalinen media ja opetuksen havainnollistaminen. Joku muu opiskelija samaisella kurssilla oli kirjoittanut siellä kokemuksiaan kaupunkisuunnittelu-MOOCista, johon osallistui. Alla referoin hänen kertomaansa nimenomaan arvioinnin näkövinkkelistä. MOOCissa, johon hän osallistui käyettiin vertaisarviointia siten, että jokainen opiskelija arvioi vähintään viiden muun opiskelijan työn. Halutessaan toki sai arvioida enemmänkin, mutta kurssisuoritukseen vaaditaan viisi arviota. Arviointiin oli laadittu kriteerit ja niitä vastaava numeerinen asteikko oli 1-5.

Henkilö koki, että vertaisarvioinnin tekeminen ei ollut ihan ongelmatonta. Hän oli jälkikäteen mietittynä tulkinnut arviointikriteerejä ehkä tarpeettoman kirjaimellisesti siten, että oli antanut kolmosen, kun työ on ohjeiden mukaan tehty ja korkeampia arvosanoja, kun työ oli vaatinut tämän ylittävää omaperäisyyttä tms. Hänen arvioimansa työt olivat tulleet Aasiasta tai Etelä-Amerikasta eli varsin erilaisista lähtökohdista kuin tekijän oma.  Hän myös mietti, että kurssin osallistujien opiskelutaidot saattavat olla hyvin erilaisia ja kuitenkin arviointi tapahtuu ikään kuin kaikki olisivat samalla viivalla.

Kaupunkisuunnittelu aiheena on varmastikin sellainen, että siinä ei ole absoluuttisia oikeita tai vääriä vastauksia, jolloin vertaisarviointi on varmaan "automaatti-arviointia" parempi vaihtoehto. Mutta kirjoittajan kokemuksista päätellen se ei kuitenkaan ole ongelmatonta, johtuen pitkälti osallistujien eri lähtökohdista ja tasoista. Kuitenkin vertaisarvioinnissa oppii sekä arviontekijä että arvioitava, joten jos arvosana jätetään toisarvoiseksi, tämä käytäntö palvelee.

Kävipä mielessä, että kenties voisimme pyytää tätä kirjoittajaa henkilökohtaisesti katsastamaan blogiamme ja kertomaan mitä mieltä hän meidän kirjoituksistamme on?

Ajatuksia arvioinnista kirjojen Suominen&Nurmela, Verkko-opettaja ja Silander&Koli, Verkko-opetuksen työkalupakki -pohjalta

Verkkotyöskentelyn arvioinnista ja sen soveltamisesta MOOCiin

Suominen ja Nurmela esittävät kirjassaan, että verkkotyöskentylyä voidaan arvioida eri tavoin. Huomioitavaa on kuitenkin, että tässä yhteydessä ei kuitenkaan spesifisesti käsitelty vain MOOCeja vaan verkko-oppimista yleisellä tasolla.  Ensinnäkin yksi tapa arvioida on luonnollisesti opiskelijan itsetekemä arviointi omasta oppimisestaan. Silander ja Koli esittää, että itsearvioinnissa arvioidaan nimenomaan sitä, mitä on oppinut sekä oman oppimisprosessin onnistumista. Ei ole tarkoituksenmukaista verrata itseään muihin. Tällaisessa itsearvioinnissa arvioinnin perusteiden on kuitenkin oltava selvillä. Arviointi voi koskea oppimista, oppimisympäristöä, tuotoksia ja/tai opetusta. Itsearviointi lisää opiskelijan tietoisuutta omasta oppimisesta ja antaa mahdollisuuksia sen kehittämiseen. Suominen ja Nurmela esittävät myös, että verkkotyöskentelyä voidaan arvioida myös pienryhmissä, mikäli työskentely on tällaisissa tapahtunut. Näinhän mekin olemme opettajakoulutuksessa arvioineet jokaisen opintokokonaisuuden jälkeen oppimistamme, työskentelyämme sekä muita edellä mainittuja aspekteja. Myös vertaispalaute on käyttökelpoinen tapa arvioida verkko-oppimista. Se on luonteva tapa ja siinä painotetaan nimenomaan positiivisia asioita. Myös ulkopuolista palautetta voidaan käyttää oppimisen arvioinnissa ja opettajan antama palaute on luonnollisesti yksi olennainen ulkoisen palautteen muoto. Tällainen yksilöpalaute kuitenkin työllistää opettajaa paljon erityisesti jos kursseilla on paljon opiskelijoita. Opettaja voi antaa myös ryhmäpalautetta, erityisesti jos työskentely on tapahtunut ryhmissä. Tässä on kuitenkin se huono puoli, että opiskelijat saattavat kokea että palaute ei ole riittävän henkilökohtaista. Verkkokursseilla on käytössä myös automaattipalaute, jonka hyvä puoli on se, että se on välitöntä. Vaihtoehtoja tällaisen automaattipalautteen antamiseen on useita. Opettaja voi olla tehnyt mallivastaukset kysymyksiin, ja nämä vastaukset tulevat opiskelijalle heti palautuksen jälkeen. Toinen tapa toteuttaa automaattipalaute on esimerkiksi siten, että opiskelija saa kymmenen edellisen opiskelijan palautteen.

Miten nämä edellä esitellyt arviointitavat sitten taipuvat MOOCeihin? Ensinnäkin mielestäni opettajan antama palaute ei missään tapauksessa sovi MOOceihin, yksinkertaisesti siitä syystä, että kurssilla saattaa olla useita tuhansia osallistujia ja opettajan antama yksilöllinen, mutta myös pienryhmäpalaute ja -arviointi olisi kertakaikkiaan mahdotonta järjestää. Arviointitapaan vaikuttaa myös se mistä aihepiiristä MOOC on – onko se matemaattinen kurssi vai filosofiaa. Jos tehtävät ovat sellaisia, että niihin on olemassa vain yksi oikea vastaus, näkisin, että automaattipalaute toimisi. Tällainen systeemi on käytössä esimerkiksi Helsingin yliopiston tietojenkäsittelytieteen laitoksen järjestämillä ohjelmointiMOOCeilla.  Koska ohjelmakoodia pystyy testaamaan automaattisesti, syksyllä 2011 rakennettiin tehtävien automaattinen testausjärjestelmä. Sen sijaan ”pohtivimmissa” aihepiireissä, kuten esimerkiksi meidän opettajaopinnoissa tällainen automaattipalaute ei ehkä palvelisi, koska opiskelijoiden pohdinnat ovat varsin erilaisia eikä niin sanottuja oikeita vastauksia aina ole. Itse- ja vertaisarviointi siis voisivat olla ratkaisu opettajaopintojen MOOC-kursseilla. Tätähän tehdään nytkin esimerkiksi sivuaineena tarjolla olevalla ”opetuksen havainnollistaminen ja sosiaalinen media” kurssilla.