Verslag van de masterclass ‘Kunt u de waarde van uw HBO-diploma’s garanderen?’

Facta organiseerde 6 december 2011 een masterclass over kwaliteit van toetsing en examinering. Een hot item natuurlijk in het hoger onderwijs gezien de berichten over fraude die de afgelopen maanden de krant haalden.

Het ochtendprogramma bestond uit plenaire sessies met een wisselend aanbod. Er werd gestart met een inleiding over de veranderende wet- en regelgeving. Daarna volgden ervaringen vanuit de praktijk door CINOP en de Hogeschool Utrecht. Hoe ziet een examencyclus eruit? Wie maakt de toetsen en sluiten ze aan bij het juiste kwalificatieniveau? Dit soort vragen brengt altijd veel discussie los, prima, dat levert verbeteringen en nieuwe inzichten op.


Vervolgens een interactieve dialoog “hoe kom je van een kwaliteitsplan naar een kwaliteitscultuur inzake toetsen en beoordelen”. De Christelijke Hogeschool Ede liet een paar mooie voorbeelden zien hoe zij al wat handen en voeten gegeven hebben aan de kwaliteitscultuur d.m.v. examencommissie, toetscommissie, examinatoren. Belangrijk: feedbackcultuur op alle niveaus.

Het middagprogramma bestond uit interactieve sessies, deelnemers mochten kiezen uit 3 onderwerpen: aansluiting accreditatievoorschriften en uw eigen toetsbeleid, doe een SWOT-analyse van uw eigen toetsbeleid, het beoordelen van eindwerken: scripties en afstudeeropdrachten. Namens Andriessen gaf Manon Bonefaas de workshop SWOT-analyse en toetsbeleid. Opvallend was dat er nog niet veel toetsbeleid is. Er is wel veel in de maak, maar het blijkt lastig om tot een beleid te komen. En als het beleid er eenmaal is, loopt het ook vast op implementatie, hoe ga je je afspraken in het toetsbeleid operationaliseren. Andriessen heeft veel ervaring met implementaties. Voor ons staat voorop dat wij niet zomaar een kunstje uitvoeren maar wij vinden het belangrijk om ons iedere keer te verplaatsen in de ander, lees: onze klant, en zo samen te werken aan de de best passende oplossing voor een organisatie, hun processen en hun mensen.

De dag eindigde met een plenaire discussie over landelijk toetsen en examineren in het HBO: wat is zinvol en gewenst. De meningen waren verdeeld. Hoe toets je naast kennis ook competenties? Kunnen alle studierichtingen wel op deze manier getoetst worden. Een studente gaf wat mij betreft wel een mooie kijk op de zaak: centrale toetsing geeft voor studenten het vertrouwen dat alle toetsen gelijkwaardig en vergelijkbaar zijn. Een andere mooi opmerking vond ik dat door centrale toetsing de kwaliteit van de docent inzichtelijk en ook geborgd wordt. Voldoende stof om over door te praten!

Al met al een druk bezochte dag, oftewel: kwaliteit is niet zo maar een loos begrip, mensen willen er mee aan de slag om kwaliteit handen en voeten te geven.

Advertenties
Categorieën:Geen categorie

Drukte tijdens NVE bedrijfsbezoek bij Andriessen

Donderdag 15 september was het bomvol op het kantoor van Andriessen in Oisterwijk: bedrijfsbezoek van de NVE. Tijdens de bestuursvergadering druppelden de eerste NVE-leden al binnen, een gevarieerd gezelschap met een gemeenschappelijke interesse nl. examineren in welke vorm dan ook.

Na een kopje koffie en een introductie door Mark Vugs, algemeen directeur van Andriessen, startte het kijkje achter de schermen. Het was een actief bedrijfsbezoek met een spoorboekje om tijdig op het juiste station te arriveren.

Station QR

Je ziet al een tijdje dit soort zwart-wit plaatjes in het straatbeeld, Quick Response codes, al die plaatjes bevatten hun eigen boodschap. Dat kan gaan om een URL, adresgegevens of een agenda afspraak. Voordeel: met 1 klik op de knop van je smartphone heb je toegang tot informatie.

We hebben laten zien dat je een QR code ook prima kunt gebruiken om toegang te krijgen tot een toets of examen. Ipad inzoomen op de QR code en de toets of het examen start meteen.

Station Spieken
Zo lang als er geëxamineerd wordt,  wordt er gefraudeerd. We hebben verschillende vormen van fraude de revue laten passeren. En een stukje fraude in de praktijk door gebruik te maken van de nieuwste digitale spiekpen.

Station Andriessen
In vogelvlucht een impressie van wat Andriessen te bieden heeft: een serviceorganisatie voor de facilitering van examens op toetslocaties in het land en/of op locaties van klanten. Maar ook consultants met kennis en ervaring over alles wat met toetsen en examineren te maken heeft. We delen onze kennis o.a. door het geven van trainingen, bijv. over digitale toetsconstructie, werken met feedback, toetslogistiek.

Station Praktijkexamen
Laten zien hoe je in een praktijksituatie handelt, ook dat is een belangrijk onderdeel van toetsen en examineren. Een examinator beoordeelt zo’n praktijksituatie, vaak met een 2de persoon erbij om de objectieve beoordeling te waarborgen. We hebben laten zien dat je die beoordeling heel eenvoudig kunt registreren in de toetssoftware. Hierdoor heb je de resultaten van kennistoetsen en praktijktoetsen in 1 oogopslag bij elkaar. Verder geeft het je de mogelijkheid om de beoordelingen makkelijk te analyseren, bijv. scoort de ene beoordelaar significant hoger of lager dan collega beoordelaars?

Station Brainstorm
Onderwerp: van toetsen op papier naar online toetsen. Ideeën en meningen genoeg, dus dat brainstormen ging vanzelf. Alle informatie zetten we in een mindmap en delen we met de bezoekers.

Delen, dat doen we graag, en daarom willen we de NVE-leden hartelijk danken voor hun komst naar ons bedrijf.

Nieuwe vraagsoorten in TeleToets

Sinds de release van dit weekend kent TeleToets drie nieuwe vraagsoorten:

Meervoudige invulvraag
Dit vraagtype heeft een aantal invulvelden waar de kandidaat een antwoord in kan voeren. De velden kunnen zowel tekstueel als numeriek zijn. De vraag wordt automatisch nagekeken en de scoring van de vraag wordt bepaald door de itemconstructeur en kan plaatsvinden door middel van de dichotome of polytome scoringsregel. In taaltoetsen wordt deze vraag vaak gebruikt.

Rangschikvraag
In dit type vraag worden verschillende antwoorden aangeboden die in de juiste volgorde gezet moeten worden. De automatische scoring kan zowel dichotoom als middels de quotiëntregel uitgevoerd worden. De rangschikvraag kan goed gebruikt worden om een proces weer te geven of de volgorde van gebeurtenissen in een periode te plaatsen.

Sleepvraag
De itemconstructeur kan in deze vraag teksten of afbeeldingen naar de juiste plaats laten slepen. Het aardige van deze sleepvraag is dat er voor de kandidaat geen vooraf gegeven posities hoeven te zijn. De kandidaat kan zijn plaatje of tekst overal neer zetten. Desgewenst kunnen natuurlijk aanwijzingen geven worden voor het plaatsen van plaatjes of tekst door de kandidaat. Deze vraag is geschikt voor bijvoorbeeld: het aanwijzen en benoemen van onderdelen in een motor of een oor. De scorebepaling van deze vraag kan dichotoom, polytoom of met behulp van de quotiëntregel. Op ons portal zijn meerdere proeftoetsen te vinden. De toets met verschillende voorbeelden van vraagsoorten is: Voorbeeldtoets Vraagtypen Teletoets

Correctielogistiek

Bij klanten, examenorganisaties hoor je vaak dat het nakijken van open vragen lastig is. Een belangrijke reden waarom bij digitale toetsing vaak voor gesloten vragen gekozen wordt. Deze gesloten vragen kunnen automatisch nagekeken worden. Voor open vragen geldt dat (nog) niet. De kwaliteit van het automatisch nakijken van open vragen laat nog te wensen over. Winst valt dan te behalen bij een goede, geautomatiseerde correctorlogistiek. Zo min mogelijk afhankelijkheden van bijvoorbeeld (interne) post of van administraties, die de examens moeten aanleveren en waar het werk weer ingeleverd moet worden, leveren tijdswinst op. Bovendien is de kans dat examenwerk kwijt raakt nihil. In een geborgd systeem zijn alle examenstukken terug te vinden ook nadat vragen in een later stadium veranderd worden.

De toets wordt gemaakt. Correctoren die van te voren gekoppeld zijn aan de toets kunnen de toets nakijken. Horizontaal nakijken kan desgewenst ook. Een corrector kan op vakantie zijn of op een studiereis, het zijn geen excuses meer om de toetsen niet na te kunnen kijken. Alles is online beschikbaar in TeleToets. De corrector hoeft dus alleen maar over een PC met Internetverbinding te beschikken. Nadat de toetsen nagekeken zijn worden de cijfers automatisch berekend op basis van de puntentoekenning van de corrector. Ook kan online overleg met medecorrectoren plaats vinden. Eventuele arbitrage is ook geregeld in TeleToets daarover later meer, in een volgend blog. Het examenbureau of de administratie heeft niets anders te doen dan te checken in een overzicht wat de stand van zaken rondom correctie is. Dit bespaart enorm veel tijd en moeite. In de managementinformatie is, tot slot, snel te zien hoe de correctoren zich ten opzichte van elkaar verhouden. Deze kwaliteitsinformatie kan met name voor management maar ook voor intervisiebijeenkomsten met correctoren heel verhelderend zijn.

Geen ondersteuning van IE6 meer in TeleToets

Onlangs hebben grote partijen op internet zoals Google,YouTube en Facebook besloten niet langer Internet Explorer 6 te ondersteunen. Andriessen staat ook voor deze keuze. TeleToets wordt nu zeer regelmatig afgenomen met behulp van Internet Explorer 6.

Internet Explorer 6 is echter niet in staat om voldoende ondersteuning te bieden aan verschillende webstandaarden. Het gevolg is dat websites niet goed weergegeven worden. Google stelt dat oudere browsers niet beschikken over de functionaliteiten die nodig zijn om de nieuwste internetapplicaties te verwerken. Daarnaast wordt vaak aangedragen dat IE6 niet veilig zou zijn en vatbaarder voor aanvallen.

Omdat Andriessen hoge eisen stelt aan de beveiliging van data en een groot belang hecht aan een ongestoorde examenafname zullen we IE6 niet langer ondersteunen. TeleToets kan natuurlijk gebruikt worden met IE8 en desgewenst ook met een aantal andere browsers waaronder Safari.

Als gevolg hiervan heeft Andriessen voor het gebruik van Teletoets een nieuwe versie van de minimale systeemeisen opgesteld. Deze minimale systeemeisen kunt u opvragen bij uw consultant.

Categorieën:SAAS, TeleToets Tags: , ,

Scoringsregels in TeleToets

2 november 2010 1 reactie

Wij vinden het belangrijk dat de itemconstructeur zelf kan kiezen welke scoringsregels gebruikt worden bij het maken van bijvoorbeeld multiple selectvragen. Bij een nieuwe vraagvorm zoals de multiple selectvraag  is het mogelijk dat meerdere antwoorden goed zijn. TeleToets biedt meerdere scoringsregels om het gewenste gewicht aan de vragen en antwoorden te geven. De itemconstructeur bepaalt zelf welke scoringsregel gebruikt wordt.

Drie scoringsregels zijn in TeleToets te selecteren:
• Dichotoom: pas als alle correcte antwoordopties zijn gekozen, krijgt de kandidaat de maximaal te behalen punten, vergelijk de scoring van een meerkeuze vraag;
• Polytoom: per correcte antwoordoptie ontvangt de kandidaat een deel van de te behalen punten. De itemconstructeur stelt de waardering per antwoordmogelijkheid in procenten in;
• Productregel: via een standaard formule (score kandidaat = score volgens productregel * waardering )wordt de score per antwoordoptie toegekend. Deze, door de NVE vastgestelde, productregel kan desgewenst door uw consultant toegelicht worden.

Hotspotvraag in TeleToets

enkelvoudige hotspot in TeleToets

Trots zijn we op onze nieuwe hotspotvraag met verschillende scoringsalternatieven voor itemconstructeurs. Met de nieuwe release van TeleToets 7.0 is naast de mogelijkheid om van verschillende browsers gebruik te maken de hotspotvraag gemaakt. In het test examen Voorbeeldtoets HAN zitten twee hotspotvragen verwerkt. De enkelvoudige hotspot met een correcte hotspot gedefinieerd als polygoon (in de betekenis van veelhoek) is opgenomen in dit voorbeeldexamen. De gehele bodem van het plaatje is correct. In verschillende andere toetsprogramma’s is slechts de mogelijkheid om een vast omschreven punt als correct aan te geven hiermee wordt de hotspot een multiple choice vraag.

Bij de meervoudige hotspotvraag zijn verschillende hotspots in te stellen, die zijn naar keuze cirkelvormig, rechthoekig of net als in bovenstaand voorbeeld polygoon. De itemconstructeur kan bovendien instellen hoe de scoring van de hotspot plaats moet vinden dichotoom: zoals een MC vraag gescoord wordt of polytoom waarbij de alternatieven een (verschillende) waardering krijgen. De itemconstructeur kan daarmee bepaalde hotspots zwaarder waarderen door er meer gewicht aan toe te kennen.