Pedagogische Wetenschappen: Evalueren

Als je eenmaal een set aan bronnen hebt gevonden is het belangrijk om te evalueren of deze geschikt zijn. Je beoordeelt of ze voldoende aansluiten bij jouw onderwerp (inhoudelijk geschikt, relevantie) en je beoordeelt of de kwaliteit voldoende is (wetenschappelijk geschikt).

Bij dat laatste kun je gebruik maken van metrics zoals impact factor (binnen de pedagogiek een nog vaak gebruikt criterium). Dit is een getal waarmee je een tijdschrift kunt beoordelen op impact (gebaserd op de hoeveelheid citaties die artikelen uit het tijdschrift ontvangen). Zie de video over journal metrics en de libguide over traditional and altmetrics (social media impact).

Daarnaast is het belangrijk dat je artikelen peer-reviewed zijn.

De CRAPMAP kan een handig hulpmiddel zijn bij het evalueren van je bronnen.

De relevantie van een publicatie achterhaal je door jezelf deze vragen te stellen:

1. Beantwoordt de bron je vraagstelling?
2. Beantwoordt de bron je gehele vraag of slechts een aspect ervan? Denk aan: periode, personen, groepen etc.
3. Is de (sociale / culturele / historische) context van het onderzoeksobject hetzelfde als in jouw geval?
4. Wanneer is het stuk gepubliceerd en wanneer is het onderzoek waarover wordt geschreven uitgevoerd?

Bedenk dat je slechts zelden een bron vindt die je vraagstelling geheel beantwoordt.

In de speciale LibGuide Evalueren lees je hier meer over.

Wil je een full text inzien: De Lean Library browserextensie biedt je snel en simpel toegang tot een groot aantal digitale wetenschappelijke bronnen, of je nu on campus of off-campus bent. Of maak gebruik van de UBU-link.

Bij het bepalen van de kwaliteit en wetenschappelijkheid van bronnen kun je uitgaan van drie soorten controle:

1. Controle door anderen, voorafgaand aan publicatie
   • redactie: redacties van wetenschappelijke tijdschriften zijn strenger dan die van niet-wetenschappelijke tijdschriften
   • uitgever: sommige uitgevers geven alleen wetenschappelijke boeken uit
   • peerreview: de meeste wetenschappelijke tijdschriften en boekuitgevers vragen experts vooraf publicaties (blind of halfblind) te beoordelen
   • zoekmachine/online bibliografie: sommige zoekmachines nemen alleen artikelen uit hoogwaardige, peer reviewed, tijdschriften op (Scopus en Web of Science bv.)
   • financier: sommige tijdschriften vereisen dat bij onderzoek wordt aangeduid wie het gefinancierd heeft (bv. bij artikelen over tests van nieuwe medicijnen)
2. Controle door anderen, achteraf
   • besprekingen (bij boeken): hoe zijn de recensies over het boek?
   • citaties (vooral bij artikelen:): wordt het stuk vaak geciteerd (rekening houdend met de publicatiedatum) en vooral: wat wordt erover gezegd?
3. Controle door jezelf
   • aanduiding van auteur en datering van de tekst (vooral bij webpagina's)
   • affiliatie van de auteur: de werkkring geeft soms wat extra zekerheid over wetenschappelijk niveau, bijvoorbeeld als de auteur bij een universiteit werkt
   • gebruik van bronnen uitgegeven door wetenschappelijke uitgevers
   • aanduiding doelgroep (vooral bij websites en rapporten)
   • aanwezigheid van expliciete vraagstellingen en conclusies
   • aanwezigheid van een verantwoording van de gebruikte methode: hoe heeft men het onderzoek aangepakt, waar komen gegevens vandaan?
   • aanwezigheid voldoende en hoogwaardige literatuurverwijzingen of noten: op welke inzichten baseert men zich?
   • het niveau van het taalgebruik

Hoe ga je nu bepalen of een artikel geschikt is voor jou om te gebruiken.

• Begin bij de titel en het abstract en eventueel de aanwezige keywords. Hieruit kan je vaak al afleiden of het artikel relevant is voor jou. Wat zijn de belangrijke concepten en/of theorieën van het artikel en sluiten deze aan bij jouw onderzoeksvraag/-onderwerp? Raakt het artikel alleen zijdelings aan jouw onderwerp of is het echt de kern? En heeft het een vergelijkbare context (bijv. doelgroep, land)?
• Ga dan verder naar het artikel zelf en open de full text (het volledige artikel). Is het artikel in een voor jou onleesbare taal of is er geen full text beschikbaar? Dan valt deze bron meteen af. Kan je het artikel wel lezen, begin dan met de introductie en bekijk de kopjes en eerste zinnen van de alinea's en lees de conclusies of het slot. Op basis daarvan kan je al vrij snel een goede indruk krijgen van de inhoud van een artikel.
• Herken je in het artikel de volgende elementen: een probleem- of vraagstelling, gebruikte (wetenschappelijke) methode, bevindingen of resultaten, discussie, belangrijkste conclusies/argumenten en verwijzingen naar wetenschappelijke literatuur (in de literatuurlijst of notes)? En is het in een wetenschappelijk peer-reviewed tijdschrift verschenen? Dan kun je er redelijk zeker van zijn dat het een wetenschappelijke bron betreft.
• Komt het artikel uit een pedagogisch tijdschrift? Of is de auteur een pedagoog? Dan is de pedagogische invalshoek vaak wel duidelijk, maar pedagogische bronnen hoeven niet per se uit pedagogische tijdschriften te komen, denk bijvoorbeeld ook aan tijdschriften uit andere disciplines zoals (ontwikkelings)psychologie, sociologie en educatie. Of zelfs daarbuiten bij criminologie, rechten, genderstudies, gezondheidsstudies etc etc. Bekijk eens waar de auteurs werkzaam zijn (zijn ze wetenschapper of journalist bijvoorbeeld) en wat ze nog meer gepubliceerd hebben.

Door een artikel op deze manier te scannen/skimmen kun je vrij snel een indruk krijgen van de bruikbaarheid van het artikel. 

Wil je meer weten over relevantie en wetenschappelijke betrouwbaarheid? Bekijk dan onze libguide over het evalueren van bronnen.

Peer review is de evaluatie van de kwaliteit van een werk door collega-experts vóór publicatie. Peer review-methoden worden gebruikt om kwaliteitsnormen te handhaven, prestaties te verbeteren en geloofwaardigheid te bieden.

Bekijk de video hieronder:

Library NCSU. This video is published under a Creative Commons 3.0 BY-NC-SA US license

Of een artikel peer-reviewed is kan je niet altijd zien in het artikel zelf. Maar hoe kom je er dan wel achter?
Maak dan gebruik van onderstaande tips:

1. Als je geluk hebt staat er in het artikel: 'published in a peer reviewed section of the journal' of iets vergelijkbaars. In dat geval heb je je antwoord snel gevonden.
2. Ga na of het tijdschrift een peerreview procedure heeft. Dit wordt vaak vermeld op de homepage van het tijdschrift zelf, soms onder het kopje 'instructies voor auteurs' of 'instructies voor reviewers'. Voor een snelle check kun je ook in Google zoeken op de titel van het tijdschrift in combinatie met woorden als peer review of refereed, maar als je op deze manier niets vindt wil dat nog niet zeggen dat het tijdschrift geen peerreview hanteert.
3. Een artikel kan in een peer-reviewed tijdschrift staan, maar toch zelf niet peer-reviewed zijn. Denk dan bijvoorbeeld aan boekbesprekingen, gevalsbeschrijvingen of editorials. Als je twijfelt of een artikel wel geschikt is check dan ook of de rubriek/sectie van het tijdschrift waarin het artikel gepubliceerd is wel een peer-reviewed sectie is (kijk in de 'about' sectie van het tijdschrift).
4. Sommige databases hanteren een strenge selectie en nemen alleen peer-reviewed tijdschriften op, zoals Scopus, Web of Science en veel vakspecifieke databases (denk aan PsycInfo of PubMed). In sommige databases bestaat ook de mogelijkheid om te filteren op peer-reviewed artikelen. Daarmee filter je dan ook o.a. boeken of hoofdstukken uit boeken weg.

Journal metrics worden gebruikt om de impact en kwaliteit van tijdschriften te beoordelen. Er zijn meerdere journal metrics, de journal impact factor is er één van.

Het filmpje geeft onder andere informatie over de berekening van de impact factor en het vinden van impact factors in de Journal Citation Reports. Een Impact Factor is een cijfer dat op zichzelf niet veel zegt. Je moet tijdschriften en hun impact factors altijd bekijken in de context van vergelijkbare tijdschriften (rank).