Bronnen evalueren: Verdieping

Peer review is de evaluatie van de kwaliteit van een werk door collega-experts vóór publicatie. Peer review-methoden worden gebruikt om kwaliteitsnormen te handhaven, prestaties te verbeteren en geloofwaardigheid te bieden.

Bekijk de video hieronder:

Library NCSU. This video is published under a Creative Commons 3.0 BY-NC-SA US license

Als je naast weteschappelijke publicaties ook informatie uit webpagina's wilt gebruiken moet je daarbij extra voorzichtig zijn en nadenken welke rol je die informatie geeft in je betoog of analyse.

Stel jezelf bij webpagina's de volgende vragen en wees erg voorzichtig als het antwoord vaak nee is.

1. Is de naam van de auteur/maker beschikbaar (en is er meer over de auteur of uitgevende organisatie bekend)?
2. Is er een (mail)adres van de auteur/maker?
3. Is de webpagina vrij van (grote hoeveelheden) reclame?
4. Is het taalgebruik zorgvuldig en foutloos?
5. Is duidelijk hoe de informatie op de pagina tot stand is gekomen?
6. Is er bronvermelding aanwezig (dus geen zinnen als 'uit onderzoek blijkt dat' zonder bronvermelding)?
7. Is er onderbouwing van claims (dus geen zinnen zoals 'iedereen weet dat')
8. Worden nuanceringen aangebracht of wijst alle informatie dezelfde kant op?
9. Wordt aangegeven wat nog niet bekend of nog niet zeker is?
10. Is aangegeven wanneer de pagina geschreven is of bijgewerkt?
11. Is de pagina neutraal of in elk geval zonder een sterk commercieel of politiek doel?

De selectie- en opnamecriteria van een bepaald zoeksysteem kunnen iets zeggen over de basiskwaliteit van de bronnen die je er in vindt.

1. Advies van een content selection & advisory board: Sommige zoeksystemen nemen bronnen op, op basis van het advies van een groep experts. Scopus, maar ook Web of Science, zijn hier een voorbeeld van.
2. Citaties: Citaties kunnen gezien worden als een criterium voor kwaliteit. In bijvoorbeeld Web of Science wordt de hoeveelheid citaties van een tijdschrift gebruikt als een van de selectie- en opnamecriteria.
3. Peer reviews:  zoeksystemen kunnen besluiten alleen bronnen op te nemen die peer reviewed zijn. De meeste wetenschappelijke zoeksystemen hanteren dit criterium. Bij peer review worden artikelen (blind of half blind) voorgelegd aan deskundigen, nog voor publicatie. Op die manier wordt een minimale wetenschappelijke kwaliteit gegarandeerd. Het betekent echter niet dat artikelen uit peer reviewed bronnen altijd beter zijn dan die zonder peer review.
4. Relevantie: bibliotheekcatalogi en vakspecifieke zoeksystemen nemen bronnen op vanwege hun relevantie voor onderwijs en onderzoek binnen het betreffende instituut of vakgebied.
5. Technische criteria: diverse zoeksystemen gebruiken technische voorwaarden om bronnen op te nemen. Google Scholar bijvoorbeeld maakt ook gebruik van een geautomatiseerd systeem dat op basis van verschillende elementen teksten herkent als wetenschappelijk.

Er zijn diverse typen zoeksystemen die verschillen in de mate van wetenschappelijke betrouwbaarheid.

1. ​Algemene bibliografische databases: wetenschappelijk betrouwbaar
   • ​​Er zijn algemene bibliografische databases (Scopus en Web of Science) die enkel wetenschappelijk materiaal en peer reviewed artikelen bevatten in alle disciplines.
2. Vakspecifieke bibliografische databases: wetenschappelijk​ betrouwbaar
   • ​Vakspecifieke bibiografische databases (bv. PsycInfo en PubMed) proberen wetenschappelijk materiaal in een vakgebied zo breed mogelijk doorzoekbaar te maken.
3. Grote hybride, globale zoeksystemen: geen zekerheid over wetenschappelijk niveau​
   • Overkoepelende zoeksystemen zoals Google Scholar zijn minder betrouwbaar op het gebied van wetenschappelijke kwaliteit, omdat de selectiecriteria vrij grof en deels technisch van aard zijn. Ook zijn hier erg veel bronnen en databases in opgenomen waardoor er totaal geen zekerheid over het wetenschappelijk niveau is.
4. Universitaire bibliotheekcatalogi: wetenschappelijk relevant
   • Materiaal in universitaire bibliotheekcatalogi is opgenomen vanwege de relevantie voor onderwijs en onderzoek van de betreffende universiteit. Daar kunnen dus ook populair wetenschappelijke en niet-wetenschappelijke bronnen tussenzitten die wel relevant zijn.​

De CRAPMAP bestaat uit een lijst met vragen die je helpt te beoordelen of de (online) informatie die je hebt gevonden betrouwbaar en bruikbaar is. Afhankelijk van je situatie zijn items uit de lijst meer of minder van belang. Blijf altijd zelf goed opletten, deze checklist is maar een hulpmiddel en is niet altijd afdoende.

Currency
Het tijdsbestek van de informatie.

 Wanneer werd de informatie gepubliceerd of gepost?
 Is de informatie herzien of geactualiseerd? Of is het artikel na publicatie weer teruggetrokken (retracted)?
  Heb je actuele informatie nodig over je onderwerp, of zijn oudere bronnen ook toereikend?

Relevance
Het belang van de informatie in relatie tot wat je nodig hebt.

  Is de informatie gerelateerd aan je onderwerp of geeft de informatie antwoord op je vraag?
  Wie is het beoogde publiek?
 Is de informatie op een passend niveau (niet te simpel of niet te hoog gegrepen)?
 Heb je naar meerdere bronnen gekeken voor je hebt besloten welke je gaat gebruiken?
  Heb je een goed gevoel bij het citeren van deze bron in je onderzoekspaper?

Accuracy
De betrouwbaarheid, het waarheidsgehalte en de juistheid van de content.

 Waar komt de informatie vandaan?
 Wordt de informatie ondersteund door bewijs?
 Is de informatie door anderen bekeken of gecheckt?
 Kun je de informatie verifiëren in een andere bron of vanuit persoonlijke kennis?
 Lijkt de taal of de toon onbevooroordeeld en zakelijk?
 Zie je fouten in spelling, grammatica of zie je typefouten?

Publication
De informatiebron.

 Wie is de auteur/uitgever/tijdschrift/sponsor?
 Hebben de auteurs goede referenties of aan welke organisatie zijn zij verbonden?
 Is de auteur gekwalificeerd om over een onderwerp te schrijven?
 Is de uitgever/het tijdschrift wetenschappelijk? Hebben ze een goede naam?
 Staat er contactinformatie, zoals een uitgever of een emailadres?

Metrics*
De impact die een bron heeft op het wetenschappelijk gebied.

 Kun je metrics voor de bron vinden?
 Wordt de bron geciteerd in huidig onderzoek?

Altmetrics*
De impact die een bron over het algemeen heeft.

 Kun je altmetrics vinden voor de bron?
 Is jouw onderzoek beïnvloed door hoe goed de bron ontvangen is?
 Wat vertelt de publieke ontvangst van een bron jou?

 * Voor informatie over metrics en altmetrics zie onze LibGuide Research Impact & visibility: traditional and altmetrics

Purpose
De reden voor het bestaan van de informatie.

 Wat is het doel van de informatie? Is het om te informeren, te onderwijzen, te verkopen, te vermaken of te overtuigen?
 Maken de auteurs/sponsoren hun intenties of doel duidelijk?
 Bestaat de informatie uit feiten, meningen of propaganda?
 Lijkt het gezichtspunt objectief en onpartijdig?
 is er sprake van politieke, ideologische, culturele, religieuze, institutionele, financiële of persoonlijke bias?

Deze checklist is gebaseerd op de CRA(A)P test, ontwikkeld door de bibliotheek van California State University, Chico.

Nepnieuws, fake berichten, satire en hoaxes bestaan al heel lang, maar de verspreiding ervan gaat razendsnel sinds de opkomst van sociale media. Iedereen kan tegenwoordig content plaatsen op internet. Daardoor lijken de grenzen tussen nieuws, nepnieuws en advertenties te vervagen. Pas op met het gebruik van neppublicaties en satire in de wetenschap. Het gebruik ervan is niet uitgesloten, maar wees je bewust van de betrouwbaarheid ervan.

Hoe je nepnieuws herkent kun je lezen op de website van de Rijksoverheid en op https://www.mediawijsheid.nl/nepnieuws/. 

Niet alle tijdschriften die zich voordoen als wetenschappelijk zijn te goeder trouw.

Als je met algemene zoekmachines naar wetenschappelijke artikelen zoekt kun je onverhoopt terechtkomen op de site van een zogenaamd rooftijdschrift, ook wel predatory journal genoemd. Dit zijn tijdschriften die geen of heel slechte kwaliteitscontrole doen in de vorm van peer review en die vooral uit zijn op auteurs die, tegen betaling, snel willen publiceren. De websites van die tijdschriften zien er soms amateuristisch uit, maar vaak zijn ze lastig te herkennen.

Als je twijfelt is het vooral voor Engelstalige tijdschriften het beste om te controleren of het tijdschrift voorkomt in wetenschappelijke databases als Web of Science, Scopus of de Directory of Open Access journals. Ook kun je kijken of de bibliotheek een (digitaal of gedrukt) abonnement op het tijdschrift heeft. Is dat allemaal niet het geval, dan hoeft het tijdschrift nog geen rooftijdschrift te zijn, maar moet je wel iets meer op je hoede zijn. Los van het tijdschrift waar iets in staat zul je natuurlijk altijd zelf nog op artikelniveau de inhoud moeten evalueren met de in deze gids geboden tips.

Vraag de bibliotheek om hulp als je blijft twijfelen.