Skip to main content
Universiteitsbibliotheek – LibGuides

Training bij ASW premaster Academische Vaardigheden: Evalueren

Opdracht

Als je eenmaal een set aan bronnen hebt gevonden is het belangrijk om te evalueren of deze geschikt zijn. Je beoordeelt of ze voldoende aansluiten bij jouw onderwerp (inhoudelijk geschikt, relevantie) en je beoordeelt of de kwaliteit voldoende is (wetenschappelijk geschikt).

Bepaal voor je gevonden bronnen of ze relevant zijn voor je onderwerp en of ze wetenschappelijk zijn.

In dit practicum kun je ook de volgende opdrachten maken:

A. Zoek van je gevonden boek uit waar de auteurs werkzaam zijn en/of wat zij nog meer hebben geschreven.

B. Zoek van je eerstgenoteerde artikel uit of het tijdschrift waar het uitkomt peer reviewed is. Dit staat als het goed is op de site van het tijdschrift zelf, maar ook bijv. in de tijdschriftenlijst van de UB.

C. Bekijk van je laatst genoteerde artikel:

  • de kwaliteit van de literatuurverwijzingen;
  • of expliciet de gevolgde onderzoeksmethode en wijze van dataverzameling wordt vermeld.

D. Bekijk eens de website van het tijdschrift Child Development. Hier vind je informatie over de impact van dit tijdschrift (JIF en ranking). Bekijk dan ook de homepage van het tijdschrift Clinical Psychology Review Hier vind je naast de JIF ook andere journal metrics en ook gegevens over social media aandacht (ook wel altmetrics genoemd) van artikelen. Bekijk bijvoorbeeld eens van het artikel 'What is compassion and how can we measure it? A review of definitions and measures' wat de social media impact was op Twitter en Facebook. 

 

Beoordelen op relevantie

De relevantie van een publicatie achterhaal je door deze vragen te stellen:

  1. Biedt de bron informatie die nuttig is voor het beantwoorden van je vraag?
  2. Sluit het niveau van de informatie aan bij je vraag- en doelstelling?
  3. Beantwoordt de bron je gehele vraag of slechts een aspect ervan? Denk aan: periode, personen, groepen etc. 
  4. Geeft de informatie een algemeen beeld? Of gaat het in op uitzonderingen of specifieke gebieden?
  5. Is de (sociale / culturele  / historische) context van het onderzoeksobject hetzelfde als in jouw geval?
  6. Wanneer is het stuk gepubliceerd en wanneer is het onderzoek waarover wordt geschreven uitgevoerd (actualiteit)?

Bedenk dat je slechts zelden een bron vindt die je vraagstelling geheel beantwoordt.

Wil je een full text inzien: de UBU-link geeft in het geval van digitale publicaties meestal directe toegang tot het online bezit van de bibliotheek. De UBU link werkt alleen als je ingelogd bent met je Solis-id. 

In de speciale LibGuide Evalueren vind je meer informatie

Hoe bepaal je de wetenschappelijkheid van bronnen?

Bij het bepalen van de kwaliteit en wetenschappelijkheid van bronnen kun je uitgaan van drie soorten controle:

  1. Controle door anderen, voorafgaand aan publicatie
    • redactie: redacties van wetenschappelijke tijdschriften zijn strenger dan die van niet-wetenschappelijke tijdschriften
    • uitgever: sommige uitgevers geven alleen wetenschappelijke boeken uit
    • peer review: sommige tijdschriften en uitgevers vragen experts vooraf publicaties (blind) te beoordelen
    • zoekmachine/online bibliografie: sommige zoekmachines nemen alleen artikelen uit hoogwaardige, peer reviewed, tijdschriften op (Scopus en Web of Science bv.)
    • financier: sommige tijdschriften vereisen dat bij onderzoek wordt aangeduid wie het gefinancierd heeft (bv. bij artikelen over tests van nieuwe medicijnen)
  2. Controle door anderen, achteraf
    • besprekingen (bij boeken): hoe zijn de recensies over het boek?
    • citaties (vooral bij artikelen:): wordt het stuk vaak geciteerd (rekening houdend met de publicatiedatum) en vooral: wat wordt er over gezegd?
  3. Controle door jezelf
    • aanduiding van auteur en datering van de tekst (vooral bij webpagina's)
    • affiliatie van de auteur: de werkkring geeft soms wat extra zekerheid over wetenschappelijk niveau, bijvoorbeeld als de auteur bij een universiteit werkt
    • gebruik van bronnen uitgegeven door wetenschappelijke uitgevers
    • aanduiding doelgroep (vooral bij websites en rapporten)
    • aanwezigheid van expliciete vraagstellingen en conclusies
    • aanwezigheid van een verantwoording van de gebruikte methode: hoe heeft men het onderzoek aangepakt, waar komen gegevens vandaan?
    • aanwezigheid voldoende en hoogwaardige literatuurverwijzingen of noten: op welke inzichten baseert men zich?
    • het niveau van het taalgebruik

Impact factor en Journal Citation Reports

Journal metrics worden gebruikt om de impact en kwaliteit van tijdschriften te beoordelen. Er zijn meerdere journal metrics, de journal impact factor is er één van.

Het filmpje geeft onder andere informatie over de berekening van de impact factor en het vinden van impact factors in de Journal Citation Reports. Een Impact Factor is een cijfer dat op zichzelf niet veel zegt. Je moet tijdschriften en hun impact factors altijd bekijken in de context van vergelijkbare tijdschriften (rank).

Betrouwbaarheid van bronnen: de CRAPMAP

Een handige checklist om de kwaliteit van je bronnen te beoordelen is de CRA(A)P test, ontwikkeld door de bibliotheek van California State University, Chico. De CRA(A)P test bestaat uit een lijst met vragen die je helpen te beoordelen of de (online) informatie die je hebt gevonden betrouwbaar en bruikbaar is. Afhankelijk van je situatie zijn items uit de test meer of minder van belang.

Deze checklist is door de UB uitgewerkt tot de CRAPMAP:

Currency
The timeliness of the information

 When was the information published or posted?
 Has the information been revised or updated?
 Does your topic require current information, or will older sources work as well?

Relevance
The importance of the information for your needs

 Does the information relate to your topic or answer your questions?
 Who is the intended audience?
 Is the information at an appropriate level (not too simple or too advanced)
 Have you looked at a variety of sources before determining this is one you will use?
 Would you be comfortable citing this source in your research paper?

Accuracy
The reliability, truthfulness and correctness of the content

 Where does the information come from?
 Is the information supported by evidence?
 Has the information been reviewed or refereed?
 Can you verify any of the information in another source or from personal knowledge?
 Does the language or tone seem unbiased and free of emotion?
 Are there spelling, grammar or typographical errors? [Second task or achievement]

Publication
The source of the information

 Who is the author/publisher/source/sponsor?
 What are the author's credentials or organizational affiliations?
 Is the author qualified to write on the topic?
 Is the publisher/journal scientific? Are they reputable?
 Is there contact information, such as a publisher or e-mail address?

Metrics*
The impact a source has on the scientific field

 Are you able to find metrics for the source?
 Is the source cited by current research?

Altmetrics*
The impact a source has in general

 Are you able to find altmetrics for the source?
 Is your research impacted by how well the source is received?
 What does the public reception of a source indicate?

 * Voor informatie over metrics en altmetrics zie onze LibGuide Research Impact & visibility: traditional and altmetrics

Purpose
The reason the information exists.

 What is the purpose of the information? Is it to inform, teach, sell, entertain or persuade?
 Do the authors/sponsors make their intentions or purpose clear?
 Is the information fact, opinion or propaganda?
 Does the point of view appear objective and impartial?
 Are there political, ideological, cultural, religious, institutional, financial or personal bias?

Volgende stap

Lees in de volgende stap de informatie over plagiaat, citeren en parafraseren

Peer review

Peerreview (Engels:peer review, ook wel aangeduid als collegiale toetsing of onderlinge toetsing) is een methode om de kwaliteit van (geschreven) werk te verbeteren, verifiëren of controleren door het werk te onderwerpen aan de kritische blik van een aantal gelijken (Engels: peers), meestal vakgenoten of collega's van de auteur.

(bron: Wikipedia

Hoe peer review werkt wordt heel helder uitgelegd door onze collega's uit Groningen.