Training Master ISW Jeugdstudies: Stap 5. Kwaliteits-check

Doe een kwaliteits-check van de geselecteerde artikelen. Schrijf kort op het formulier wat je hebt gedaan om de kwaliteit te controleren.

Gebruik de aanwijzingen in naastgelegen boxen.

Journal metrics worden gebruikt om de impact en kwaliteit van tijdschriften te beoordelen. Er zijn meerdere journal metrics, de journal impact factor is er één van.

Het filmpje geeft onder andere informatie over de berekening van de impact factor en het vinden van impact factors in de Journal Citation Reports. Een Impact Factor is een cijfer dat op zichzelf niet veel zegt. Je moet tijdschriften en hun impact factors altijd bekijken in de context van vergelijkbare tijdschriften (rank).

Bij het bepalen van de kwaliteit en wetenschappelijkheid van bronnen kun je uitgaan van drie soorten controle:

1. Controle door anderen, voorafgaand aan publicatie
   • redactie: redacties van wetenschappelijke tijdschriften zijn strenger dan die van niet-wetenschappelijke tijdschriften
   • uitgever: sommige uitgevers geven alleen wetenschappelijke boeken uit
   • peer review: de meeste wetenschappelijke tijdschriften en boekuitgevers vragen experts vooraf publicaties (blind of halfblind) te beoordelen
   • zoekmachine/online bibliografie: sommige zoekmachines nemen alleen artikelen uit hoogwaardige, peer reviewed, tijdschriften op (Scopus en Web of Science bv.)
   • financier: sommige tijdschriften vereisen dat bij onderzoek wordt aangeduid wie het gefinancierd heeft (bv. bij artikelen over tests van nieuwe medicijnen)
2. Controle door anderen, achteraf
   • besprekingen (bij boeken): hoe zijn de recensies over het boek?
   • citaties (vooral bij artikelen:): wordt het stuk vaak geciteerd (rekening houdend met de publicatiedatum) en vooral: wat wordt er over gezegd?
3. Controle door jezelf
   • aanduiding van auteur en datering van de tekst (vooral bij webpagina's)
   • affiliatie van de auteur: de werkkring geeft soms wat extra zekerheid over wetenschappelijk niveau, bijvoorbeeld als de auteur bij een universiteit werkt
   • gebruik van bronnen uitgegeven door wetenschappelijke uitgevers
   • aanduiding doelgroep (vooral bij websites en rapporten)
   • aanwezigheid van expliciete vraagstellingen en conclusies
   • aanwezigheid van een verantwoording van de gebruikte methode: hoe heeft men het onderzoek aangepakt, waar komen gegevens vandaan?
   • aanwezigheid voldoende en hoogwaardige literatuurverwijzingen of noten: op welke inzichten baseert men zich?
   • het niveau van het taalgebruik

De CRAPMAP bestaat uit een lijst met vragen die je helpt te beoordelen of de (online) informatie die je hebt gevonden betrouwbaar en bruikbaar is. Afhankelijk van je situatie zijn items uit de lijst meer of minder van belang. Blijf altijd zelf goed opletten, deze checklist is maar een hulpmiddel en is niet altijd afdoende.

Currency
Het tijdsbestek van de informatie.

 Wanneer werd de informatie gepubliceerd of gepost?
 Is de informatie herzien of geactualiseerd? Of is het artikel na publicatie weer teruggetrokken (retracted)?
  Heb je actuele informatie nodig over je onderwerp, of zijn oudere bronnen ook toereikend?

Relevance
Het belang van de informatie in relatie tot wat je nodig hebt.

  Is de informatie gerelateerd aan je onderwerp of geeft de informatie antwoord op je vraag?
  Wie is het beoogde publiek?
 Is de informatie op een passend niveau (niet te simpel of niet te hoog gegrepen)?
 Heb je naar meerdere bronnen gekeken voor je hebt besloten welke je gaat gebruiken?
  Heb je een goed gevoel bij het citeren van deze bron in je onderzoekspaper?

Accuracy
De betrouwbaarheid, het waarheidsgehalte en de juistheid van de content.

 Waar komt de informatie vandaan?
 Wordt de informatie ondersteund door bewijs?
 Is de informatie door anderen bekeken of gecheckt?
 Kun je de informatie verifiëren in een andere bron of vanuit persoonlijke kennis?
 Lijkt de taal of de toon onbevooroordeeld en zakelijk?
 Zie je fouten in spelling, grammatica of zie je typefouten?

Publication
De informatiebron.

 Wie is de auteur/uitgever/tijdschrift/sponsor?
 Hebben de auteurs goede referenties of aan welke organisatie zijn zij verbonden?
 Is de auteur gekwalificeerd om over een onderwerp te schrijven?
 Is de uitgever/het tijdschrift wetenschappelijk? Hebben ze een goede naam?
 Staat er contactinformatie, zoals een uitgever of een emailadres?

Metrics*
De impact die een bron heeft op het wetenschappelijk gebied.

 Kun je metrics voor de bron vinden?
 Wordt de bron geciteerd in huidig onderzoek?

Altmetrics*
De impact die een bron over het algemeen heeft.

 Kun je altmetrics vinden voor de bron?
 Is jouw onderzoek beïnvloed door hoe goed de bron ontvangen is?
 Wat vertelt de publieke ontvangst van een bron jou?

 * Voor informatie over metrics en altmetrics zie onze LibGuide Research Impact & visibility: traditional and altmetrics

Purpose
De reden voor het bestaan van de informatie.

 Wat is het doel van de informatie? Is het om te informeren, te onderwijzen, te verkopen, te vermaken of te overtuigen?
 Maken de auteurs/sponsoren hun intenties of doel duidelijk?
 Bestaat de informatie uit feiten, meningen of propaganda?
 Lijkt het gezichtspunt objectief en onpartijdig?
 is er sprake van politieke, ideologische, culturele, religieuze, institutionele, financiële of persoonlijke bias?

Deze checklist is gebaseerd op de CRA(A)P test, ontwikkeld door de bibliotheek van California State University, Chico.

Het bestand Journal Citation Reports (JCR) bied je de mogelijkheid om de impact van tijdschriften te vergelijken.

De JCR vermeldt bij de tijdschriften (uit de Web of Science) een aantal 'journal metrics', deze vormen een indicatie van het belang dat wetenschappers aan artikelen uit die tijdschriften toekennen. De bekendste hiervan is de impact factor.
De impact factor is de verhouding tussen het aantal artikelen dat een tijdschrift (in een jaar) publiceert en het aantal keren dat artikelen uit het tijdschrift (gepubliceerd in de voorgaande twee jaar) worden geciteerd door anderen.

Er zijn twee edities van JCR: de Science Edition en de Social Sciences Edition. Voor de maatschappijwetenschappen is (uiteraard) de Social Sciences Edition het meest van belang. Je kunt je in de JCR beperken tot alleen de SSCI onder Categories by Rank > Select Edition
Net als Web of Science/ SSCI, maakt Journal Citation Reports deel uit van Web of Knowledge.

De uitgever van de JCR geeft op zijn website ' multiple tutorials in English about the Journal Citation Reports'

Ook in Scopus vind je informatie over de in Scopus opgenomen tijdschriften en de citaties van artikelen uit deze tijdschriften. Elsevier (de eigenaar van Scopus) houdt sinds 1996 alle gegevens over citaties bij, dus CiteScore, SJR en SNIP worden berekend vanaf die datum

1. Ga naar het beginscherm in Scopus en klik op Sources (boven de zoekbalk)
2. Zoek een tijdschrift op via een zoekactie op vakgebied, titel, ISSN of uitgever
3. Via het menu aan de linkerkant kun je de resultaten nog verfijnen (bv alleen open-access tijdschriften, tijdschriften uit het hoogste kwartiel, conferentieverslagen, etc.)
4. klik op 'apply' om te bevestigen
5. Klik op de titel van het tijdschrift waarvan je de details wil bekijken

Je vindt per tijdschrift informatie over:

• CiteScore: het gemiddelde aantal citaties per artikel dat in het tijdschrift gepubliceerd wordt
• SJR= SCImago Journal Rank: de SJR meet de 'gewogen citaties' van het tijdschrift, waarbij de weging afhangt van vakgebied en prestige  (SJR) van het tijdschrift. De SJR meting beslaat een periode van 4 jaar.
• SNIP= Source Normalized Impact per Paper: SNIP meet het feitelijke aantal citaties ten opzichte van het verwachte aantal citaties binnen het vakgebied. De meting beslaat een periode van 4 jaar.
• CiteScore Rank & Trend geven aan hoe het tijdschrift scoort binnen het vakgebiied
• Scopus content coverage: geeft per jaar aan hoeveel artikelen gepubliceerd zijn en geeft een overzicht van het aantal citaties per jaar
• Je kunt ook meerdere tijdschriften onderling vergelijken: volg de stappen 1, 2, 3, 4, 6, zoals hierboven vermeld en klik dan rechtsboven op 'compare sources'. Het eerstgekozen tijdschrift staat al klaar, de overige tijdschriften kun je aan de grafiek toevoegen.

Bekijk voor meer informatie de tutorial over het analyseren van tijdschriften