return

 

CITATIES TELLEN: WAAR IS DAT VOOR NODIG ?

Wetenschap en Samenleving 42(6), 1990, 49-53

Loet Leydesdorff

Vakgroep Wetenschapsdynamica, Nwe Achtergracht 166, 1018 WV  AMSTERDAM

 

 

      Met de kermis komt ook de muziek mee! In de afgelopen tien jaar is de aandacht voor formele evaluatie van onderzoek enorm toegenomen. Een voor de hand liggend hulpmiddel daarbij zijn publicatie- en citatie-tellingen als zogenaamde output-indicatoren.[1]

 

      Het hele idee van voorwaardelijke financiering van het onderzoek bijvoorbeeld, is gebaseerd op systematische evaluatie.[2] Ook voor verkenningen ("sterkte/zwakte analyse") dient men over output-indicatoren te beschikken.[3] In de meeste gevallen, zoals bijv. bij discipline-plannen, gaat het om grote aantallen data en dan is het convenient om met statistische indicatoren te werken.

 

      Output-indicatoren kan men gebruiken naast of in plaats van het kwaliteitsoordeel van collega's.[4] Met name bij belangrijke beleidsbeslissingen, zoals bijv. bezuinigingen, komt men er met het oordeel van collega's ("peer review") niet altijd uit, omdat men soms moet kiezen uit goed/ beter/ best of omdat verschillende betrokkenen wel kunnen wijzen op positieve beoordelingen door andere collega's en ten opzichte van andere referentie-kaders. Een beleidskeuze die soms nodig is of althans gewenst wordt, blijft vaak met een legitimatie-probleem zitten: waarom deze groep opheffen en die laten voortbestaan?

 

      Voor de politiek is het altijd buitengewoon prettig bij moeilijke keuzen te kunnen wijzen op "objectieve maatstaven". Output-indicatoren schijnen die maatstaven te leveren. Een eerste voor de hand liggende maatstaf is, wie er het "productiefst" is? Dat kan men eenvoudig proberen vast te stellen door bijvoorbeeld in de jaarverslagen aantallen publicaties te tellen. (In allerlei verbanden wordt dit dan ook intensief gedaan!) De bekendste en meest omstreden output-indicator is echter de citatie-telling met behulp van de Science Citation Index.

 

      Tegen het (rechte) tellen van publicaties kan worden ingebracht, dat het bij wetenschappelijk onderzoek niet alleen om aantallen, maar vooral om "kwaliteit" gaat. "Citaties" zijn een voor de hand liggende proxy voor kwaliteit. Weliswaar zal iedere wetenschapsonderzoeker onmiddellijk toegeven, dat ze geen "kwaliteit", maar "impact" meten. Omdat "kwaliteit" nu eenmaal niet te meten is, moeten we het dan vervolgens maar doen met de meting van deze "impact".

 

      De vraag is echter: wie is er geďnteresseerd in impact? Indien we niet in impact, maar in kwaliteit geďnteresseerd zijn, ontkomen we derhalve niet aan de vraag, of citaties als indicator voor "impact" ook een goede proxy kunnen zijn voor "kwaliteit".

 

      In deze bijdrage wil ik het over dat punt hebben: wat weten we over citaties op zich? Een volgende keer hoop ik nog eens in te gaan op het tellen van publicaties en het gebruik van aggregaten van citaties voor het in kaart brengen van wetenschap (bijv. door middel van zgn. co-citaties).

 

 

 

      De scientometrie is de wetenschap die zich bezighoudt met achtergrond kennis over kwantitatieve gegevens over wetenschap en wetenschapsbeoefening. In een wetenschappelijk onderzoek zijn kwantitatieve gegevens doorgaans een waarde van een variabele, die is gespecificeerd vanuit een theoretisch model.[5] In het geval van citatie-gegevens, die ter beschikking zijn gekomen als instrument bij het geautomatiseerde opzoeken van informatie, wordt deze redenering eigenlijk omgedraaid: we pogen een (min of meer theoretisch) perspectief te specificeren bij gegevens die we al hebben.

 

      Scientometrisch onderzoek kan zich natuurlijk ook bezig houden met "beter meten" of met de statistische fout.[6] Ook is nu bijvoorbeeld genoegzaam bekend, dat men citatie-tellingen niet mag vergelijken tussen disciplines: wiskundigen citeren nu eenmaal gemiddeld minder dan biochemici, etc. Men moet altijd "like with like" (ceteris paribus) vergelijken, zoals dat heet. Zolang we echter niet tot de kernvraag doordringen, nl. wat de citatie-gegevens betekenen, blijven deze resultaten van statistische analyses weinig doorzichtig. Ze leiden doorgaans voornamelijk tot een pleidooi voor verdere professionalisering van citatie-analyse.[7]

 

      Nu, wat zijn citaties? Citaties zijn in de eerste plaats een verwijzing in een tekst naar een andere tekst. Ze zijn dus primair een relatie tussen teksten. In tweede instantie kun je zeggen, dat daarmee ook een relatie tussen auteurs ontstaat, omdat teksten nu eenmaal geschreven zijn. De auteur van de citerende tekst citeert, of hij dat wil of niet, niet alleen een tekst van een andere auteur, maar ook die auteur. Dit is natuurlijk extreem het geval bij een z.g. "personal communication".

 

      Het onderscheid tussen tekst en auteur enerzijds en tussen citerend en geciteerd anderzijds levert ons het volgende schema om verschillende theorieën over citaties enigermate te ordenen:[8]

 

 

                                               

 

                 tekst         auteur        citerend ->

 

┌───────────┼────────────────┼───────────────┤

 

│ tekst       I                II         

 

├───────────┼────────────────┼───────────────┤

 

│ auteur      III              IV         

 

└───────────┴────────────────┴───────────────┘

 

geciteerd

 

      In vak I vinden we de discursieve relatie die een citatie legt tussen twee teksten. Deze kan onderwerp worden gemaakt van bijv. linguistische, filosofische of historische analyses. In vak II gebruikt een auteur een andere tekst in zijn tekst als een middel voor zijn argument. We hebben hier te maken met een rhetorische relatie. In vak III wordt een auteur geciteerd in een andere tekst (nog afgezien van wie er citeert). We kunnen hier aansluiten bij theorievorming over het beloningssysteem ("reward system") in de wetenschap. In vak IV ten slotte gaat het om een relatie tussen twee auteurs als een sociale relatie, die in dit geval gelegd wordt door middel van teksten. Hierop sluit theorie-vorming aan over wetenschap als een sociaal systeem, waarin auteurs elkaar in termen van reputaties bevestigen.

 

      Tussen de vier functies die zo aan citaties kunnen worden onderscheiden bestaan geen noodzakelijke, maar hooguit empirische samenhangen. De populariteit van citatie-analyse in wetenschapsonderzoek en evaluatie-onderzoek is afkomstig van het gemak waarmee in deze veelheid van betekenissen door de eenheid van het begrip "citatie" van de ene systeem-referentie naar de andere kan worden gesprongen. Bijvoorbeeld kan het aantal malen dat een tekst wordt geciteerd, worden toegeschreven aan de impact van de geciteerde tekst en daarmee aan de kwaliteit van de onderzoeker.

 

      Het onderscheid tussen relaties tussen teksten ("het communicatie-systeem in de wetenschap") en relaties tussen auteurs ("het sociale systeem in het wetenschapsbedrijf"), heeft echter als implicatie, dat de predictie die op het ene type relatie kan worden gebaseerd, niet zonder meer mag worden gegeneraliseerd tot het andere type relatie. Bijvoorbeeld: als we in staat zijn de relevante onderscheiding te specificeren tussen vaak geciteerde en minder vaak geciteerde teksten en op grond daarvan een predictie te doen over het type tekst dat vaak geciteerd zou kunnen worden, is dat niet persé een relevant onderscheid tussen onderzoekers. We moeten eerst nog aantonen, dat de twee relevante functies zich gelijkvorming en synchroon ontwikkelen.

 

      Dat is echter niet waarschijnlijk. Dezelfde onderzoeker kan veel geciteerde teksten schrijven en minder vaak geciteerde. Ook het verloop van het citatie-patroon in de tijd ("wanneer wordt een piek bereikt?") zal afhankelijk zijn van de specifieke documentstructuur waarin de tekst past en van de specifieke sociale structuur van de onderzoeksgemeenschap en mogelijk ook nog van de interactie van die twee.

 

 

      Samen met mijn collega Olga Amsterdamska heb ik vier vaak geciteerde teksten van vier onderzoekers met hun promovendi (etc.) uit één researchgroep van het Laboratorium voor Biochemie van de Universiteit van Amsterdam nader bekeken.[9] Het voordeel van deze opzet was, dat alle relevante omgevingsfactoren zoveel mogelijk constant konden worden gehouden. Bovendien heb ik ooit bij deze groep lab-stage gelopen, dus ik wist ook nog zo'n beetje waarover we het hadden.

 

      Eerst hebben we de 91 citaties van deze vier teksten (na correctie voor zelf-citatie en "in huis" citatie) inhoudelijk onderzocht. Welke functie had de citatie in het argument van de citerende tekst? Legitimeerde het de vraagstelling, was het een verwijzing naar een relevante achtergrond, functioneerde de verwijzing als een samenvatting voor een argument dat niet herhaald hoefde te worden of was het een onmisbaar inhoudelijk element in het betoog?

 

      Daarna hebben we alle auteurs van de citerende teksten een vragenlijst gestuurd om hun o.a. te vragen waarom ze deze tekst hadden geciteerd; of ze de geciteerde auteurs kenden; zo ja, hoe goed; of ze het argument in de geciteerde tekst nog steeds "waar" vonden, of niet; etc. Uit de vragenlijsten konden ongeveer 80 variabelen worden gehaald, die zo waren gespecificeerd dat we een aantal van de bovengenoemde vragen er nader mee kunnen onderzoeken.

 

      In het eerste onderzoek kwam duidelijk naar voren, dat de discursieve functies in de citerende teksten significant verschillend is voor de vier geciteerde teksten. Dit is natuurlijk niet verbazend: de vier teksten hebben een verschillende positie in de wetenschappelijke literatuur.

 

      Gevraagd naar het waarom van de citaties geven de citerende auteurs voor de vier papers ook significant verschillende redenen op. Maar de twee patronen zijn wel aanmerkelijk anders dan die op grond van de discursieve analyse.[10] In een geval noemt een citerende auteur bijvoorbeeld een tekst een theoretische bijdrage aan de discussie, terwijl de referentie alleen maar aangeeft dat hij een preciese bepaling van het molecuul-gewicht aan de geciteerde tekst ontleent. In een ander geval wordt de probleemstelling ingeleid met een citatie, terwijl de auteur niet aankruist, dat hij de citatie heeft gegeven om het probleem op de agenda te zetten, maar omdat het geciteerde artikel "een samenvatting van een bepaalde positie" gaf.

 

      De redenen waarom iemand een tekst citeert, hoeven kennelijk helemaal niet overeen te stemmen met de functie die die citatie in de citerende tekst heeft! Bij meer preciese analyse blijkt de geciteerde tekst met name vaak bepaalde functies in het onderzoeksproces te hebben vervuld, die niet terugkomen in de citatie zelf. Het onderzoeksproces en het literaire communicatie-proces zijn "loosely coupled systems".

 

      De koppeling tussen deze twee processen kan te maken hebben met de structuur van de onderzoeks-gemeenschap. In een van de vier cases hadden we te doen met een gesloten onderzoeksgemeenschap, waarin de auteurs elkaar goed kenden en elkaar derhalve regelmatig citeerden. In een andere kende een substantieel deel van de citerende auteurs de geciteerde auteur niet. De referentie was derhalve incidenteel.

 

      We hebben ook aan de citerende auteurs gevraagd, hoe ze het Amsterdamse laboratorium zouden scoren op een zevenpuntsschaal voor "kwaliteit", "relevantie", "originaliteit" en "invloed". Er was geen significant verschil tussen de scores van hen die aangaven het laboratorium te kennen en hen die aangaven dat niet te doen. Op het niveau van de gehele sample waren de scores op de vier schalen hoog aan elkaar gecorreleerd, maar zodra we het voor de vier groepen apart bekeken, vonden we meer specificiteit en verdween in een aantal gevallen de correlatie. Dit is een belangrijk punt, omdat bij gebruik van citaties voor evaluatie-doeleinden veelal moet worden aangenomen, dat met deze schalen onderscheiden dimensies hoog aan elkaar correleren. In hoge mate is dit echter een effect van sample-grootte en van het aggregatie-niveau. Op lagere aggregatie-niveaus zijn citerende auteurs wel in staat te onderscheiden naar deze dimensies.

 

 

 

Conclusies

 

      Hoewel wij onze analyse beperkten tot vier papers uit eenzelfde context en dus zoveel mogelijk "like with like" vergeleken, vonden we, zodra we meer precies keken, steeds verschillen op de dimensies, waarvan bij vergelijkingen op basis van citatie-analyse juist zou moeten worden aangenomen, dat ze hetzelfde zouden zijn. Er is bovendien geen enkele reden om aan te nemen, dat de door ons gevonden verschillen zouden uitmiddelen bij grotere groepen. Integendeel, tekstuele relaties zijn doorgaans anders verdeeld dan sociale relaties.

 

      Aangegeven is, dat de oorzaak voor de gevonden varianties o.a. gezocht moet worden in de verschillende systeem-referenties die relevant zijn voor citaties: citaties zijn het resultaat van complexe interacties tussen het onderzoeksproces en het wetenschappelijk communicatieproces. Ze moeten dus in termen daarvan beschreven (en uiteindelijk verklaard) worden en niet zelf gebruikt worden als de onafhankelijke variabele om die processen te beschrijven.

 

      Of een paper zal worden geciteerd, lijkt in de eerste plaats af te hangen van de mate waarin de citerende auteurs de referentie in hun tekst kunnen gebruiken.[11] Of ze dat zullen kunnen, hangt af van de stand van zaken en de gang van zaken in het betrokken vakgebied. Daarom zijn citaties niet een valide indicator van de kwaliteit van het geciteerde paper op het moment dat dat wordt gepubliceerd. Paradoxaal zeggen ze eigenlijk meer over de kwaliteit van de citerende artikelen!

 

return

 

 



    [1] B. R. Martin, J. Irvine, "Assessing Basic Research: Some Partial Indicators of Scientific Progress in Radio Astronomy," Research Policy 13 (1983) 61-90; H. F. Moed, W. J. M. Burger, J. G. Frankfort, and A. F. J. van Raan, "The use of bibliometric data for the measurement of university research performance," Research Policy 14 (1985) 131-49.

    [2] S. S. Blume and J. B. Spaapen, "External assessment and "conditional financing" of research in Dutch universities," Minerva 26 (1988) 1-30.

    [3] B. van der Meulen en L. Leydesdorff, "Effecten en Gevolgen van Wetenschapsbeleid voor de Filosofie-beoefening aan de Nederlandse universiteiten", Alg. Ned. Tijdschrift voor Wijsbegeerte 82 (1990) 173-93.

    [4] B. R. Martin and J. Irvine, "Research Evaluation. Why? How?" Paper presented at the George Sarton Centennial, Gent, 1984.

    [5] Zie ook: L. Leydesdorff, "The Relations Between Qualitative Theory and Scientometric Methods in Science and Technology Studies. Introduction to the Topical Issue," Scientometrics 15 (1989) 333-47.

    [6] Zie bijv.: H. F. Moed, The Use of Bibliometric Indicators for the Assessment of Research Performance in the Natural and Life Sciences, Proefschrift RU Leiden, 1989.

    [7] Raad van Advies voor het Wetenschapsbeleid, Advies inzake registratie wetenschappelijk onderzoek, 's-Gravenhage, 1989.

    [8] L. Leydesdorff and O. Amsterdamska, "Dimensions of Citation Analysis," Science, Technology and Human Values 15 (1990) 305-35. Dit artikel bevat o.a. een uitvoerig literatuur-overzicht. Zie ook: O. Amsterdamska and L. Leydesdorff, "Citations: Indicators of Significance," Scientometrics 15 (1989) 449-71; L. Leydesdorff, "Towards a Theory of Citation," Scientometrics 12 (1987) 305-9.

    [9] Ibid.

    [10] Op grond van de antwoorden kunnen we met een discriminant analyse 97.2% van de papers correct in vier groepen indelen tegen 67.0 % op grond van enkel de inhoudelijke analyse.

    [11] H. G. Small, "Cited documents as concept symbols," Social Studies of Science 8 (1978) 327-40.