Boktips: vetenskaplig granskning med eller utan bibliometri?

Från flera olika håll har jag hört talas om boken How professors think av Michèle Lamont (2009). Så bra då att jobba på bibliotek och kunna gå ner i den gemensamma boksamlingen och hämta. Det skulle vara spännande att vara flugan på väggen när granskningspanelerna sammanträder hos forskningsfinansiärerna för att dela ut forskningsanslag. Genom åren har jag hört den här typen av anekdoter: “någon googlade hans h-index och använde det som argument i diskussionen”. Bibliometrics on the fly – temat återkommer i boktips nummer två nedan. Lamonts bok handlar om den vetenskapliga granskningsprocessen (specifikt gällande forskningsmedelsansökningar), och hur forskarna som utför den förhåller sig till granskningsprocessen. Boken är läsvärd, och ger ett visst flugperspektiv. Citat blandas med analys där disciplinskillnader och mångfald diskuteras. De flesta av forskarna är överens om att vetenskaplig granskning fungerar bra nog, men att modellen har flera brister. Ett väldigt praktiskt exempel är tidsbristen: om forskarna har flygplan att passa samtidigt som det är tio ansökningar kvar blir processen pressad. Alla ansökningar i studien var tvärvetenskapliga, och därmed var granskningspanelerna sammansatta av forskare från olika discipliner. Det ledde till diskussioner om vad vetenskap är och hur forskning bör bedrivas. De som satte samman panelerna och höll i diskussionerna (anställda hos forskningsfinansiärerna) letade efter paneldeltagare som var öppna för diskussion och beredda att kompromissa – redan där ett urval som påverkar utfallet. Mot slutet av boken diskuteras mångfald inom vetenskapssamhället, och huruvida den står i motsats till vetenskaplig excellens. Slutsatsen är att det måste den inte göra, men däremot: “Like excellence, diversity appears to have become a moral imperative of the system – another manifestation of what is sacred in American academia.” (s. 238). Publikationer, och därmed också bibliometri, förekommer men har ingen framträdande plats. En intressant iakttagelse på sidan 15: “Grants and fellowships are becoming increasingly important as academic signals of excellence, especially because the proliferation of journals has made the number of publications of academics a less reliable measure of their status.”

Beate på KB tipsade mig om Bibliometrics and Research Evaluation av Yves Gingras från 2014 (tack Beate :-)). Bokens första del är en djupdykning i bibliometrins ursprung, ett bra alternativ till Introduktion till bibliometri (som dock finns öppet tillgänglig i fulltext, till skillnad från Gingras bok). Ett exempel är andra världskrigets inverkan på den vetenskapliga publiceringen – innan kriget behövde kemister kunna tyska, efter kriget dög det bra med engelska (s. 2-3). Diagrammen i de två första kapitlen är spännande och visar på disciplinskillnader, ibland inte alls särskilt stora (saknar bara tydlig hänvisning till datakällan, förmodligen är det genomgående data från Web of Science). Gingras refererar också till den visualisering jag tycker bäst förklarar de bibliometriska begreppen bibliografisk koppling och co-citering (hämtad från Garfield library):

Bibl_coupl_co-cit

Andra delen av boken, kapitel tre och framåt diskuterar forskningsutvärdering, och bibliometrins eventuella plats här. Gingras tror att de som arbetar inom forskningsvärlden är de som utvärderas mest, jämfört med andra yrken. För forskare är det i och för sig ingen nyhet, konstaterar han; utvärdering har skett sedan vetenskapen institutionaliserades i mitten av 1600-talet. Det stora problemet är att det har gått för långt i dagens forskarsamhälle. Ovanpå det tillkommer den felaktiga användningen av bibliometrin, till exempel det berömda h-index-utbrottet i början av 2000-talet. Genomgående genom texten lyfter Gingras att det är ett problem att forskare från andra ämnesområden än scientometri ger sig in på bibliometrifältet. De hittar på indikatorer som de hade varit bäst att låta en erfaren bibliometriker ta en titt på innan de lanserades. Jämsides finns då den felaktiga användningen av bibliometriska indikatorer, som i Impact Factors (IF) fall. Gingras slår fast: Impact Factor säger inget om en enskild artikel, men väl något om tidskriften.  Såklart finns det bibliometriforskare som utmanar det påståendet. Bland forskare i allmänhet sprids DORA-deklarationen. Kan det vara klassikern att kasta ut barnet med badvattnet? Eller går det inte att ta fram en indikator för den kommer oundvikligen användas på fel sätt? Gingras är i alla fall tydlig med vad han tycker om forskningsutvärdering och skräder inte orden när han väl kommer till lärosätesrankningar – han sammanfattar metri i forskningsutvärdering med hjälp av HC Andersens saga om kejsarens nya kläder.

Under tiden fortsätter forskarna att tampas med utvärdering sin forskarkarriär igenom: Einstein läxade en gång upp en tidskriftsredaktör som i sedvanlig ordning skickat hans artikel till en granskare. Granskaren hade upptäckt ett räknefel som Einstein inte ville kännas vid. Senare publicerade han dock en korrigerad artikel i en annan tidskrift (s 36-37). Det är inte lätt att blir utvärderad, eller att utvärdera, alldeles oavsett om vi blandar in bibliometri eller inte.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s