Boktips: vetenskaplig granskning med eller utan bibliometri?

Från flera olika håll har jag hört talas om boken How professors think av Michèle Lamont (2009). Så bra då att jobba på bibliotek och kunna gå ner i den gemensamma boksamlingen och hämta. Det skulle vara spännande att vara flugan på väggen när granskningspanelerna sammanträder hos forskningsfinansiärerna för att dela ut forskningsanslag. Genom åren har jag hört den här typen av anekdoter: “någon googlade hans h-index och använde det som argument i diskussionen”. Bibliometrics on the fly – temat återkommer i boktips nummer två nedan. Lamonts bok handlar om den vetenskapliga granskningsprocessen (specifikt gällande forskningsmedelsansökningar), och hur forskarna som utför den förhåller sig till granskningsprocessen. Boken är läsvärd, och ger ett visst flugperspektiv. Citat blandas med analys där disciplinskillnader och mångfald diskuteras. De flesta av forskarna är överens om att vetenskaplig granskning fungerar bra nog, men att modellen har flera brister. Ett väldigt praktiskt exempel är tidsbristen: om forskarna har flygplan att passa samtidigt som det är tio ansökningar kvar blir processen pressad. Alla ansökningar i studien var tvärvetenskapliga, och därmed var granskningspanelerna sammansatta av forskare från olika discipliner. Det ledde till diskussioner om vad vetenskap är och hur forskning bör bedrivas. De som satte samman panelerna och höll i diskussionerna (anställda hos forskningsfinansiärerna) letade efter paneldeltagare som var öppna för diskussion och beredda att kompromissa – redan där ett urval som påverkar utfallet. Mot slutet av boken diskuteras mångfald inom vetenskapssamhället, och huruvida den står i motsats till vetenskaplig excellens. Slutsatsen är att det måste den inte göra, men däremot: “Like excellence, diversity appears to have become a moral imperative of the system – another manifestation of what is sacred in American academia.” (s. 238). Publikationer, och därmed också bibliometri, förekommer men har ingen framträdande plats. En intressant iakttagelse på sidan 15: “Grants and fellowships are becoming increasingly important as academic signals of excellence, especially because the proliferation of journals has made the number of publications of academics a less reliable measure of their status.”

Beate på KB tipsade mig om Bibliometrics and Research Evaluation av Yves Gingras från 2014 (tack Beate :-)). Bokens första del är en djupdykning i bibliometrins ursprung, ett bra alternativ till Introduktion till bibliometri (som dock finns öppet tillgänglig i fulltext, till skillnad från Gingras bok). Ett exempel är andra världskrigets inverkan på den vetenskapliga publiceringen – innan kriget behövde kemister kunna tyska, efter kriget dög det bra med engelska (s. 2-3). Diagrammen i de två första kapitlen är spännande och visar på disciplinskillnader, ibland inte alls särskilt stora (saknar bara tydlig hänvisning till datakällan, förmodligen är det genomgående data från Web of Science). Gingras refererar också till den visualisering jag tycker bäst förklarar de bibliometriska begreppen bibliografisk koppling och co-citering (hämtad från Garfield library):

Bibl_coupl_co-cit

Andra delen av boken, kapitel tre och framåt diskuterar forskningsutvärdering, och bibliometrins eventuella plats här. Gingras tror att de som arbetar inom forskningsvärlden är de som utvärderas mest, jämfört med andra yrken. För forskare är det i och för sig ingen nyhet, konstaterar han; utvärdering har skett sedan vetenskapen institutionaliserades i mitten av 1600-talet. Det stora problemet är att det har gått för långt i dagens forskarsamhälle. Ovanpå det tillkommer den felaktiga användningen av bibliometrin, till exempel det berömda h-index-utbrottet i början av 2000-talet. Genomgående genom texten lyfter Gingras att det är ett problem att forskare från andra ämnesområden än scientometri ger sig in på bibliometrifältet. De hittar på indikatorer som de hade varit bäst att låta en erfaren bibliometriker ta en titt på innan de lanserades. Jämsides finns då den felaktiga användningen av bibliometriska indikatorer, som i Impact Factors (IF) fall. Gingras slår fast: Impact Factor säger inget om en enskild artikel, men väl något om tidskriften.  Såklart finns det bibliometriforskare som utmanar det påståendet. Bland forskare i allmänhet sprids DORA-deklarationen. Kan det vara klassikern att kasta ut barnet med badvattnet? Eller går det inte att ta fram en indikator för den kommer oundvikligen användas på fel sätt? Gingras är i alla fall tydlig med vad han tycker om forskningsutvärdering och skräder inte orden när han väl kommer till lärosätesrankningar – han sammanfattar metri i forskningsutvärdering med hjälp av HC Andersens saga om kejsarens nya kläder.

Under tiden fortsätter forskarna att tampas med utvärdering sin forskarkarriär igenom: Einstein läxade en gång upp en tidskriftsredaktör som i sedvanlig ordning skickat hans artikel till en granskare. Granskaren hade upptäckt ett räknefel som Einstein inte ville kännas vid. Senare publicerade han dock en korrigerad artikel i en annan tidskrift (s 36-37). Det är inte lätt att blir utvärderad, eller att utvärdera, alldeles oavsett om vi blandar in bibliometri eller inte.

AESIS: Impact of Science 2017 – vad tar jag med mig?

Vad menar vi när vi pratar om genomslag (impact)? Vi kan sälja en bok till en läsare och registrera köpet i vår databas, med vilken vi kan beräkna vilka titlar som sålt bäst. Vi kan inte registrera om en tryckt bok blir läst (förutsatt att vi inte följer med kunden hem och hänger över läsfåtöljen). Vi kan registrera att en elektronisk bok blivit läst (eller i alla fall bläddrad i), förutsatt att vi spårar den. Vi kan definitivt inte registrera automatiskt om boken, om den nu blev läst, har påverkat vår läsare. Men vi kan fråga om den har gjort det. Litar vi på svaret? Kanske svarar läsaren vad hen tror att vi vill höra? Kanske svarar läsaren en sak för att sedan, direkt efter vi har gått, komma på att det var en helt annan sak som egentligen påverkade? Kanske förändras påverkan över tid, kanske till och med så att det som läsaren först uppfattade som en positiv påverkan förvandlades till en negativ påverkan? Kanske är det till och med så att läsaren inte själv kan bedöma vilken påverkan den lästa boken har?

Mitt arbete kretsar kring inledningen av förra stycket – statistik. Boken är i mitt fall en publikation skriven av en forskare, och i första hand avsedd för andra forskare. AESIS-konferensen kretsade kring hela stycket – vad är t ex skillnaden mellan output (produktion) och outcome (resultat)? Vi pratar vardagligt om forskningsoutput som till största delen består av publikationer men också innefattar forskningsdata och patent. Det sägs ofta att de allra flesta forskningspublikationer inte blir lästa även om det kan ifrågasättas. Nyligen lyssnade jag på en föreläsning där det konstaterades att situationen var liknande för patent. Kan vi få resultat av forskningen ändå? * Ja, forskaren som skrev den olästa forskningspublikationen kanske sitter med i ett strategiskt råd som regeringen använder som expertgrupp inför en lagändring. Om forskaren lyckas beskriva hur hens forskning visar hur den nya lagen bör formuleras skulle vi nog vara eniga om att forskningen påverkat samhället (och i längden enskilda individer).

För mig är det värdefullt att få betrakta hela trädet, jag som allt som oftast befinner mig ute på en gren med luppen över löven (bibliometrisk data). Vi som funderar över datakvalitet, täckning och indikatorer får oss en tankeställare – på en sådan här konferens presenteras data i aggregerad form, och få är intresserade av datavalidering i detalj. Jag förutsätter att deltagarna utgår från att diagrammen som fladdrar förbi bygger på data av den bästa kvalitet som går att få. Vi som arbetar med data vet fallgroparna; hur beskriver vi dem på ett tydligt sätt, samtidigt som diagrammet gärna får vara en vacker visualisering? Vem bestämmer om data är tillräckligt robust för att utgöra beslutsgrund, görs det i dialog mellan de som tar fram data och de som presenterar? Utredningar ifrågasätts på grund av ingående data, det är regel i forskarvärlden och vanligt i beslutsdiskussioner. Rent praktiskt funderar jag vidare på hur jag kan göra tydligare leveranser till beställare, ett evigt pågående arbete som jag fick flera idéer till under de här två dagarna.

Tydligt är att data har en plats i frågan om genomslag. Men var? Och hur? Några förespråkar rankningar, oklart om de skulle baseras på en indikator eller flera. Flera får vi tro då en session helt och hållet ägnade sig åt att se bortom h-index. Data används som bevis i sagan om genomslaget (impact case studies), en linjär konstruktion som förmodligen beskriver en alltför snäv tidsperiod. Genomslag kan ske efter tiotals år, men forskningsprojekt får pengar för ett fåtal år. Flera efterlyser jämförbarhet, också över nationsgränser – en fantastisk utmaning. Ibland infinner sig frågan: kommer vi någon vart? Efter den här konferensen vill jag svara: Ja, men det tar tid. Några talare har varit med länge och kan teckna historien om forskningspolitik/forskningsutvärdering. Samtidigt har de vandrat längre och längre från sin egen forskargärning. En talare pratar om behovet av ”översättare” (translators), en specialiserad yrkesgrupp som förmedlar, eller hjälper forskarna förmedla, forskningen och forskningens värde ut i samhället. Specialiseringar avknoppas och T/A-personalen på lärosäten och vid forskningsmyndigheter växer. Anne Glover beskrev sina erfarenheter av detta: att som forskare inte vilja uttala sig om annat än sin egen specifika forskning, till att som forskningsrådgivare åt Kommissionens ordförande hitta fram till sin egen specialisering – hur se till att forskningsresultaten kommer samhället till nytta?

Flera presentatörer framhöll vikten av mer forskning, om forskning (science on science) – fantastiskt, då kommer det finnas ännu mer resultat som förhoppningsvis får genomslag. Kanske behövs också mer blue sky research? Kollegan Carolina översatte det till forskning i det blå – kommer den forskningen få forskningsmedel? Slutligen ett positivt citat i vår utvärderingsmättade värld: ”Evaluation is about learning from history” – bäst då att utvärderingen hålls sekundär till forskningen så att den inte är den enda historien som finns att berätta i framtiden. Forskarna har bara en viss begränsad tid att skriva medelsansökningar, forska, kommunicera sin forskning och samla bevis för att deras forskning verkligen har genomslag samtidigt som de hjälper blivande forskare (studenter) och seniora forskare med kunskapsutbyte och granskningsarbete.

 

Tweets finns under #IoS17 (tack till alla twittrare som bygger anteckningar åt alla)

Programmet med presentationer ska komma här

7th OpenAIRE workshop i Oslo 14/2 2017: Impact and Measurement of Open Access

Natalia Manola från OpenAIRE startade dagen med två frågor:

Is Open Access measurable?

How does it relate to research assessment?

Den första frågan landade i metodiken, hur vi räknar och vad vi räknar. Vilken data har vi tillgång till?

Först ut var Danish OA indicator (tidigare OA-barometern, tillgänglig här). Danskarna samarbetar via DEFF i ett europeiskt nätverk som sysslar med öppen tillgång till publikationer och data: Knowledge Exchange. Då den danska nationella OA-policyn är grön och gäller för publikationer utgivna med ISSN undersöks hur många fulltexter som ligger i de danska universitetens institutionella arkiv och ämnesarkiv (en lista över tillåtna arkiv finns, hybrid-OA mäts inte separat). Målbilden är 80 % OA 2017 och 100 % OA från och med 2021. Just nu är siffran 18 % men loppet är inte kört: nya siffror kommer nu i april. Och det finns potential: publikationerna delas upp i realised, unused and unclear och unused utgör en stor del av publikationerna. De listar också tidskrifter med extrema embargo-perioder (> 12 månader) som omöjliggör för forskarna att leva upp till kraven inom Horizon 2020.

CrossRef gör mycket spännande. Bland annat räknar de citeringar, vilket förlag och metrics-tjänster kan hösta från deras API. Än så länge finns tjänsten inte för enskilda forskare, den bygger på att förlag skickar in sina referenser för att sedan kunna använda allas referenser – dela lika. Deras nya event data finns också att pröva via API. De varnar för att detta är arbete i utveckling. Vi kan också göra sökningar på öppen tillgänglighet med information om Creative Commons-licenser , Text and Data mining policies etc. “Så länge förlagen ser till att data kring detta finns med i metadata som levereras” in twittrade någon. Och fick genast Twittersvar att “författarna måste också se till att ange korrekt metadata”. Någonstans ursprungligen skapas god metadata. Och om det inte görs, blir det kaos. Och kaos lever vi med, till exempel vad gäller finansiärer och deras namn. Därför har CrossRef även gett sig på att skapa ett register över finansiärer.

Den andra frågan är mer komplex och berördes av färre presentationer. Är öppen tillgång till forskning ett tecken på kvalitet i sig, vilket några hävdar? Vad händer när politikerna styr med hela handen (eller inte gör det)? Curt Rice, rektor vid värden HiOA, beskrev en enkel lösning där öppen tillgång belönas av dem som fördelar pengar. Om det skulle hända har just finansiärernas krav visat sig vara en morot svår att motstå. Eller: om du inte rättar dig efter kraven får du inga pengar och forskar inte mer. Vi är inte där än. Men REF (Research Excellence Framework) i Storbrittanien annonserar inför kommande omgång att de endast kommer utvärdera publikationer som finns öppet tillgängligt. Forskare däremot hävdar då och då att de ska vara fria att publicera sina resultat som de vill, vilket ofta verkar överensstämma med ämnets invanda publiceringsmönster.

Under workshopen diskuterade Salvatore Mele från SCOAP3 varför arXiv inte räcker trots att runt 90 % av preprints från ämnesområdet HEP (High Energy Physics) återfinns där. Ett av syftena med SCOAP3 var att gå över till öppen tillgänglighet utan att störa forskarna – de fortsätter arbeta som de alltid gjort, d v s dela med kollegor i preprints för att sedan publicera i tidskrifter som bygger deras CV och då det begav sig bevarades av bibliotek. Och Salvatore påpekade att SCOAP3 kostar lika mycket som att betala personal för underhåll av institutionella arkiv.

European Research Council hade gett sig på frågan om öppen tillgänglighet och den förmodade citeringsfördelen i att vara synlig genom öppen tillgänglighet och därmed citeras mer. Detta har det tvistats om länge, och ett stort problem är att vi inte kan ta slumpmässiga stickprov. Här hade Scopus använts och de artiklar som indexeras som öppet tillgängliga (bygger på DOAJ) hade generellt lägre fältnormerad citeringsgrad. Flera ifrågasatte att använda Scopus som datakälla, de menade att det är en vinklad källa. Web of Science borde användas istället tyckte de, och det var tydligen på gång. Tydligt är att det endast var guld OA (förmodligen är de flesta nystartade OA-tidskrifter) som mättes mot alla andra tidskrifter i Scopus (tidsperioden var 2005-2014 om jag minns rätt). Tidskriftens ålder får förmodas vara en del i racet för att samla på sig prestige.

Ett av dagens block bestod av lägesrapporter från olika länder. Någon lyfte frågan om hur vi avgör vad som behöver göras på EU-nivå, på nationell nivå och på lokal nivå. I EUA:s senaste OA-enkät till europeiska lärosäten ställdes exakt de frågorna. Det fick mig att fundera: behöver vi lokala OA-policys när vi nu har en nationell policy (om än lite vag i kanterna ännu)?  Ungerska vetenskapsakademin (Hungarian Academy of Sciences) hade inkluderat även monografier i sin OA-policy vilket ledde till att de nu tillåter längre embargotider för AHSS (Arts & Humanities/Social Sciences). Argumentet är att det finns ingen profit att hämta på ungerska monografier om litteraturvetenskap. I Kroatien finns en portal för landets vetenskapliga tidskrifter – hrcak. En portal som lanserades för förlag som ville publicera sina tidskrifter online en gång i tiden. De fick lite problem när DOAJ skärpte upp sina krav och alla var tvungna att ansöka om att indexeras igen men nu börjar de dyka upp där igen. Katie Shamash från JISC hade med sig en färsk rapport från Storbrittannien som oroväckande visade att APC-avgifterna ökar, både i omfång och i pris. SCOAP3 har däremot sett det motsatta, deras APC:er har minskat något. Om inte annat visar det att det finns skäl att testa många olika vägar.

I ett sista föredrag om Academic vs non-academic impact beskrevs en databas där forskarna registrerade sina impact cases, små som stora. När någon i publiken förbryllat undrade hur forskarna gick med på det var svaret att samverkan numer räknas i REF och påverkar forskningsfinansieringen – den moroten igen. Överlag var rummet överens om att all infrastruktur som underlättar för forskarna är av godo. Ingen säger emot, men borde vi inte vara där nu? Kommer vi någonsin dit?

Natalia nämnde även  OpenAire Usage statistics och behovet av Open Metrics Framework, data vi använder bör finnas öppet tillgängliga i sin tur. Dags att leva som vi lär.

Ingen nämnde EU:s halvstabila tillstånd. Det är något vi kanske inte vill tänka på och vi har tillräckligt med frågeställningar ändå. Nästa workshop (4/4 i Barcelona) handlar om juridiska aspekter på öppen data. Presentationerna från den här workshopen kommer finnas på OpenAires webbplats inom kort…

Lästips: Jula Lane verkar ha studerat impact of science ett tag, och det går att läsa om bland annat här.

Open source systems in the public sector – symposium på Naturhistoriska riksmuseet 23 januari 2017

Naturhistoriska bjöd in till endagssymposium för att diskutera öppna system vid myndigheter, med presentationer av dem som redan arbetar med öppna system.

Några argumenterar för öppna system ur ideologisk synvinkel medan andra menar att det är en hållbar ekonomisk lösning – om systemen är öppna blir det sund konkurrens mellan konsulter som anpassar systemen till användarnas behov. Det verkade råda enighet om att öppna system inte är billigare än proprietära system – ingen får gratis lunch. Många var inne på att öppna system underlättar samarbete då kod lätt kan delas och arbetas vidare med gemensamt. Men var finns incitamenten att arbeta gemensamt? I vissa fall verkar det också finnas en rädsla för att öppna system är mer osäkra, vilket skulle hindra myndigheter från att använda dem. En av talarna menade att det var den största fördomen han hade att fajtas med. Han menade också att “Documentation sucks in open source systems, as they do in proprietary systems” – vi måste bli bättre på att dokumentera vad vi gör. Att skriva egen kod ökar möjligheten att reproducera sina studier – kan behövas även för ens framtida jag (eftersom vi nu är så dåliga på att dokumentera).
Någon i auditoriet frågade om vi investerar för mycket i systemen, och för lite i vårt data? Systemen kommer och går men data bör bestå (vem ska bevara data långsiktigt?). Öppna system måste inte nödvändigtvis arbeta med öppen data och vice versa. Myndigheter verkar ha högre krav på att leverera öppna data (medborgare ska kunna granska) än på att använda sig av öppna system (även om några myndigheter har formulerat rekommendationer om att välja öppna system först).

Några utmaningar: öppna licenser kan fortfarande vara avancerade och jurister kan behövas. Många är osäkra på vad som kan delas öppet eftersom det finns många mjukvarupatent att ta hänsyn till. Standarder och gemensamma principer är fortsatt viktiga. Och det tar ett tag att komma över sin “release fear” – rädslan du känner när du lägger upp din kod öppet de första gångerna. Kommer någon att hitta en allvarlig bugg i min kod? Kanske dämpas rädslan så småningom av  glädjen i att samarbeta öppet – en av presentatörerna ställde frågan: ska vi arbeta med öppna system av den anledningen att det är ett roligare sätt att arbeta på?

Besökarna kom från många olika håll med många olika funktioner – arkiv, miljöövervakning, bibliotek och forskning var några.

Presentationerna kommer finnas på symposiets sida: http://www.nrm.se/english/researchandcollections/symposiumopensourcesystems.os2017.html

Intressanta länkar:

oppnadata.se

(En webbplats som samlar öppna dataset från myndigheter)

koha.se

(Öppet bibliotekssystem uppstartat på slutet av 90-talet av ett bibliotek på Nya Zeeland. .se samlar svenska koha-användare)

designprinciper för offentliga digitala tjänster

(Sidan är nedlagd men principerna är fortfarande av intresse)

öppen OCR-läsare: Tesseract

(Öppen lösning för att OCR-skanna vid digitalisering)

ROpenSci

(Specialiserar sig på R-paket som underlättar för forskare att arbeta med öppen data)

Jupyter notebooks

(Ett sätt att dela kod, och bland annat kommentera den)

Software carpentry

(En organisation som erbjuder online kurser och workshops på plats, riktar sig särskilt till forskare)

 Jean Tirole/ Economics of Open source

(Nobelpristagare 2014. Har bland annat intresserat sig för ekonomin bakom öppna system)

Github – Open Science Nordics

(Githubkonto för workshopen 24-25/1 som hör till symposiet)

Vad menar vi när vi säger utvärdering?

En utgångspunkt kan vara Nationalencyklopedin (NE): utvärdering, evaluering, sammanfattande term för metoder som syftar till en systematisk bedömning av resultaten och de mer långsiktiga effekterna av genomförda insatser. NE-artikeln fortsätter med att diskutera tre olika tillvägagångssätt: experiment, måluppfyllelsemätning och avbildning.

Att använda bibliometriska metoder för utvärdering av forskning har under min korta tid i leken ständigt varit på tapeten. Och dragits med i frågan om kvantitativa metoder överhuvudtaget kan sammanfatta den komplexa verkligheten. I veckan som gick vände och vred jag på ännu en pusselbit med anledning av nya forskningspropoistionen. Kan de kvalitetsindikatorer (externa medel och publiceringar & citeringar) som används i vår nationella resurssfördelning sägas vara en form av utvärdering? De framräknade resultaten kan definitivt användas i en utvärdering. Men just där och då utgör det underlag, eller nycklar, för att fördela pengar ut till lärosätena. Allt enligt principen (om jag håller mig till publiceringar och citeringar) att de som publicerar kontinuerligt i Web of Science-indexerade tidskrifter, samt att deras artiklar också citeras mer än genomsnittet, bidrar till att de lärosäten de är anknutna till får en större del av pengakakan.

Jag tror att min förvirring har uppstått då jag tänker mig att en utvärdering görs efter avslutat arbete, för att ge möjlighet att säga något om måluppfyllelse (alltså det andra tillvägagångssättet enligt NE ovan). Och att medelsfördelning då inte skulle vara ett avslutat underlag, utan kanske till och med början på något nytt? Men så ser ju inte verksamheten vid lärosäten ut; den pågår ständigt, och utvärderas numer ständigt. Så kanske det går att säga att en forskares ansökan till en forskningsfinansiär utvärderas i den process som ska besluta vilka som får medel. Och i så fall utgör den nationella resurssfördelningen också en utvärderingsprocess, med ett direkt mål att ta fram fördelningsunderlag. Den nya forskningsproppen bekräftade det vi anade; att Vetenskapsrådets förslag till nationell utvärdering, Fokus, inte kommer att genomföras. Någon form av utvärdering kommer dock att finnas, det uttrycks bland annat så här: Universitet och högskolor har ansvar för kvaliteten i den egna verksamheten, men det behövs även viss uppföljning och utvärdering på nationell nivå som underlag för regeringens styrning och utveckling av forskningspolitiken (s. 51). Vi får se hur en viss uppföljning och utvärdering kommer att se ut.

Med den bredare definitionen av utvärdering än vad min ursprungliga idé utgjorde, kan jag påstå att forskare utvärderas när de anställs, när de skriver (kollegial granskning), när de ansöker om forskningsmedel och i lärosätegemensamma och nationella regelbundet återkommande utvärderingar. Finns det i så fall andra yrkesgrupper som utvärderas i samma omfattning?

En stund på redaktörernas stol

Genom vårt altmetri-verktyg upptäckte jag en spännande artikel:  Misconduct, Marginality and Editorial Practices in Management, Business and Economic Journals (publicerad 25 juli 2016 i PLoS ONE). Författarna skrev också om samma fråga för ett tag sedan i Vetenskapsrådets Curie.

För en handläggare i publiceringsfrågor är det fint att ta del av redaktörernas tankar. Forskare är ju ofta också redaktörer, men då jag möter dem brukar det vara med deras forskarhatt på. En redaktör för en ekonomitidskrift beskriver problemet med Publish or Perish:

“Every university is pushing publishing so hard that this results in significantly lower quality research in total. … From an editorial perspective, the vast majority of the work is derivative, or makes observations that amount to ´this tiny square of the sky is blue #87362a unlike the sky over there which is blue #87362b´.” (s.15)

Redaktörerna är smärtsamt medvetna om salamipublicering (eller LPUs= Least Publishable Units) men de är svåra att förhindra då forskarna slugt nog kontaktar flera tidskrifter med sina salamiskivor. Salamin upptäcks när den redan är publicerad. Och vem ska läsa, och granska, allt detta när forskarna känner sig pressade att producera?

Artikeln diskuterar också återkallade artiklar, där en del fall beror på två serieförbrytare som 2015 var med och skapade återkallningsrekordet på 63 artiklar. Annars är frågan, som vanligt med statistiken: beror de ökande antalet återkallade artiklar på att fler fuskar, eller på att vetenskapssamhället har blivit bättre på att upptäcka fuskarna? Det brukar alltid framhållas att inom en tillräcklig snäv forskningscirkel, till exempel de som studerar finska vinterkriget 1939/40, känner alla till varandra och anonym kollegial granskning existerar bara på pappret. Då förundrar det mig att någon vågar spela så högt och fuska sig in, för borde dessa specialister inte se det ganska omgående? Kanske är problemet större när ämnet ägnar sig åt att studera data, sällan kontrolleras ingående data av granskarna? Och inom medicin är forskningscirklarna inte riktigt så snäva idag, de är dessutom i sanning globala.

Just den här artikeln behandlar management, business & economics och som en röd tråd löper frågan om hur mycket som känns igen från andra ämnen och discipliner och vad som är ämnesspecifikt. I inledningen skriver forskarna att inom ekonomi har det varit vanligt att studera fusk bland studenter, men att forskarna hittills undvikit att studera sig själva.

Det kanske hänger ihop med ett citat (med variationer) som jag hör då och då: “Jag jobbade tidigare med en forskare som friserade data för att få statistiskt signifikanta värden”. Det är alltid någon annan. Om en sådan sak som att 80 % av kliniska studier i Kina använder fabricerade data stämmer, då finns det något att arbeta med (oavsett om det är den där andra).

 

Bortom siffrorna

För drygt en vecka sedan var jag på altmetri-konferens, 3:AM Bucharest. Själva konferensen pågick två dagar, en dag innan hölls en workshop med mer fokus på diskussioner och dagen efter en hackdag då vi arbetade med data.

När det kommer till data ser jag tydligare och tydligare uppdelningen i två spår: Utvärdering och Upptäckt. Väljer vi spår 1: Utvärdering hamnar fokus på datakvalitet och möjligheten att jämföra data mellan ämnen, tidsperioder, forskare etc. Och på den stora frågan om det går att kvantitativt utvärdera mänskliga aktiviteter. Där verkar de flesta landa i att det går att ta fram kvantitativa underlag som hjälp till de människor som är satta att utvärdera andras aktiviteter. Hursomhelst ger arbetet ofta en känsla av tvångströja; data är ofta inte tillräckligt fullständigt, skevt åt något håll och inte objektivt. Det är också relativt lätt att manipulera och inte lätt att bestämma vad data representerar (en citering är inte ett mått på vetenskaplig kvalitet men väl vetenskapligt genomslag, eller?).

Om vi väljer det andra spåret, Upptäckt, sitter koftan genast mycket lösare. Kan vi använda data för att upptäcka ställen på nätet vi inte visste om, men skulle kunna ha nytta av? Finns möjligheten att kategorisera användare efter deras beteende, till exempel på Twitter? Om en tillräckligt stor datamängd vänds och vrids på olika håll, går det att skönja trender och samband som inte var de på förhand uppenbara att söka efter?

Jag hade ett bidrag med på workshopen, om lokala förutsättningar. Dels vill vi följa publikationer publicerade i Skandinavien på ett bra sätt och så vill vi söka dem i skandinaviska datakällor som nyhetssajter, bloggar och svenskspråkiga Wikipedia. Min fundering var vad vi bör fokusera på då det finns mycket att förbättra. Det allra första svaret jag fick var att fråga forskarna, vad tycker de är viktigast att spåra lokalt? Därefter pratade vi om vikten av identifierare, att sätta t ex DOIs på skandinaviska publikationer. Att spåra publikationer i lokala källor bör vara relativt enkelt, menade flera av altmetriföretagen på plats. Det är ju såklart av intresse för dem att kunna erbjuda en anpassad tjänst.

Konferensen inleddes med en bred överblick av Dan Penny från Springer Nature. Bland annat var det intressant att se det senaste inom bokspårning, och vad bokförfattare värderade som intressant data att få ta del av. Rodrigo Costas och Zohreh Zahedi, båda från Leiden, gör en hel del intressant kring altmetri tillsammans med Stephanie Haustein i Montreal. Rodrigo visade fördelningar för altmetridata: t ex följer Mendeleyläsare samma skeva fördelning som citeringar visar upp. Många läser en och samma artiklar, och många artiklar har få eller inga läsare. De har också analyserat Twitterdata ur olika vinklar,bl a olika typer av konton: Är jag en mumbler eller orator? Den här och flera andra presentationer hade också använt VOSviewer för att visualisera Twitterdata (se exempel).

CrossRef återkom till sitt nya initiativ: CrossRef Event Data. En event (händelse) är när någon refererar till en DOI på Wikipedia, delar den på Twitter etc. Genom att spara dessa händelser kan även raderade händelser analyseras, t ex vid så kallade Wikipedia Edit wars. Joe Wass från CrossRef menade att även borttagna händelser kan vara av intresse. Det är de säkert, men just nu känns det överkurs när vi kämpar med att överhuvudtaget spåra publikationerna. Men det gör ju inget att några rör sig i frontlinjen (och bara behöver bry sig om DOIs)!

Elsevier & Insight presenterade ett projekt där referenser till forskning i så kallad grey literature (myndighetsrapporter och liknande) letades upp. Projektet bygger en prototyp: Sophia, som är ett textmining-verktyg. Eftersom det ofta inte handlar om formella referenser letar Sophia på forskar- och organisationsnamn.

Något som ska bli intressant att följa är om altmetri kommer användas i impact case studies i kommande REF (den natioenlla forskningsutvärderingen) i Storbritannien. Lauren Cadwallader från Cambridge hade fått stipendium från Altmetric.com för att studera om det fanns mönster i vilken typ av uppmärksamhet de artiklar som refereras i myndighetsdokument (policy papers, inte den bästa översättningen) fick. Bland annat visade det sig att forskningen verkar uppmärksammas allt tidigare (hon började med ett mindre urval).

Något som uppmärksammades flertalet gånger är geografiska skillnader. Vi använder inte samma social media-plattformar i olika länder, Ryssland har t ex sin version av Facebook, VK.com (påfallande lik sin kusin). Zohreh Zahedi har skrivit en intressant bloggpost om “the altmetric divide”.

Kim Holmberg med kollegor arbetar med finska lärosätens altmetri- och forskningsprofiler. Bland annat funderar de över skillnader i altmetridata mellan olika forskningsämnen.

Research data and software hade sitt eget spår, som vanligt nuförtiden. Daniel S Katz från Illinois pratade om citeringar för program. Jag drar paralleller till metodartiklar, som t ex de välciterade för PCR-teknikerna. Samtidigt sker så mycket av programutveckling på nätet, och når förmodligen inte in i traditionella vetenskapliga tidskrifter. Några tidskrifter har startats enbart för detta, bland annat JOSS, Journal of Open Source Software.

Två riktlinjedokument som återkom under dagarna var Metric Tide-rapporten och NISO:s arbete med altmetri-standarder. Bra att återvända till när begreppsförvirringen tenderar att ta över.

Alla presentationer kommer att finnas i en särskild samling på Figshare: https://dx.doi.org/10.6084/m9.figshare.c.3488817.v1