Artykuł redakcyjny • Editorial

IF-mania:
Journal Impact Factor nie jest właściwym wskaźnikiem oceniania wyników badań naukowych, indywidualnych uczonych ani ośrodków badawczych

Edward Towpik

Kiedy miara staje się celem,

przestaje być miarą rzetelną

Prawo Goodharta [1]

Nie wszystko co może być policzone — liczy się,

i nie wszystko co się liczy — jest policzalne

Albert Einstein [2]

Journal Impact Factor (JIF), nazywany w języku polskim „czynnikiem (lub wskaźnikiem) oddziaływania” bądź „czynnikiem wpływu”, stał się — dzięki niewłaściwemu używaniu — nadzwyczaj niekorzystnym, szeroko kontestowanym zjawiskiem w świecie nauki. Poświęcamy w Nowotworach temu problemowi, jako nieliczni w kraju, sporo uwagi, przytaczając opinie wybitnych uczonych polskich [3–6], m.in.:

Nie dajmy się zwieść urokom parametryzacji tam, gdzie stwarzają one jedynie iluzję merytorycznej i obiektywnej oceny! [3].

Odnoszę wrażenie, że poruszając się w obłędnym kręgu wskaźników, procentów, impaktów i rankingów, niemal wszyscy zapomnieli już, jaki jest cel nauki [4].

Przekazaliśmy też w polskiej wersji językowej krytyczne oceny znaczących naukowych gremiów światowych [7, 8].

Piśmiennictwo światowe na temat niedoskonałości, ujmując rzecz eufemistycznie, w obliczaniu JIF, a przede wszystkim na temat jego niewłaściwego używania do oceny badań naukowych, samych badaczy i ośrodków naukowych — jest przebogate. Zdaję sobie sprawę, że pracownicy nauki, koncentrując uwagę na bieżącym piśmiennictwie w zakresie swoich zainteresowań badawczych, mogą nie znajdować czasu na śledzenie literatury omawiającej zagadnienia bibliometryczne. Problem jest jednak bardzo poważny, dlatego niezbędne staje się przedstawienie przeglądu wybranych doniesień ukazujących źródła błędów, a z drugiej strony — wskazanie najnowszych działań środowisk naukowych na rzecz przezwyciężenia nieusprawiedliwionej dominacji JIF i zapobieżenia niewłaściwemu stosowaniu tego parametru.

W niektórych miejscach tej publikacji cytuję stwierdzenia w oryginalnym brzmieniu w języku angielskim, aby dokładnie odtworzyć treści zawarte w źródłach, a zarazem wykluczyć sugestię, że w procesie tłumaczenia mogło dojść do intencyjnego wyolbrzymienia lub przekłamania.

Geneza Journal Impact Factor

JIF wprowadzony został w latach 50./60. ub. wieku przez Eugene Garfielda, pomocnika bibliotekarza w Johns Hopkins University, aby służyć pomocą w wyborze prenumeraty czasopism [9–11].

Początkowo wskaźnik ten nie wzbudzał większego zainteresowania — przez pierwszych 20 lat ukazało się na ten temat 9 publikacji, natomiast w dziesięcioleciu 1996–2005 — już 160, a w samym tylko 2006 roku — 100 [12].

E. Garfield, człowiek niewątpliwie przedsiębiorczy, stworzył w 1960 r. Institute for Scientific Information (ISI) — pierwszą firmę czerpiącą zyski z zapewniania dostępu do informacji naukowej, początkowo poprzez publikowanie cotygodniowych Current Contents (spisów treści czasopism) i dorocznego Science Citation Index. W kolejnych publikacjach promował swój produkt, oceniał jego rolę w świecie nauki, informował o ew. zmianach itd. Uważni czytelnicy zauważyli sarkastycznie, że prace te nigdy nie zawierały adnotacji o możliwym „konflikcie interesów” [13].

A „interes” okazał się niebagatelny: w 1992 r. korporacja Thomson Group zakupiła ISI za 210 milionów dolarów (w tym 45% stanowiły udziały Garfielda), tworząc następnie sieciową integrację baz danych — Web of Science. W 2012 r. nastąpiła fuzja z Reuters i powstała Thomson Reuters — korporacja o zasięgu globalnym, generująca w wielu dziedzinach biznesu, m.in. bankowości, roczne przychody rzędu 12 miliardów dolarów (2012); jej dział Thomson Scientific, zajmujący się nauką i własnością intelektualną, przynosi rocznie blisko 900 milionów [13].

JIF ustalany jest obecnie przez Thomson Scientific — na częściowo niejasnych zasadach, poza kontrolą zewnętrzną i bez możliwości odwołania [14].

Thomson Scientific is the owner, calculator and aggressive marketer of the impact factor... To an extent that no one could have anticipated, the academic world has come to place enormous weight on a single measure that is calculated privately by a corporation with no accountability, a measure that was never meant to carry such a load [15].

Ponieważ w sposób całkowicie nieuprawniony, niezgodny z celem, dla którego został wprowadzony, wykorzystywany jest obecnie do oceny poszczególnych badaczy, współdecyduje o ich karierze zawodowej, brany jest pod uwagę przy ocenie aplikacji grantowych, a ponadto służy do oceny ośrodków naukowych i wpływa na ich finansowanie, spotyka się z powszechną i narastającą krytyką świata nauki [16–34]. Krytyka ta, na przykład przedstawiona poniżej, pochodzi ze znaczących ośrodków i publikowana jest w cenionych czasopismach:

The most misused metric in science [35],

When IF is applied to evaluate individuals it becomes a dangerously inaccurate tool [36], IF is misnamed and misleading. Being misnamed and misleading, the impact factor has been misused... is an indicator of citation, but not of quality [37],

If there is one thing every bibliometrician agrees, it is that you should never use the journal impact factor to evaluate research performance for an article or for an individual — that is mortal sin [38].

Problemem jest nie tyle fakt, że komercyjna firma lansuje swój produkt, ale że same środowiska naukowe nierzadko bezkrytycznie potrafią w sposób niewłaściwy posługiwać się JIF.

The irresistible fascination with (and picturesque uses of) a construct so scientifically weak as BIF (bibliographic impact factor — przyp. ET) are simply reminders that scientists are embedded in an embody culture [39].

Prawdopodobnie sprzyja temu poszukiwanie sposobu zapanowania nad gwałtownie rosnącą liczbą publikacji naukowych; w okresie powojennym powiększa się ona średnio o 8%–9% rocznie (czyli podwaja się co ok. 9 lat) [40]. W ostatnim czasie jest ich ok. milion rocznie; najszybszy wzrost obserwowany jest w zakresie biologii molekularnej [36].

Metodologia obliczania JIF

W jednym ze znaczących amerykańskich ośrodków badawczych szef poprosił współpracowników o napisanie (bez szukania pomocy w sieci), co to jest JIF. Połowa nie wiedziała, jak współczynnik powstaje, choć szermowali tym pojęciem na co dzień [41]. Przypomnijmy, że JIF, np. dla roku 2012, oblicza się wg wzoru:

wszystkie cytowania w 2012 roku z lat 2010 i 2011

liczba „cytowalnych” artykułów (citable items)
w latach 2010 i 2011

Niby proste, ale rzeczywisty sposób dokonywania obliczeń dla poszczególnych pism nie jest ani publicznie dostępny, ani przejrzysty [42–44]. Firma obliczająca JIF nie jest skłonna do ujawnienia takich danych [45].

Kardynalną zasadą rzetelności publikacji naukowej jest wymóg, aby podać zastosowaną metodologię na tyle wyczerpująco, żeby kolejni badacze mogli ew. użyć jej dla potwierdzenia wiarygodności wyników. W przypadku JIF jest inaczej:

Paradoksalnie, metodologia impact factor, którego używa się do oceniania recenzowanych czasopism, nie może sama być zweryfikowana w recenzowanym czasopiśmie [46]. Ostra krytyka takiego postępowania znalazła się zarówno w klasycznych pismach o wysokim JIF [42], jak i pismach „z wolnym dostępem” (open access journals):

It is a proprietary measure run by a profit making organisation [47].

Warto przypomnieć, że Thomson Scientific uwzględnia w obliczeniach tylko te pisma, które wcześniej sam, wg swoich subiektywnych kryteriów, umieścił na liście ISI [39]. Jest to zaledwie 5% czasopism naukowych, które ukazują się w druku bądź w wersji elektronicznej; zignorowanie pozostałych 95% jest niesłuszne, krzywdzące i prowadzi do zafałszowania rzeczywistego obrazu [48]. Pomijane są pisma mniej znane, w których również mogą być publikowane ważne wyniki badań, jak np. odkrycie statyn [49]. Dyskryminowane są publikacje w językach innych niż angielski [50]. Ignorowane są rozległe obszary wiedzy, również w sensie geograficznym, np.: New England Journal of Medicine w latach 1996–2004 poświęcił mniej niż 3% swej zawartości problemom medycznym krajów rozwijających się (czyżby takowych nie było?), z czego połowę — tematyce HIV/AIDS [51].

Sposób obliczania JIF i zasadność używania tego wskaźnika do wartościowania nauki zostały w 2008 r. jednoznacznie odrzucone przez International Mathematical Union — instytucję, którą trudno posądzić o brak kompetencji w rachunkach:

The „simple and objective” methods are broadly interpreted as bibliometrics, that is, citation data and statistics derived from them. There is a belief that citation statistics are inherently more accurate because they substitute simple numbers for complex judgements, and hence overcome the possible subjectivity of peer review. But this belief is unfounded [52].

Cytowanie jako podstawa obliczeń

Przede wszystkim za nieuzasadniony należy uznać fakt, że nienaruszalnym aksjomatem podstawy obliczeń JIF są cytowania, których źródła wymienia się w spisach piśmiennictwa na końcu publikacji.

Zawartość spisu piśmiennictwa jest wynikiem całkowicie dowolnego, niepodlegającego żadnym obiektywnym kryteriom wyboru autora artykułu. O ile nie ma podstawy, aby wątpić, że intencją autora jest cytowanie artykułów istotnych, o tyle nie sposób udowodnić, że wykaz piśmiennictwa to wybór optymalny, że odzwierciedla rzeczywistą wartość cytowanych prac oraz że przytoczono istotnie te najważniejsze [53].

Poczucie, że pojawienie się pracy w spisie piśmiennictwa na końcu artykułu rzeczywiście świadczy o jej wartości, jest złudne [54].

Nie pojawiły się dotychczas wyniki obiektywnych badań wskazujących, co skłania autora do zamieszczenia lub ominięcia konkretnej pozycji piśmiennictwa [55]; zawsze konieczne jest bardzo radykalne ograniczenie liczby przytoczeń, a tym samym — dokonanie drastycznego, subiektywnego wyboru. Redakcje (czyt. — wydawcy) ograniczają dopuszczalną liczbę cytowań. Oznacza to, że może zabraknąć ważnych publikacji, które „nie zmieściły się”; autor ma przecież pełną dowolność decydowania, które pozostawić, a które opuścić. Co więcej, skłania to do cytowania prac przeglądowych w miejsce licznych prac oryginalnych (jest to zresztą i tak zawsze znacznie wygodniejsze dla autorów). W rezultacie — pomijani są w cytowaniach autorzy rzeczywistych odkryć na rzecz wtórnych przeglądów piśmiennictwa.

Impact factor niweczy podstawowe zasady etyki cytowania w nauce, zgodnie z którymi powinno się powoływać na oryginalne, pierwotne doniesienia, przedstawiające dokonane odkrycia po raz pierwszy [16].

Ponieważ przy obliczaniu JIF nie ma żadnego znaczenia, czy cytowanie odnosi się do pracy oryginalnej czy do przeglądu piśmiennictwa, najwyższe wskaźniki oddziaływania uzyskują pisma publikujące przeglądy, przykładowo: Nature Reviews Genetics ma JIF wyższy (41) niż samo Nature (38 w 2012 roku), które publikuje niezwykle ważne prace oryginalne [16].

Znamienne, że wśród 25 pism biomedycznych o najwyższym JIF aż 60% publikuje tylko prace przeglądowe [56]! Jeżeli zatem dopuścilibyśmy ocenianie autorów wg wartości JIF, autorzy publikowanych tam (i nie tylko tam) przeglądów piśmiennictwa zyskaliby nieporównanie więcej punktów niż autorzy rzeczywistych oryginalnych osiągnięć badawczych — już tylko ten fakt powinien raz na zawsze zdyskwalifikować używanie wskaźnika do oceniana indywidualnych naukowców!

For assessing individual works, a journal IF is simply meaningless [41].

Można też starać się o nieproporcjonalnie wielką liczbę cytowań, stosując atrakcyjny niebanalny tytuł, np. nawiązujący do postaci uwielbianego przez kilka pokoleń Kubusia Puchatka („Patologia w stumilowym lesie...”) [57]. Często przytaczane są wiadomości, które autorzy cytowań oceniają negatywnie (np. wskazuje się ewidentne błędy w czyjejś pracy lub zwraca uwagę na wyjątkowo złe, wyraźnie odbiegające od innych wyniki), co przecież mechanicznie zwiększa punktację takiego źródła, mimo że zawiera ono bezwartościowe lub błędne dane [41, 58, 59].

Wiarygodność liczby cytowań

Poważne publikacje kwestionują bezkrytyczne podejście do liczby cytowań jako bezdyskusyjnie wiarygodnego znacznika wartości publikacji [60].

Firma obliczająca JIF ustaliła arbitralnie, że do wyliczeń bierze się pod uwagę jedynie cytowania w ciągu ostatnich 2 lat. Ignoruje to te osiągnięcia, które swoją wartość zachowują dłużej [53]. Warto więc zastanowić się, ile cytowanych przez nas prac pochodzi z ostatnich 2 lat, szczególnie w dziedzinach klinicznych, a przede wszystkim — jaki odsetek wszystkich swoich cytowań uzyskują publikacje w ciągu 2 pierwszych lat obecności w „obiegu” (w piśmiennictwie). Odpowiedź jest zaskakująca: przeciętny odsetek cytowań uzyskiwany przez prace z zakresu nauk biomedycznych w ciągu 2 pierwszych lat waha się w granicach 5%–8%, a w zakresie nauk matematyczno-fizycznych jest jeszcze niższy — 1%–3% [61]! Wg innego źródła szczytowy okres cytowania to trzeci rok po publikacji; 50% przytoczeń odnotowuje się w ciągu pierwszych 6 lat, a pozostałe 50% — aż do 20 lat po ukazaniu się artykułu [62]. Innymi słowy — zdecydowaną większość swych cytowań publikacje uzyskują poza arbitralnie ustalonym okresem 2-letnim, a ta przytłaczająca większość okazuje się być bez znaczenia przy obliczeniach JIF [63].

Publikacja w Nature podkreśla, że w badanej puli artykułów aż 98,5% zawartości spisów piśmiennictwa pochodziło z okresu późniejszego niż pierwsze 2 lata [64]. Podobny wynik uzyskano w innym badaniu — średnio 2,5% cytowań pochodziło z pierwszych dwóch lat, a ok. 61% — w przebadanym przez autorów okresie 16 lat od publikacji [63].

Citation rates are time-dependent: the older publication, the more likely it is highly cited [30].

Niewątpliwie wartości te różnią się w zależności od dziedziny nauki — w naukach podstawowych jest wyraźniejsza tendencja do cytowania doniesień nowszych niż w dyscyplinach klinicznych.

Przytacza się także wpływ ewidentnych błędów w obliczeniach Science Citation Index, sięgających 7% wszystkich wyników, np. uwzględnianie artykułów wycofanych m.in. z powodu stwierdzenia nierzetelności naukowej lub włączanie do obliczeń cytowań ewidentnie błędnych [65, 66]. Badanie grupy 211 wycofanych artykułów wykazało, że 1/3 ich cytowań, i to niemal wyłącznie pozytywnych, miała miejsce już po fakcie wycofania [67]. Co więcej, szereg prac z udowodnioną nierzetelnością nie zostało formalnie wycofanych z baz danych [68], a więc mogły być one nadal źródłem cytowań.

Nierównomierność cytowań

Podawanie średnich wyników „cytowalności” dla całego pisma nie odzwierciedla, rzecz jasna, prawdziwego wyniku dla poszczególnych zawartych tam publikacji [30, 69].

Przykładowo: jeżeli (w skrajnym przypadku) artykuł A uzyskuje 100 cytowań, a artykuł B — ani jednego, podaje się, że „cytowalność” wynosi 50, co oczywiście nie jest prawdą dla żadnego z nich. O tym, że nie jest to tylko rozważanie teoretyczne, mogą świadczyć dane z jednego z najwyżej cenionych czasopism — Nature. Otóż 90% cytowań użytych do obliczenia JIF pochodziło z zaledwie 25% ukazujących się tam artykułów. Innymi słowy — pozostałych 75% artykułów, które w tym roku opublikowano w Nature, przysporzyło zaledwie 10% cytowań [70, 71]!

Nie trzeba dodawać, że autorzy każdego artykułu w Nature — bez różnicy — mogli chlubić się takim samym JIF!

Według innych badań — przeciętnie 15% artykułów jest źródłem nie mniej niż połowy wszystkich cytowań czasopisma, a „cytowalność” pozostałych, nawet w piśmie o wysokim JIF, może nie być częstsza niż artykułów w piśmie o niższym wskaźniku [72]. Na brak korelacji pomiędzy JIF a rzeczywistą liczbą cytowań poszczególnych artykułów zwraca uwagę nawet twórca wskaźnika E. Garfield: z 38 milionów artykułów opublikowanych w latach 1900–2005 tylko 0,5% zacytowano ponad 200 razy; połowa z tej ogromnej liczby prac nie była cytowana nigdy [73].

Jako kuriozalny przykład braku wiarygodności wskaźnika podaje się w literaturze przedmiotu artykuł opublikowany w Acta Crystallographica, w którym autorzy zawarli nad wyraz sprytne twierdzenie: This paper could serve as a general literature citation... Czytelnicy przyjęli to za dobrą monetę i praca zyskała 6600 cytowań. W następnym roku JIF periodyku wzrósł z 2,05 do 49,92! O niewiarygodności tego wskaźnika — obliczonego wg wszelkich obowiązujących reguł (!) — może świadczyć fakt, że kolejny najczęściej cytowany artykuł z tego pisma został przywołany zaledwie 28 razy [74].

Należy też pamiętać, że do obliczeń wskaźnika nie bierze się pod uwagę innych — poza czasopismami — źródeł, np. cytowań w monografiach, gdzie na końcu rozdziału autorzy powołują się z reguły na najważniejsze prace. Również autorstwo czy też redakcja najbardziej nawet cenionych, o światowym zasięgu monografii i rozdziałów pozostaje poza jakimkolwiek punktowaniem. Jest to kolejny argument świadczący o tym, że JIF nie powinien być stosowany w ocenie dorobku poszczególnych uczonych i ich rangi.

Manipulowanie składowymi wzoru obliczeń

Na wynik obliczenia ma wpływ wartość licznika (im większa, tym lepiej) i mianownika (im mniejsza, tym lepiej). A zatem umiejętne manipulowanie składowymi wzoru może skutkować zaskakującymi wynikami.

Skrajnym przykładem jest znane w środowisku onkologów pismo CA Cancer Journal for Clinicians, w którym w ciągu roku publikowana jest jedynie niewielka liczba prac (a więc mały mianownik!), i to wyłącznie przeglądowych (jak wspomniano poprzednio, szczególnie chętnie cytowanych). W 2011 roku jego JIF wyniósł imponujące > 101, a w 2012 — już > 153 [51]! Był to największy w historii roczny skok wartości wskaźnika — o ok. 52 punkty; osiągnięty zaś został w znacznej mierze dzięki jednemu artykułowi nt. statystyki zachorowań na nowotwory, zacytowanemu 1787 razy [75]. Stanowiło to 26% wszystkich cytowań prac z tego pisma (któż bowiem w swoim artykule o tematyce onkologicznej nie powołałby się na statystykę zachorowań na nowotwory) i równało się ponad 39 punktom JIF. Dla porównania — w tym samym roku Lancet z ponad 21 tysiącami przytoczeń do 547 artykułów uzyskał całkowity JIF również 39 [51].

Gdyby zatem zgodzić się na ocenianie naukowców wg wartości JIF, należałoby przyjąć, że autor jednego artykułu przeglądowego w tym piśmie (obojętnie którego, również takiego, który był nieporównanie rzadziej cytowany) jest „wart” więcej niż ten, który opublikował 15 oryginalnych odkrywczych prac w czołowych światowych pismach o wysokim średnim JIF ok. 10!

Jak wspomniano, podstawowym elementem obliczania JIF jest mianownik ułamka we wzorze, określany jako liczba jednostek „cytowalnych” (citable items). Im mniejszy mianownik, tym wyższy może być JIF. Należy natomiast wyraźnie podkreślić, że teksty określone jako „niecytowalne” (non-citable) i tym samym usunięte z mianownika, pozostawiane są w liczniku i mogą jednocześnie stanowić obfite źródło cytowań! Innymi słowy: „opłaca się” publikować jak najwięcej chętnie cytowanych informacji w formie, w której nie zostaną one uznane za „cytowalne”, a tym samym nie trafią do mianownika [36, 76–79].

Klasyczne jednostki „cytowalne” to pełnotekstowe artykuły oryginalne i przeglądowe, a „niecytowalne” — to teksty klasyfikowane jako np. „redakcyjne”, „listy do redakcji”, „nowości”, „aktualności” itp. Jednak decyzja o tym, co w danym czasopiśmie uznaje się za „cytowalne”, a co nie, należy wyłącznie i bez prawa do dyskusji — do Thomson Scientific [39, 79, 80]!

Przykładowo — w 2006 r. uznano, że zaledwie 20% tekstów zamieszczanych w Lancet to citable items, co pozwoliło na uzyskanie JIF > 25; gdyby zakwalifikowano tak pozostałe teksty, wskaźnik spadłby do ok. 5 [81]! Teksty typu „krótkie doniesienia” (brief communications) w Nature, zawierające najczęściej bardzo istotne, nowatorskie, obficie cytowane doniesienia, nie są przez Thomson uznawane za „cytowalne” i nie uwzględnia się ich w mianowniku [82]. Nie dziwi zatem, że stosunek liczby stron w Nature przeznaczonych na artykuły liczone w mianowniku do pozostałych został zmniejszony przez redakcją z 3:5 w 1977 r. do 1:6 w 1997 r. [76].

Jest tajemnicą poliszynela, że szereg pism (a może raczej wpływowych koncernów wydawniczych?) negocjuje z Thomson Scientific elementy składające się na wzór obliczania JIF; w wyniku tego możliwa jest bardzo znacząca zmiana współczynnika [83–87]. Redaktorzy Public Library of Science Medicine opisali, jak JIF ich pisma wahał się pomiędzy 3 a 11, w zależności od przebiegu negocjacji z Thomson Scientific na temat tego, co należy uznać za „cytowalne” i podsumowali:

Stało się dla nas oczywiste, że proces określania JIF jest nienaukowy i arbitralny. We conclude that science is currently rated by a process that is itself unscientific, subjective and secretive [85].

Różnice pomiędzy dziedzinami i przykłady stronniczości (bias)

Całkowicie błędne jest porównywanie liczby punktów JIF pomiędzy różnymi dziedzinami i specjalnościami. Istnieją zasadnicze różnice w zwyczajach i intensywności cytowania w poszczególnych obszarach wiedzy i specjalnościach; najwyższy współczynnik dla pisma w jednej dziedzinie może być nawet mniejszy niż najniższy w innej [36, 62, 63, 70, 71, 88]. Nieporównanie wyższe współczynniki obserwuje się w obrębie nauk podstawowych niż klinicznych. Z kolei przeciętne nasycenie cytowaniami (citation density) pracy z zakresu biochemii jest dwukrotnie wyższe niż z matematyki, co oczywiście nie pozostaje bez wpływu na wysokość JIF czasopism w tych dziedzinach [89].

Innym zjawiskiem są cytowania krzyżowe (cross-disciplinary citations), np. pomiędzy badaniami podstawowymi a klinicznymi: wyniki badań klinicznych powstają z reguły w oparciu o wyniki badań podstawowych, a nie na odwrót, w związku z tym odniesienia w artykułach klinicznych do prac podstawowych są nieporównanie częstsze niż odwrotnie — z oczywistą korzyścią dla JIF pism z zakresu nauk teoretycznych. [48]. Nierówność ta bynajmniej nie musi wynikać z różniej wartości prac.

Na liczbę cytowań może mieć też wpływ liczba autorów. Uważa się, że im jest większa, tym większa pojawia się liczba autocytowań. Z kolei różnice w przeciętnej liczbie autorów pomiędzy dziedzinami i specjalnościami są wyraźne [90, 91]. Szczególnie widoczne jest to w przypadkach prac przedstawiających wyniki wieloośrodkowych badań klinicznych; miewają one bardzo obszerne listy współautorów, z których każdy nie omieszka dokonać licznych cytowań. Nie ma w tym oczywiście niczego złego, jest to niezbywalne prawo autora, ale nie można ignorować faktu, że przy obliczaniu czynnika oddziaływania praca taka jest na uprzywilejowanej pozycji wobec innej — nie gorszej, ale o mniejszej liczbie autorów.

Niewątpliwy, choć z pozoru niezauważalny jest wpływ sponsorowania badań klinicznych przez przemysł na JIF publikowanych wyników [92, 93]. Publikacje takie najczęściej podają wyniki pozytywne (chętniej cytowane) [94], a jeżeli negatywne, to w „pozytywnym ujęciu” [95]. Wsparte są też intensywnymi działaniami marketingowymi (zamieszczanie reklam, sprzedaż odbitek, publikowanie sponsorowanych suplementów, publikowanie przeglądów ze wskazaniem tych prac, powiadamianie mediów i in.) wzmagającymi zainteresowanie, a tym samym — cytowanie [96–98].

Przykładowo: 32% artykułów w New England Journal of Medicine w latach 2005–2006 dotyczyło badań finansowanych przez przemysł [99], a odbitkę jednej tylko pracy — nt. badania VIGOR o rofecoxibie — sprzedano w nakładzie miliona (!) egzemplarzy [100].

Pisma są żywo zainteresowane takimi pracami, przykładowo — wpływy ze sprzedaży odbitek stanowiły w latach 2005–2006 aż 41% wszystkich dochodów powszechnie szanowanego pisma Lancet (inne czołowe pisma: New Eng J Med, JAMA i Ann Int Med odmówiły autorom publikacji omawiającej to zagadnienie ujawnienia swoich danych) [99].

Czy mogło to pozostawać bez wpływu na proces redakcyjno-recenzyjny?

Richard Smith, były redaktor British Medical Journal, szacuje, że w wyniku opublikowania jednego znaczącego, sponsorowanego przez przemysł badania klinicznego wpływy dla pisma (czyt. — wydawcy) mogą osiągnąć milion dolarów [101], a Richard Horton, były redaktor Lancet, przytacza przykłady, jak z jednej strony firmy kuszą zamówieniem wielkich nakładów odbitek w przypadku szybkiej i bezproblemowej akceptacji pracy przedstawiającej wyniki sponsorowanego przez nich badania klinicznego, a z drugiej — grożą wycofaniem artykułu w przypadku krytycznej lub niespiesznej recenzji [99, 102].

Wpływ globalnych korporacji na politykę wydawniczą jest z pozoru niezauważalny, a w rzeczywistości — znaczny. Opublikowanie w Annals of Internal Medicine krytycznego artykułu nt. roli reklam firm farmaceutycznych przyniosło pismu (wydawcy) stratę w wysokości 1,5 mln dolarów w wyniku wycofania reklam przez przemysł [103, 104]. Randomizowane badania kliniczne, które nie są finansowane przez przemysł, uzyskują co najmniej dwukrotnie mniejszą liczbę cytowań [99].

Nie trzeba chyba dodawać, że przytoczone powyżej dane nie są uwzględniane przy ocenie JIF czasopism.

Nie można też pominąć czynnika proweniencji publikacji, inaczej — bias „narodowościowego” [105–107].

Impact factor zdecydowanie faworyzuje pisma amerykańskie... ponieważ bazy danych zawierają głównie pisma amerykańskie, a Amerykanie z reguły cytują innych Amerykanów [108].

„Polityka” redakcyjna (Editorial policy)

R. Smith, wspomniany już b. redaktor British Medical Journal, z nieukrywanym żalem podsumowuje niekorzystny wpływ zauroczenia wskaźnikiem na zmieniający się kształt i zawartość wielu czasopism:

„Wszystko, co warto i co chciałoby się przeczytać, jest ograniczane na korzyść tego, co może zostać zacytowane” — Everything readable and entertaining is cut in favor of material that will be cited. To znaczy, że pisma przystosowywane są raczej do cytowania niż do czytania [109].

Sposób obliczania JIF może wpływać w istotny sposób na prowadzenie tzw. „polityki” redakcyjnej [56, 109–111]. Może ona zostać podporządkowana regułom starania się o jak najbardziej korzystny stosunek licznika do mianownika we wzorze obliczania JIF; obiektywne przesłanki kwalifikowania prac mogą tym samym zostać zniekształcone [112–114].

Przykładowo: chętnie przyjmowane są do druku prace przeglądowe, a szczególnie te o szerokim spektrum zagadnień i mogące zainteresować szeroki krąg odbiorców, gdyż są one wówczas powszechnie cytowane we „wstępach” i w „omówieniach” innych artykułów — jako pożyteczne (i już gotowe) źródło informacji. Artykuły „na zaproszenie” autorstwa uznanych autorytetów o cenionych nazwiskach, a zarazem sprawnych, publikujących szybko i dużo, mogą być też dobrym źródłem licznych cytowań — z reguły inni chętniej powołują się na „znane nazwisko”, można też przewidywać, że płodny autor w swoich licznych kolejnych artykułach podczas najbliższych 2 lat zechce sam obficie się cytować [56]. Podobnie publikowanie tzw. „gorących” medialnie tematów (hot topics), a szczególnie tych, które mogą zainteresować szeroki krąg (w tym — media), przyniesie określoną korzyść punktową, tym bardziej, że liczą się przecież tylko 2 lata cytowania, a po tym okresie „gorące” tematy tracą ten charakter. Takie prace zyskały już w literaturze przedmiotu sarkastyczny przydomek „przyjazne dla JIF” (JIF-friendly) [56].

Na miano „przyjaznych” nie zasłużą natomiast publikacje bardzo wartościowe, ale których waga doceniana jest stopniowo i cytowane są przez szereg kolejnych lat.

Szczególnie szkodliwy może być niechętny stosunek redakcji do opublikowania dobrej pracy oryginalnej, przedstawiającej istotne własne osiągnięcia badawcze, jeśli dotyczy ona wąskiego zagadnienia lub specjalności o mniejszej liczbie naukowców — i tym samym nie może liczyć na obfite cytowania [16]. Z kolei kazuistyka jest cytowana rzadko — dlatego niektóre redakcje ograniczają lub wręcz a prori odrzucają takie teksty.

Przykładem innej manipulacji może być usunięcie streszczenia lub wykazu piśmiennictwa z artykułu, w którym ewidentnie obecność takich elementów jest uzasadniona — tylko po to, aby został on przez Thomson Scientific uznany za „niecytowalny” i nie znalazł się w mianowniku [56].

Skutecznym sposobem wpływania na dane decydujące o JIF są różne, czasem z pozoru niezauważalne sposoby autocytowania [115, 116]. Niektórzy redaktorzy dyskretnie, acz stanowczo skłaniają do korygowania spisów piśmiennictwa w kwalifikowanych pracach, np.: „prosimy o wyczerpujące uzupełnienie spisu o artykuły na ten temat, które w ostatnim czasie ukazały się w naszym piśmie” (oczywiście nie chodzi tu o usunięcie rzeczywistych niedociągnięć wskazanych przez recenzenta, a o dodanie prac, które nie wnoszą istotnych danych, ale mają „właściwą” proweniencję) [56, 117–119]. W jednym z badań 86% respondentów uznało taki proceder za naganny, a zarazem 57% potwierdziło, że wysyłając do czasopisma pracę, „zadbało” o jego obszerną reprezentację w bibliografii, co może „pomóc” w kwalifikacji do druku [120]. Innym sposobem „ciułania” punktów może być publikowanie pod koniec roku „przeglądu najciekawszych prac” we własnym piśmie, z obfitym ich cytowaniem; podobnie można dobierać cytowania w działach: editorials lub reader’s comments itp. [121].

Przykładem sprytnego, mało znanego manewru, który ma wpływać na JIF, jest publikowanie tych prac, które mają szanse na dużo cytowań, na początku roku kalendarzowego. Ponieważ w liczniku wzoru JIF liczą się wszystkie cytowania z dwóch poprzednich lat kalendarzowych (a nie faktycznych), taka publikacja, znajdująca się „w obiegu” przez niemal cały ten okres, ma niemal dwukrotnie większą szansę na uzyskanie znacznej liczby cytowań, niż gdyby ukazała się pod koniec roku (praca ukazująca się w styczniu ma na to o 11 mies. więcej niż ukazująca się w grudniu tego samego roku) (ryc. 1) [29, 54, 76].

Rycina 1. Praca ukazująca się w styczniu (A) ma niemal dwukrotnie więcej czasu na pozyskiwanie cytowań w 2-letnim okresie używanym do obliczeń JIF niż praca (B), ukazująca się w grudniu tego samego roku

Niesłuszne a nagminne jest odmawianie przyjęcia prac z wynikami negatywnymi, niezależnie od ich wartości, a tylko dlatego, że takie wyniki są niechętnie cytowane [56].

Wszystkie powyżej opisane (i inne) manewry nazywane są w literaturze przedmiotu „masowaniem JIF” (massaging JIF), lub wręcz „graniem w grę JIF” (play the JIF game) [85, 122, 123]. Zręczną polityką redakcyjną można uzyskać efekt znaczącego powiększenia JIF; nawet niewielki wzrost jest „cenny”, zwłaszcza dla niżej punktowanych pism — a warto pamiętać, że około połowy wszystkich indeksowanych czasopism ma JIF < 1 [56].

Committee on Publication Ethics (COPE) uważa manipulacje przy JIF za nieetyczne i ostrzega redaktorów przed ich stosowaniem [124], co pośrednio wskazuje, że taki proceder ma miejsce.

Dyktat JIF może prowadzić do nierzetelności naukowej

Nieustanna presja na zdobywanie punktów prowadzi do skupiania się na „sprawdzonych” obszarach badań, interesujących możliwie szeroki krąg czytelników (czyt. — dużo cytowań), z zaniedbywaniem dziedzin ważnych z punktu widzenia postępu wiedzy, lecz o wąskim kręgu zainteresowanych (czyt. — mało cytowań), gdzie wyniki mogą być niepewne bądź czeka się na nie długo lub mogą okazać się negatywne.

W skrajnych przypadkach „dyktatura JIF” prowadzi do nierzetelności lub wręcz nieuczciwości [125–128]. Trudną do zaakceptowania sytuacją jest np. płacenie w niektórych krajach gratyfikacji za uzyskanie publikacji w piśmie z wysokim JIF, np. w Chinach rocznie może to być równowartość 50 tys. dolarów, w Pakistanie — od 1 do 20 tys.; w Niemczech 1 punkt JIF może być wart premii 1000 euro, w Finlandii szpital może otrzymać równowartość 7000 dolarów za każdy punkt JIF uzyskany przez swoich pracowników itd. [129–133].

Gratyfikacji finansowych za obiektywną wartość i wiarygodność wyników nie przewidziano.

Skoro w miejsce oceny merytorycznej stosowane jest podliczanie punktów (i to one są premiowane), aktywność naukowców skupia się na gorączkowym poszukiwaniu sposobów podwyższenia wskaźników parametrycznych.

U podstaw takich działań leży ślepa wiara w możliwość ilościowego pomiaru wartości badań naukowych. Scientists are considered as ‘knowledge producers’; im więcej publikacji, tym lepiej [134].

W miejsce stawiania hipotez badawczych i poszukiwania odpowiedzi dominować zaczyna gorączkowe poszukiwanie „gdzie i za ile?” ulokować artykuł. Powstają tzw. „spółdzielnie autorskie” — swoista wymiana usług (paper trading): „ja cię dopiszę, ale ty nie zapomnij o mnie przy swojej najbliższej publikacji”. Premiowana może być w ten sposób przede wszystkim umiejętność nawiązywania kontaktów i swoista „operatywność”. Skrajnym, wręcz alarmującym przykładem jest kupowanie współautorstwa artykułów w indeksowanych pismach — przytaczany przykład z Chin to wydatek 1600–26 000 dolarów, w zależności od wartości JIF pisma, w którym ukaże się publikacja! [125].

Osobnym zagadnieniem jest posuwanie się — dla zdobycia upragnionych punktów — do zawłaszczenia cudzej własności intelektualnej, nierzetelności (scientific misconduct), a niekiedy wręcz do fałszowania wyników badań.

„Święty Graal” impact factor jest jednym z czynników zachęcających do nierzetelności naukowej [134].

Trudno oszacować, ile przypadków ewidentnej nieuczciwości naukowej w dążeniu do opublikowania — za wszelką cenę — pracy w wysoko punktowanym piśmie było wynikiem jedynie próżności i poszukiwania sławy, a ile — chłodną kalkulacją i próbą wpływania na wskaźniki parametryczne [135].

Presja (pojawiają się określenia — impaktofrenia, IF-mania) nie usprawiedliwia winowajców, ale — przyznajmy — do wielu przypadków nierzetelności nie doszłoby, gdyby nie konieczność stałego poszukiwania źródeł punktów.

Twórca wskaźnika E. Garfield sam teraz ostrzega przed stosowaniem JIF do oceny pojedynczych artykułów lub badaczy, przypominając, że nie do tego celu został stworzony [11, 73, 136, 137].

Bezkrytyczny stosunek do JIF i skłonność do używania go — niezgodnie z przeznaczeniem — do oceny wyników badań, indywidualnych naukowców i instytucji badawczych widoczne są szczególnie (choć oczywiście nie wyłącznie) w krajach, w których nauka niekoniecznie plasuje się w czołówce światowej [138, 139].

Polska niestety znajduje się w tej grupie, a działalność Ministerstwa Nauki i Szkolnictwa Wyższego ostatnich lat w zakresie wszechobecnej i postępującej „parametryzacji” wyraźnie tę sytuację pogłębiła.

JIF — oręż urzędnika

Nasuwa się oczywiste pytanie: skoro tak wielu wybitnych uczonych, wspartych autorytetem znaczących instytucji naukowych, poddaje miażdżącej krytyce praktykę niewłaściwego używania JIF do oceny wyników badań naukowych, indywidualnych badaczy, a także ośrodków badawczych — dlaczego praktyka ta wciąż jeszcze pokutuje?

Głównym bastionem oporu jest przede wszystkim (szeroko rozumiana) administracja.

System przemawia do wyobraźni urzędnika, który nie zna ani przedmiotu, ani czasopisma [54].

Urzędnicy bronią zawzięcie metody, która pozwala (jak im się wydaje) ująć naukę — dziedzinę jakże złożoną i trudną w ocenie — w postaci prostych rachunków.

Biurokraci tak kochają wskaźniki, gdyż sądzą, że mając te liczby, potrafią sami, bez pytania „jajogłowych” o pomoc, robić rankingi uczelni, wydziałów i ludzi [4].

Można przecież, nie mając większego pojęcia o dziedzinie, „od ręki” ustalić, że prof. X jest dwa razy więcej wart niż prof. Y, że wyniki badania naukowego A są pięciokrotnie wartościowsze od wyników badania B, że dr C „dojrzał” już do namaszczenia go habilitacją, że ośrodek Z powinien dostać większą dotację od ośrodka V itd.

Niestety, jest to stała praktyka, szczególnie wśród rządowych gremiów decydujących o funduszach oraz wśród instytucji akademickich uprawnionych do oceny naukowców i przydzielania grantów [78]. Jest to bureaucratic obsession of institutions, funding bodies and government bodies with ‘objective metrics’ for ranking ‘performance’. This obsession has led to the increasing abuse of metrics as a surrogate for the scholarly value of work [53].

Ponieważ to w rękach administracji najczęściej spoczywają decyzje finansowe i promocyjne, świat nauki bądź nieświadomie, bądź pod presją ulega takim praktykom.

San Francisco Declaration on Research Assessment — DORA

Im wyższa ranga indywidualnych badaczy i im większy autentyczny prestiż organizacji naukowych, tym większa dezaprobata dla fetyszu, lub jak kto woli — „terroru” JIF. Nic więc dziwnego, że narastająca od lat krytyka przekształciła się w zorganizowany ruch oporu właśnie w kręgu wybitnych uczonych, redaktorów wysoko cenionych czasopism i szanowanych instytucji naukowych.

W grudniu 2012 r. podczas Kongresu American Society of Cell Biology w San Fracisco nie tylko poddano krytyce nagminne niewłaściwe stosowanie JIF, ale podjęto konkretne działania organizacyjne.

Uznano zgodnie, że Journal Impact Factor… stał się obsesją świata nauki [13].

W maju 2013 r. ukazała się San Francisco Declaration on Research Assessment (DORA) ze znamiennym podtytułem: Putting science into the assessment of research [43].

Deklaracja ta zaczyna się od słów:

Pojawiła się paląca potrzeba naprawy sposobów, jakimi oceniane są wyniki badań naukowych przez organizacje finansujące, instytucje akademickie i inne…,

a wśród głównych celów wymienia: the need to eliminate use of journal-based metrics, such as impact factors, in funding, appointment and promotion considerations.

Sygnowało ją pierwotnie 155 indywidualnych badaczy i redaktorów pism oraz 82 instytucje. Jednoznacznego poparcia udzielili od początku m.in. redaktorzy tak poważnych czasopism jak Science, Molecular Biology of Cell, Molecular Oncology, EMBO Reports, Journal of Cell Biology, Journal of Experimental Medicine, Proceedings of the National Academy of Sciences, FEBS Journal oraz instytucje, m.in. Public Library of Science (PLoS), European Association of Science Editors, American Society for Cell Biology, Wellcome Trust, Federation of European Biochemical Societies, American Society for Advancement of Science (wydawca Science), Higher Education Founding Council for England, Howard Hughes Medical Institute i in.

Wielce znaczące było również jednoznaczne wsparcie ze strony laureatów Nagrody Nobla, byli to: Sir Paul Nurse (Nobel 2001, a zarazem prezydent The Royal Society, które również jako instytucja poparło Deklarację), Sir Tom Hunt (Nobel 2001), Sir John Gurdon (Nobel 2012) i Randy Schekman (Nobel 2013, który ponadto w grudniu 2013 r. zamieścił w poczytnej gazecie Guardian artykuł o prowokującym tytule: „W jaki sposób pisma takie jak Nature, Cell lub Science niszczą naukę?” [135].

Obecnie San Francisco Declaration on Research Assessment (DORA) ma już ponad 12 500 indywidualnych sygnatariuszy i akces niemal 600 instytucji, organizacji i czasopism naukowych [43]. Komentarz wydaje się zbyteczny.

Reakcja Thomson Scientific była enigmatyczna [140], natomiast Philip Campbell, redaktor naczelny Nature, przyznał, iż mimo tego, że pismo publikowało w przeszłości wiele krytycznych artykułów nt. niewłaściwego używania JIF, nie jest jeszcze gotowe do podpisania Deklaracji. Na komentarz nie trzeba było długo czekać:

„Nature” jest przedsięwzięciem komercyjnym, którego powinnością jest maksymalizowanie zysku i wartości rynkowej, a oba te czynniki zależą od IF. DORA może tę zależność podważyć [13].

Ten komentarz wiele mówi o istocie JIF — warto go przytoczyć tym, którzy postrzegają wiodące światowe czasopisma naukowe jako bezinteresowne, nieskalane świątynie nauki.

W połowie 2013 r. Bruce Alberts, redaktor naczelny Science i jeden z głównych animatorów DORA, opublikował w swym niezwykle wysoko cenionym piśmie artykuł redakcyjny podsumowujący tło i ideę powstania Deklaracji [141]. Cały tekst wart jest lektury, dla zachęty przytaczam jedynie wybrane fragmenty:

Aby naprawić nieprawidłowości w sposobie oceny dorobku naukowego, celem DORA jest zaprzestanie używania „journal impact factor” w ocenie pracy indywidualnych naukowców...

Nie wolno używać impact factor jako surogatu oceny jakości poszczególnych artykułów naukowych, dorobku poszczególnych badaczy ani przy kwalifikowaniu do pracy, w awansach lub decyzjach dotyczących finansowania...

Celem IF nie było nigdy ocenianie indywidualnych naukowców… natomiast jest on coraz częściej błędnie używany do tego celu...

Błędne używanie IF ma wpływ wysoce destrukcyjny, zachęcając do manipulowania danymi bibliometrycznymi, zniechęca też pisma do publikowania ważnych doniesień naukowych w dziedzinach, które są rzadziej cytowane…

System, w którym to punkty decydują o ocenie dorobku naukowego, odstręcza od podejmowania ryzykownych, a potencjalnie przełomowych tematów…

Taki metryczny system blokuje innowacyjność… zachęcając do publikowania w dziedzinach będących już w obszarze zainteresowania bardzo wielu badaczy, gdyż tylko w takiej populacji można oczekiwać znaczącej liczby cytowań.

Tylko najodważniejsi młodzi naukowcy zechcą prowadzić badania w wąskich dziedzinach… dopóki mechaniczna ocean punktowa nie zostanie wyeliminowana…

Rekomendacje DORA mają krytyczne znaczenie dla uzdrowienia nauki [141].

Wiedza na temat powstania i idei San Francisco Declaration on Reasearch Assessment (DORA) jest jeszcze w Polsce znikoma, a „opór materii” — znaczny. Tym bardziej należy podkreślić akces pierwszych ważnych instytucji i osób. Informacja o przystąpieniu Międzynarodowego Instytutu Biologii Molekularnej i Komórkowej w Warszawie zawiera następujące ważkie zdanie:

The Declaration epitomizes the current, civilized trend in an evaluation of research quality on the principle of merit and not metrics, like the two-year impact factor (JIF), a dominant bibliometric indicator widely misunderstood therefore also widely misused by the scientific community, especially in the assessment of individual work and scientist, for which it was never intended [142].

Nowotwory J Oncol znajdują się także — toutes proportions gardées — wśród instytucjonalnych, a ich redaktor — wśród indywidualnych sygnatariuszy Deklaracji.

Epilog

Rolą nauki nie jest produkowanie punktów — jest nią stawiane pytań i szukanie odpowiedzi, rozwiązywanie problemów, wpływanie na rozwój, jakość życia… Musi też być miejsce na porażkę, jeśli myśl ma być swobodna, a nie krążyć wokół zdobycia punktów [143].

Młody naukowiec już na starcie ma dylemat: czy powinien w swej działalności stawiać hipotezy badawcze, poszukiwać nowych dróg i horyzontów, czy raczej próbować coś ulokować w piśmie z wysokim JIF. Nieustanna pogoń za uzyskaniem takiej publikacji zyskała już w świecie nauki ironiczny przydomek — syndrom CNS (od tytułów pism: Cell, Nature i Science) [144].

Rozwój kariery naukowej badaczy zależy bardziej od tego, gdzie opublikowali swoje prace, niż od tego — co opublikowali [89].

Aplikujący o granty lub stanowiska liczą więc skrupulatnie swój punktowy „dorobek” do trzeciego miejsca po przecinku! [36].

Sytuacja jest alarmująca, gdy młodzi naukowcy zapytani o swoje najważniejsze osiągnięcie naukowe odpowiadają, że opublikowali pracę w „wysoko punktowanym czasopiśmie”... Ci młodzi naukowcy stali się już kolekcjonerami punktów... [5].

Zdecydowanie jestem przeciwny takim karykaturalnym opisom dorobku naukowego, jak...: „Sumaryczny impact factor moich publikacji naukowych wg listy JCR wynosi XXX, sumaryczna liczba punktów MNiSzW/KBN jest równa XXX, a IC — XXX. Liczba cytowań moich prac według bazy Web of Science jest równa XXX” [6].

Nic dodać, nic ująć.

Konflikt interesów: autor jest redaktorem naczelnym czasopisma Nowotwory Journal of Oncology

Prof. dr hab. med. Edward Towpik

Warszawski Uniwersytet Medyczny

Centrum Onkologii — Instytut im. Marii Skłodowskiej-Curie w Warszawie

redakcja@coi.waw.pl

Otrzymano i przyjęto do druku: 18 sierpnia 2015 r.

Piśmiennictwo

1. https://en.wikipedia.org/wiki/Goodhart%27_law.

2. Brumback RA. Worshipping false idols: the impact factor dilemma. J Child Neurol 2008; 23: 365–367.

3. Jadacki J. Czy Kopernik zasługiwałby na tytuł profesora? O tym, jak oceniać naukowców? Nowotwory J Oncol 2012; 62: 134–138.

4. Wróblewski AK. Czas wrócić do rozsądku. Nowotwory J Oncol 2013; 63: 66–67.

5. Żylicz M. Kiedy zniesienie habilitacji będzie stymulować jakość uprawianej nauki w Polsce? Nowotwory J Oncol 2015; 65: 298–301.

6. Brzeziński JM. O konieczności utrzymania habilitacji w Polsce. Nowotwory J Oncol 2015; 65: 292–297.

7. Oświadczenie Europejskiego Stowarzyszenia Redaktorów Naukowych (European Association of Science Editors — EASE) w sprawie niewłaściwego stosowania wskaźników oddziaływania (IF — impact factors). Nowotwory J Oncol 2012; 62: 139–140.

8. Deklaracja z San Francisco nt. Oceny Badań Naukowych (DORA): czy to początek końca dotychczasowej metody oceny parametrycznej? Nowotwory J Oncol 2013; 63: 501–504.

9. Garfield E. Citation indexes to science: a new dimension in documentation through association of ideas. Science 1955; 122: 108–111.

10. Garfield E. Citation analysis as a tool in journal evaluation. Science 1972; 178: 471–479.

11. Garfield E. The agony and the ecstasy — the history and meaning of the journal impact factor. http://garfield.library.upenn.edu/papers/jifchicago2005.pdf.

12. Smoller BR. Impact factor: certainly a factor, but just whom does it impact? J Cut Pathol 2006; 33: 458–4461.

13. Garwood J. Time to change how the research is assessed. Lab Times 2013; 5: 18–23.

14. Heindel W, Adam G, Hamm B i wsp. A game without rules: the impact factor system. Fortschr Roentgenstr 2013; 185: 697–698.

15. Willcox AJ. Rise and fall of the Thomson impact factor. Epidemiology 2008; 19: 373–374.

16. Moustafa K. The disaster of the impact factor. Sci Eng Ethics 2015; 21: 139–142.

17. PLoS Medicine Editorial. The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Medicine 2006; 3: e291.

18. Brembs B, Button K, Munafo M. Deep impact: unintended consequences of journal rank. Front Human Neurosci 2013; 7: 291.

19. Abbasi K. Why journals can live without impact factor and cluster bombs. J Royal Soc Med 2007; 100: 113.

20. Seglen PO. Why the impact factor of journals should not be used for evaluating research? BMJ 1997; 314: 498–502.

21. European Association of Science Editors Impact Factor Statement. http://www.ease.org.uk/publications/impact-factor-statement.

22. Kumar V, Upadhyay S, Mehdi B. Impact of impact factor in biomedical research, its use and misuse. Singapore Med J 2009; 50: 752–755.

23. Moed H, van Leeuwen TN. Impact factor can mislead. Nature 1966; 381: 186.

24. Mishra BK, Patel S. On the controversy of impact factor. Curr Sci 2009; 96: 324.

25. Rey-Rocha J, Martin-Sempere MJ, Martinez-Frias J i wsp. Some misuses of journal impact factor in research evaluation. Cortex 2001; 37: 595–597.

26. Brumback RA. Worshiping false idols: the impact factor dilemma. J Child Neurol 2008; 23: 365–367.

27. Green JB. Limiting the impact of the impact factor. Science 2008; 322: 1463.

28. Citrome I. Impact factor? Shmimpact factor! The journal impact factor, modern day literature search and the publication process. Psychiatry 2007; 4: 54–57.

29. Citrome I. How we rate: is impact factor the most important measure? Int J Clin Practice 2013; 67: 819–820.

30. Marx W, Bornmann L. Journal Impact Factor: “the poor man’s citation analysis” and alternative approaches. Eur Sci Editing 2013; 39: 62–63.

31. Adam D. The counting house. Nature 2002; 415: 726–729.

32. Simons K. The misused impact factors. Science 2008; 322: 165.

33. Vanclay JK. Impact factor: outdated artefact or stepping-stone to journal certification? Scientometrics 2012; 92: 211–238.

34. Diamandis EP. Journal Impact Factor: it will go away soon. Clin Chem Lab Med 2009; 47: 1317–1318.

35. Van Noorden R. Transparency promised for vilified impact factor. Nature 2014 http://dx.doi.org/10.1038/nature.2014.15642.

36. Pulverer B. Impact fact-or fiction? EMBO Journal 2013; 32: 1651–1652.

37. Hecht F, Hecht BK, Sandberg AA. The journal “impact factor”: a misnamed, misleading, misused measure. Cancer Genet Cytogenet 1998; 104; 77–81.

38. Van Noorden R. Metrics: a profusion of measures. Nature 2010; 465: 864–866.

39. Porta M, Alvarez-Dardet C. How come scientists uncritically adopt and embody Thomson’s bibliographic impact factor? Epidemiology 2008; 19: 370–371.

40. Bornmann L, Mutz R. Growth rates of modern science: a bibliometric analysis based on the number of publications and cited references (2014) http://arXiv:1402.4578.

41. Jacobs H. Dear DORA. EMBO Reports 2013; 14: 947.

42. Rossner M, Van Epps H, Hill E. Show me the data. J Cell Biol 2007; 179: 1091–1092 oraz: J Exp Med 2007; 204: 3052–3052 oraz: J Gen Physiol 2008; 131: 3–4 (publikacje równolegle).

43. http://am.ascb.org/dora.

44. Swaan PW. Science beyond impact factors. Pharm Res 2009; 26: 743–745.

45. Rossner M, Van Epps H, Hill E. Irreproducible results: a response to Thomson Scientific. J Cell Biol 2008; 180: 254–255.

46. Hernan M. Epidemiologists (of all people) should question journal impact factors. Epidemiology 2008; 19: 366–368.

47. Directory of Open Access Journals. Good practice guidelines for open access publishers. http://doaj.org/publishers.

48. Liesegang TJ. Revealing the faults in medical journals. Arch Immunol Ther Exp 2009; 57: 75–83.

49. Endo A, Kuroda M, Tsujita Y. ML-236A, ML-236B and ML-236C, new inhibitors of cholesterogenesis produced by Penicillium citrinium J Antibiotics (Tokyo) 1976; 29: 1346–1348.

50. Rey-Rocha J, Martin-Sempere ML, Lopez-Vera F i wsp. English versus Spanish in science evaluation. Nature 1999; 397: 14.

51. Brink PA. Article visibility: journal impact factor and availability of full text in PubMed Central and open access. Cardiovasc J Afr 2013; 24: 295–296.

52. Adler R, Ewing J, Taylor P. Citation statistics. A report from the International Mathematical Union. 2008. www.mathunion.org/publications/report/citationstatistics.pdf

53. Johnson MH, Cohen J, Grudzinskas G. The use and abuse of bibliometric. Reprod Biomed Online 2012; 24: 485–486.

54. Kirchhof B, Bornfeld N, Grehn F. The delicate topic of the impact factor. Graefe’s Arch Klin Exp Ophtalmol 2007; 245: 925–927.

55. Mac Robert MH, Mac Roberts BR. Citation counts. Nature 1998; 327: 456.

56. Falagas ME, Alexiou VG. The top ten in journal impact factor manipulation. Arch Immunol Ther Exp 2008; 56: 223–226.

57. Shea SE, Gordon K, Hawkins A i wsp. Pathology in the Hundred Acre Wood: a neurodevelopmental perspective on A.A. Milne. Canad Med Assoc J 2000; 163: 1557–1559.

58. Feetham L. Can you measure the impact of your research? Veterinary Record 2015; 176: 542–543.

59. Jackson G. Never mind the content, measure the impact: spin bowling for journal impact factors vs. the importance of patient impact. Int J Clin Practice 2010; 64: 1461–1462.

60. Eyre-Walker A, Stoletzki N. The assessment of science: the relative merits of post-publication review, the impact factor and the number of citations PLoS Biology 2013; 11; e1001675.

61. van Nierop E. Why do statistical journals have low impact factors? Statist Neerlandica 2009; 63: 52–62.

62. Amin M, Mabe M. Impact factors: use and abuse. Medicina (B. Aires) 2003; 63: 347–354.

63. Loonen MP, Hage JJ, Kon M. Value of citation numbers and impact factors for analysis of plastic surgery research. Plast Reconstr Surg 2007; 120: 2082–2091.

64. Krell FT. Why impact factors don’t work for taxonomy? Nature 2002; 415: 957.

65. Moed HF. The impact-factor debate: the ISI’s uses and limits. Nature 2002; 415: 731–732.

66. Pfeifer MP, Snodgrass GL. The continued use of retracted, invalid scientific literature. JAMA 1990; 263: 1420–1423.

67. Gabehart ME. An analysis of citations to retracted articles in scientific literature. http://hdl.handle.net/1901/199.

68. Couzin J, Unger K. Scientific misconduct. Cleaning up the paper trail. Science 2006; 312: 38–43.

69. Walter G, Bloch S, Hunt G i wsp. Counting on citations: a flawed way to measure quality. Med J Aust 2003; 178: 280–281.

70. Not-so-deep impact. Nature 2005; 435: 1003–1004.

71. Deng K, Huang Y. Impact angle of an academic journal. Current Sci 2013; 105: 755–766.

72. Seglen PO. Causal relationship between article citedness and journal impact. J Am Soc Inf Sci 1994; 45: 1–11.

73. Garfield E. The history and meaning of the journal impact factor. JAMA 2006; 295: 90–93.

74. Grant B. New impact factors yield surprises. The Scientist 2010 (www.the-scientist.com/articles.view/articleNo/29093.

75. Jemal A, Bray F, Center MM i wsp. Global cancer statistics. CA Cancer J Clin 2011; 61: 69–90.

76. Epstein D. Impact factor manipulation. The Write Stuff 2007; 16: 133–134.

77. McVeigh ME, Mann SJ. The journal impact factor denominator: defining citable (counted) items. JAMA 2009; 302: 1107–1109.

78. Moed HF, van Leeuwen TN. Impact factors can mislead. Nature 1996; 381: 186.

79. Joseph KS. Quality of impact factors of general medical journals. BMJ 2003; 326: 283.

80. Rossner M, van Epps H, Hill E. Show me the data. J Cell Biol 2007; 179: 1091–1092.

81. Brumback RA. Worshipping false idols: the impact factor dilemma. J Child Neurol 2008; 23: 365–367.

82. Golubic R, Rudes M, Kovacic N i wsp. Calculating impact factor: how bibliographical classification of journal items affects the impact factor of large and small journals. Sci Eng Ethics 2008; 14: 41–49.

83. Chew M, Villanueva EV, Van Der Weyden MB. Life and times of the impact factor: retrospective analysis of trends for seven medical journals (1994–2005) and their Editors’ views. J R Soc Med 2007; 100: 142–150.

84. Joseph KS, Hoey J. CMAJ’s impact factor: room for recalculation. CMAJ; 1999; 161: 977–978.

85. The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Medicine 2006; 3: e291.

86. Brown H. How impact factor changed medical publishing — and science. BMJ 2007; 334: 561–564.

87. Smith R. Commentary: the power of the unrelenting impact factor — is it a force for good or harm? Int J Epidem 2006; 35: 1129–1130.

88. Postma E. Inflated impact factors? The true impact of evolutionary papers in non-evolutionary journals. PLoS One 2007; 2: e999.

89. Oh HC, Lim JF. Is the journal impact factor a valid indicator of scientific value? Singapore Med J 2009; 50: 749–751.

90. Salla SD, Brooks J. Multi-authors’ self-citation: a further impact factor bias? Cortex 2008; 44: 1139–1145.

91. Feetham L. Can you measure the impact of your research? Vet Rec 2015; 176: 542–543.

92. Kulkarni AV, Busse JW, Shams I. Characteristics associated with citation rate of the medical literature. PLosOne 2007; 2: e403.

93. Conen D, Torres J, Ridkker PM. Differential citation rates of major cardiovascular clinical trials according to source of funding: a survey from 2000 to 2005. Circulation 2008; 118: 1321–1327.

94. Lexchin J, Bero LA, Djulbergovic i wsp. Pharmaceutical industry sponsorship and research outcome and quality: systematic review. BMJ 2003; 326: 1167–1170.

95. Boutron I, Dutton S, Ravaud P i wsp. Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA 2010; 303: 2058–2064.

96. Smith R. Medical journals are an extension of the marketing arm of pharmaceutical companies. PLoS Medicine 2005; 2: e138.

97. Steinman MA, Bero LA, Chren M i wsp. Narrative review: the promotion of gabapentin: an analysis of internal industry documents. Ann Int Med 2006; 145: 284–293.

98. PLoS Medicine Editors. Ghostwriting: the dirty little secret of medical publishing that just got bigger. PLoS Med 2009; 6: e1000156.

99. Lundh A, Barbateskovic M, Hróbjartsson A i wsp. Conflict of interest at medical journals: the influence of industry-supported randomised trials on journal impact factors and revenue — cohort study. PloS Med 2010; 7: e1000354.

100. Smith R. Lapses at the New England Journal of Medicine. J Roy Soc Med 2006; 99: 380–382.

101. Smith R. Medical journals and pharmaceutical companies: uneasy bedfellows. BMJ 2003; 326: 1202–1205.

102. House of Commons Health Committee. The influence of the pharmaceutical industry. Fourth report of session 2004–2005. Vol. II. 2005. http://www.parliament.the-stationery-office.co.uk/pa/cm200405/cmselect/cmhealth/42/42ii.pdf .

103. Wilkes MS, Doblin BH, Shapiro MF. Pharmaceutical advertisements in leading medical journals: experts’ assessments. Ann Intern Med 1992; 116: 912–919.

104. Lexchin J, Light DW. Commercial influence and the content of medical journals. BMJ 2006; 332: 1444–1447.

105. Meneghini R, Packer AL, Nassi-Calo L. Articles by Latin American authors in prestigious journals have fewer citations. PLosOne 2008; 3: e3804.

106. Mohallem JR, da Fonseca NE. Brazilian impact factor of physics journal — the third side of the coin. Ann Braz Acad Sciences 2015; 87: 1233–1238.

107. Joyce J, Rabe-Hesketh S, Wessely S. Reviewing the reviewers: the example of chronic fatigue syndrome. JAMA 1998; 280; 264–266.

108. Smith R. Beware the tyranny of impact factors. J Bone Joint Surg (Br) 2008; 90: 125–126.

109. Smith R. Commentary: the power of the unrelenting impact factor — is it a force for good or harm? Int J Epidem 2006; 35: 1129–1130.

110. Franck G. Scientific communication: a vanity fair? Science 1999; 286: 53–55.

111. Smith R. Journal accused of manipulating impact factor. BMJ 1997; 314: 461.

112. Monastersky R. The number that’s devouring science. Chron Higher Ed 2005; 52: A12–A13.

113. Brown H. How impact factors changed medical publishing — and science BMJ 2007; 334: 561–564.

114. Martyn C. Advice to a new editor. BMJ 2007; 334: 586.

115. McVeigh ME. Journal self-citation in the Journal Citation Reports — Science Edition (2002): a citation study from Thomson ISI. http://www.isinet.com/media.presentrep/essayspdf/selfcitationinjcr.pdf.

116. Metcalfe NB. Journal impact factors. Nature 1995; 77: 260–261.

117. Mahian O, Wongweises S. Is it ethical for journals to request self-citation? Sci Eng Ethics 2015; 21: 531–533.

118. Falagas ME, Alexiou VG. Editors may inappriopriately influence authors’ decisions regarding selection of references in scientific articles Int J Impot Res 2007; 19 443–445.

119. Sevinc A. Manipulating impact factor: an unethical issue or an editor’s choice. Swiss Med Wkly 2004; 134: 410.

120. Wilhite AW, Fong EA. Scientific publications. Coercive citation in academic publishing. Science 2012; 335: 542–543.

121. Langdon-Neuner E. More ways editors can improve impact factors. The Write Stuff 2007; 16: 134.

122. Rogers LF. Impact factor. The numbers game. Am J Roentgenol 2002; 178: 541–542.

123. Tse H. A possible way out of the impact-factor game. Nature 2008; 454: 938–939.

124. Committee on Publication Ethics. Manipulation of a journal’s impact factor (2003) http://www.Publicationethics.org.uk/reports.

125. Hvistendahl M. China’s publications bazaar. Science 2013; 342: 1035–1039.

126. Van Noorden R. Brazilian citation scheme outed. Nature 2013; 500: 510–511.

127. Bhattacharjee Y. Citation impact. Saudi universities offer cash in exchange for academic prestige. Science 2011; 334: 1344–1345.

128. Fang FC, Steen RG, Casadevall A. Misconduct accounts for the majority of retracted scientific publications. Proc Nat Ac Science USA 2012; 109: 17028–17033.

129. Fuyuno I, Cyranoski D. Cash for papers: putting a premium on publication. Nature 2006; 441: 792.

130. Al-Awqati Q. Impact factors and prestige. Kidney Int 2007; 71: 183–185.

131. Wilcox AJ. Rise and fall of the Thomson impact factor. Epidemiology 2008; 19: 373–74.

132. Adams D. The counting house. Nature 2002; 415: 726–29.

133. Shao J, Shen H. The outflow of academic papers from China: why is it happening and can it be stemmed? Learn Publ 2011; 24: 95–97.

134. Have HT, Gordijn B. Publications and rejections. Med Health Care Philos 2015; 18: 167–170.

135. Schekman R. How journals like Nature, Cell or Science are damaging science? Guardian 2013, http://www.theguardian.com/commentisfree/2013/dec/09/how-journals-nature-science-cell-damage-science.

136. Garfield E. How can impact factors be improved? BMJ 1996; 313: 411–413.

137. Garfield E. Journal impact factor: a brief review. CMAJ 1999; 161: 979–980.

138. Ferreira RC, Antoneli F, Briones MR. The hidden factors in impact factors: a perspective from Brazilian science. Front Genet 2013; 4: 130.

139. Macilwain C. Halt the avalanche of performance metrics. Nature 2013; 500: 255.

140. Thomson Reuters statement regarding the San Francisco Declaration on Research Assessment. http://researchanalytics.thomsonreuters.com/statement_re_sfdra/.

141. Alberts B. Impact factor distortions. Science 2013; 340: 787.

142. IIMCB signed the San Francisco Declaration on Research Assessment (DORA) http://www.iimcb.gov.pl/archive-30/items/iimcb-signed-the-san-francisco-declaration.

143. Blicharska M. http://comments.sciencemag.org/content/10.1126/science.1240319.

144. Insel T. Accessing and assessing science: from PLoS to DORA. www.nimh.nih.gov/about/director/2013/accessing-and-assessing-science-from-plos-to-dora.html.