Forum dyskusyjne • Discussion forum

Towpik E. IF-mania: Journal Impact Factor nie jest właściwym wskaźnikiem oceniania wyników badań naukowych, indywidualnych uczonych ani ośrodków badawczych. Nowotwory J Oncol 2015; 65: 465–475
Głos w dyskusji

Maciej Żylicz

Invited commentary

Bardzo cieszą mnie pojawiające się coraz częściej głosy kwestionujące skuteczność stosowania przy ocenie jakości badań wskaźnika Impact Factor (IF) — tzw. współczynnika oddziaływania publikacji naukowych. Jednym z nich jest artykuł prof. Edwarda Towpika opublikowany w czasopiśmie Nowotwory, precyzyjnie obnażający wady wykorzystywania tej metody do weryfikacji indywidualnych osiągnięć uczonych. Do wyczerpującej krytyki autora artykułu chciałbym dodać kilka swoich uwag, pisanych z perspektywy doświadczeń Fundacji na rzecz Nauki Polskiej, instytucji zajmującej się przyznawaniem środków finansowych na prowadzenie badań, a więc opierającej podstawy swej działalności na wiarygodnych narzędziach oceny projektów badawczych składanych przez wnioskodawców.

W kwietniu 2014 r. Fundacja na rzecz Nauki Polskiej, jako pierwsza instytucja w Polsce, podpisała tzw. Deklarację z San Francisco (pełny tekst: http://am.ascb.org/dora/), w której zobowiązuje się do oceniania badań naukowych przede wszystkim na podstawie kryteriów merytorycznych, nie zaś ilościowych, takich właśnie jak np. Impact Factor. Przyjęcie tej deklaracji, do której przystąpiły także najpoważniejsze światowe organizacje i stowarzyszenia naukowe, a także — indywidualnie — kilkuset naukowców, w tym wielu laureatów Nagrody Nobla, było dla nas oczywistym potwierdzeniem polityki, jaką stosowaliśmy na długo przed tym, zanim podpisaliśmy ten dokument.

W konkursach Fundacji od dawna obowiązuje system oceny wniosków oparty nie na liczeniu punktów za czasopisma, w których publikował uczony starający się o dofinansowanie FNP, ale na metodzie peer review, która pozwala ocenić jakość prowadzonych przez niego badań naukowych — poprzez analizę oryginalności poszczególnych prac i ich wpływu na rozwój poszczególnych dyscyplin/dziedzin. O ile jednak stosunkowo łatwo jest ocenić opublikowane już dokonania uczonego i ich wpływ na rozwój nauki, dużo trudniej zrobić to w przypadku planowanego dopiero przez niego projektu badawczego. W takich przypadkach ocena peer review dokonywana przez specjalistów w wąskiej dziedzinie/dyscyplinie czasami zawodzi. Dzieje się tak dlatego, że recenzenci mają tendencję do bardziej pozytywnego oceniania tych wniosków, których rezultaty są dla nich przewidywalne. Z kolei wnioski proponujące naprawdę niekonwencjonalne podejście bywają uznawane za zbyt ryzykowne. Chcąc wybrnąć z tego ograniczenia, wprowadziliśmy w FNP interdyscyplinarne panele z udziałem ekspertów, którzy spotykają się z najlepiej ocenionymi wcześniej przez recenzentów autorami wniosków. Po rozmowach z nimi członkowie panelu mogą porównać oryginalność konkurujących ze sobą wniosków i dokonania naukowe ich autorów i na tej podstawie ustalić ranking wniosków w danym konkursie. I tak na przykład: lekarz-badacz, który stara się o grant w Fundacji, na pierwszym etapie konkursu musi przekonać do swojego projektu przynajmniej trzech recenzentów — fachowców w swojej dziedzinie, a jeśli mu się to uda — czeka go jeszcze prezentacja przed interdyscyplinarnym panelem, w którego skład wchodzą nie tylko inni lekarze, ale także fizycy, biolodzy czy chemicy. I to im wszystkim kandydat musi udowodnić, że przedstawiony przez niego projekt może mieć wpływ na rozwój nauki w pojęciu szerszym niż dana dyscyplina naukowa.

W dyskusjach na temat sposobów oceny dokonań naukowych często pada stwierdzenie, że co prawda sumowanie IF prac opublikowanych przez poszczególnych badaczy jest niedoskonałą metodą oceny ich dorobku naukowego, ale lepszej po prostu nie ma. Z pełnym przekonaniem nie zgadzam się z takim argumentem, a swoją opinię opieram na podstawie zarówno naszych doświadczeń w Fundacji, jak też mojej wieloletniej praktyki udziału w wielu krajowych i zagranicznych gremiach oceniających projekty badawcze. Ocena badań naukowych oparta na metodzie peer review jest z pewnością bardziej angażująca i czasochłonna niż sumowanie punktów przypisanych poszczególnym czasopismom, jednak z pewnością umożliwia merytoryczną, nie zaś jedynie mechaniczną ocenę jakości badań.

Chciałbym przy tym zrobić jedno zastrzeżenie. To, że zrezygnujemy przy ocenie indywidualnych osiągnięć uczonego ze stosowania parametrów bibliometrycznych odnoszących się do czasopism naukowych, nie wyklucza ich stosowania przy ocenie dużych, względnie jednorodnych dziedzinowo jednostek naukowych. Skąd ten wniosek? Wiele lat temu, gdy byłem członkiem Komitetu Badań Naukowych, miałem do dyspozycji bazę danych osiągnięć naukowych polskich instytucji prowadzących badania w obszarze chemii. Jeśli oceniana jednostka naukowa była wystarczająco duża (tzn. zatrudniająca powyżej 60 naukowców), to niezależnie od tego, czy brałem pod uwagę sumaryczny IF opublikowanych prac, cytowania tej jednostki czy też sumę funduszy pozyskaną z zewnętrznych źródeł na zasadach konkursowych przez jej pracowników, pozycja w rankingu porównywanych jednostek była taka sama. Rozbieżności zaczynały się pojawiać w przypadku mniejszych instytucji, zaś kompletny brak korelacji miedzy wspomnianymi wyżej parametrami występował dla jednostek małych, w których pracowało mniej niż 10 naukowców. To oznacza, że przy zachowaniu pewnych warunków (normalizacja IF względem danej dziedziny/dyscypliny naukowej) Impact Factor czasopism naukowych, w których publikują pracownicy naukowi danej jednostki, może stanowić pewien przyczynek do oceny tej jednostki, pod warunkiem jednak, że jest ona wystarczająco duża. Ten sam parametr IF nie może być jednak stosowany przy ocenie małych zespołów naukowych, a tym bardziej przy ocenie indywidualnych osiągnięć naukowych uczonego. Należy wówczas bezwzględnie stosować metodę oceny peer review, która — choć posiada swoje wady — jest jednak w tym przypadku niezastąpiona.

Prof. dr hab. Maciej Żylicz

kierownik Pracowni Medycyny Molekularnej, Międzynarodowy

Instytut Biologii Molekularnej i Komórkowej w Warszawie

członek rzeczywisty Polskiej Akademii Nauk

Prezes Fundacji na rzecz Nauki Polskiej

doktor honoris causa Uniwersytetu Gdańskiego,

Uniwersytetu Wrocławskiego i Uniwersytetu Jagiellońskiego

e-mail: zylicz@fnp.org.pl