Forum dyskusyjne • Discussion forum

Jeżeli oceniać (jednostki naukowe i badaczy), to JAK oceniać? Przeciwko IF, a za peer review

Jerzy Marian Brzeziński

Invited commentary

Zacznę od tego, że nie mam zamiaru polemizować z autorem artykułu: „IF-mania...”, stanowiącego pogłębione wprowadzenie do tej jakże potrzebnej dyskusji, gdyż w pełni zgadzam się z wnioskami, które — co należy podkreślić — zostały wsparte bardzo rzetelnym przeglądem literatury przedmiotu. Może warto tylko tę bardzo krytyczną analizę uzupełnić o kilka wzmacniających ją opinii polskich badaczy, przedstawicieli „twardych” dyscyplin naukowych. Humaniści zawsze byli przeciwni „punktomanii” i ich nie trzeba przekonywać.

I tak, według fizyka Karola Zakrzewskiego:

Od szeregu lat spotykam się z […] błędnym stosowaniem IF przez kolegów z chemii czy nauk biomedycznych, gdzie pojawia się też błędne matematycznie pojęcie sumarycznego impact factora (SIF). SIF powstaje przez dodanie IF czasopism dla poszczególnych publikacji autora. Jest to błędne, ponieważ IF ma sens probabilistyczny, jest przeskalowanym prawdopodobieństwem (dokładniej: częstością) cytowania. Dodawanie prawdopodobieństw zdarzeń z różnych zbiorów nie ma sensu. […] Wymaganie […] by podawać IF publikacji, jest błędem merytorycznym. IF czasopisma nie może służyć do oceny kandydata [1].

W podobnym duchu wypowiedzieli się fizycy: Karol Życzkowski i Jakub Zakrzewski:

Dane bibliometryczne niosą informacje statystyczne, które uśrednione po dużej próbce mogą być rozważnie stosowane do analizy rozwoju pewnych działów nauki lub opisu stanu badań w danym kraju. Natomiast liczba cytowań prac danego naukowca, a tym bardziej IF czasopism, w których je opublikowano, nie powinny stanowić przesłanek decydujących o ocenie wartości naukowej jego dorobku. Popularna i często zakładana teza — liczba cytowań danej pracy w literaturze świadczy bezpośrednio o jej wartości naukowej — jest po prostu fałszywa, a nadużywanie wskaźnika IF do celów, do których nie był pomyślany, jest szkodliwe [2].

Gdybyśmy jednak, mimo tych wszystkich głosów krytycznych, chcieli posłużyć się wartościami wskaźników bibliometrycznych, to — idąc za rekomendacją matematyka Zbigniewa Błockiego i fizyka Karola Życzkowskiego — należałoby je traktować wyłącznie jako dane orientacyjne, pomocnicze, a nie jako dane przesądzające o ocenie danej osoby czy instytucji [3].

Moim zdaniem należy docenić wagę Deklaracji DORA, czyli „San Francisco Declaration on Research Assessment. Putting science into the assessment of research” z 16 grudnia 2012 r. [4]; por. także przekład na język polski, opatrzony komentarzem redaktora naczelnego czasopisma Nowotwory Journal of Oncology [5], która powstała w środowisku (że tak powiem: silnie „sparametryzowanym”) biologów komórki: American Society for Cell Biology — ASCB oraz grupy wydawców czasopism naukowych. To w tej Deklaracji wyraziście zaprotestowano przeciwko mechanicznemu posługiwaniu się wskaźnikami bibliometrycznymi — w tym wskaźnikiem IF. Podpisało się pod nią wiele światowych instytucji naukowych oraz badaczy — w tym grupa noblistów! Czytamy w niej między innymi, iż:

1. Nie należy stosować danych bibliometrycznych czasopism (journal-based metrics), takich jak Journal Impact Factors, jako zastępczej miary jakości poszczególnych artykułów naukowych, do oceniania wkładu konkretnych badaczy czy podejmowania decyzji o ich zatrudnieniu, promowaniu lub finansowaniu. […]

18. Należy kwestionować praktykę niewłaściwego wykorzystywania Journal Impact Factors do oceny badań naukowych, a wspierać i rozpowszechniać sposoby opierające się na wartości i oddziaływaniu konkretnych wyników badań.

W podobnym duchu wypowiedziało się European Association of Science Editors:

European Association of Science Editors zaleca, aby kryterium wskaźnika oddziaływania czasopisma posługiwać się wyłącznie — i to z wielką ostrożnością — do oceny i porównywania jedynie wpływu czasopism jako takich, a nie do oceny poszczególnych prac. Z pewnością zaś nie należy go wykorzystywać do oceniania badaczy lub programów badawczych, tak bezpośrednio (directly), jak i zastępczo (as a surrogate) [6].

Fundacja na rzecz Nauki Polskiej, która bodajże jako jedyna znacząca polska instytucja naukowa podpisała się pod Deklaracją DORA, w wydanym oświadczeniu napisała:

Na podstawie doświadczenia w pracy nad systemami oceny parametrycznej w Komitecie Badań Naukowych oraz w Komisji Ewaluacji Jednostek Naukowych nie wykluczamy stosowania parametrów opartych o normalizowany w danej dziedzinie impact factor czasopism do oceny dużych jednostek naukowych. Z tych doświadczeń wynika, że gdy oceniana jednostka naukowa jest wystarczająco liczna (powyżej 60 naukowców), sumaryczny, normalizowany impact factor tej jednostki koreluje z jej cytowaniami, a w przypadku nauk eksperymentalnych także z poziomem finansowania badań naukowych z zewnętrznych źródeł. Taka korelacja nie występuje jednak przy ocenie małych jednostek, a tym bardziej indywidualnych zespołów badawczych oraz ich liderów! W tym wypadku należy bezwzględnie stosować system oceny peer review, w którym starannie wyselekcjonowani uczeni oceniają oryginalność indywidualnych osiągnięć naukowych innych badaczy, a pomocniczą rolę może spełniać liczba cytowań oraz wskaźnik h [7].

Na jedynie pomocniczą rolę analizy bibliometrycznej dorobku jednostki naukowej i konieczność odwołania się do oceny poprowadzonej w trybie peer review zwrócono też uwagę w najnowszym dokumencie programowym MNiSzW: „Program rozwoju szkolnictwa wyższego i nauki na lata: 2015–2030”:

W ocenie parametrycznej jednostek większe znaczenie należy nadać jakości wyników pracy naukowej (w szczególności prestiżowych publikacji i wartościowych wdrożeń) niż ilości. Należałoby zatem ukierunkować ocenę na identyfikację aspektów doskonałości naukowej. W procesie oceny uwzględniać należałoby przede wszystkim najlepsze osiągnięcia naukowe, nie zaś liczbę publikacji równą wielokrotności liczby zatrudnionych pracowników. Ocenie jakości służyłoby dokonywanie jej przez ekspertów (peer review), z udziałem specjalistów z zagranicy (tam, gdzie to możliwe i uzasadnione). Docelowo analiza bibliometryczna powinna być traktowana jedynie pomocniczo. Te zasady powinny decydować zwłaszcza o wyróżnianiu najlepszych instytucji naukowych skupiających się na pracy badawczej [8].

Jeżeli poważne światowe instytucje i stowarzyszenia naukowe, przedstawiciele różnych dziedzin nauki (nie tylko humanistyki) opowiadają się przeciwko mechanicznemu, żeby nie powiedzieć: bezrozumnemu stosowaniu wskaźników bibliometrycznych (z IF i sum IF na czele) do oceny osiągnięć zwłaszcza indywidulnych badaczy oraz jednostek naukowych, jeżeli wskazuje się na bezsens i szkodliwość takiego postępowania (zob. artykuł wprowadzający do niniejszej dyskusji), to dlaczego nadal (!) obowiązuje podpisane przez minister Barbarę Kudrycką „Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego” (Dz.U. 2011, Nr 196, poz. 1165 [9]). Czytamy w nim bowiem, że:

Kryteria oceny w zakresie osiągnięć naukowo-badawczych habilitanta we wszystkich obszarach wiedzy obejmują: [stosowane do §4 m.in.]:

3) sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania;

4) liczbę cytowań publikacji według bazy Web of Science (WoS);

5) indeks Hirscha opublikowanych publikacji według bazy Web of Science (WoS).

Nie mam zamiaru „znęcać się” nad tym — tak po prostu — złym i kompromitującym ministerstwo dokumentem (uczynił to: Zakrzewski — także do innych aktów prawnych regulujących postępowania awansowe w obszarze nauki [1]), ale zapytam: dlaczego ministerstwo tak silnie przywiązało się tylko do jednej bazy WoS odnoszonej do listy czasopism Thomson-Reuters? Dlaczego nie bierze pod uwagę innych baz, np. Scopus?

Dlaczego liczba cytowań ma być określana tylko według bazy WoS, a nie też Google Scholar?

Podsumowując ten wątek, uważam, że polski czytelnik, zwłaszcza ten, któremu w codziennej pracy badawczej raczej obce są analizy naukometryczne, a chciałby jedynie, aby jego osiągnięcia (a także osiągnięcia instytucji, w której pracuje) zostały poddane trafnej i rzetelnej ocenie, powinien być poinformowany o pogłębiającej się patologizacji (w imię oszczędności i fałszywie pojętej „obiektywności” ocen) procedur ewaluacji osiągnięć naukowych. Zasadnie można mówić o „chorobie IF” [1]. I dlatego — jak zatytułował swój artykuł fizyk Andrzej Kajetan Wróblewski — „Czas wrócić do rozsądku” [10]. Sam o ten rozsądek też nieraz apelowałem [11, 12].

Przejdźmy zatem do odpowiedzi na pytanie: CO/KTO podlega ocenianiu w obszarze nauki?

Jeśli chodzi o oceny jednostek naukowych, to na pierwszy plan wysuwa się budząca wiele emocji w środowisku uczonych (ale nie tylko) tzw. ocena parametryczna przeprowadzana co cztery lata przez Komitet Ewaluacji Jednostek Naukowych KEJN. W drugiej kolejności wymieniłbym oceny sporządzane przez Centralną Komisję do Spraw Stopni i Tytułów (w skrócie: CK) w związku z ubieganiem się rad naukowych o przyznanie im uprawnień do nadawania stopni naukowych: doktora i doktora habilitowanego. Oceny — ale w odniesieniu tylko do szkolnictwa wyższego — prowadzone są także przez Polską Komisję Akredytacyjną (PKA) i Radę Główną Nauki i Szkolnictwa Wyższego (RGNiSW).

Jeśli zaś chodzi o oceny osiągnięć indywidualnych uczonych, to są one prowadzone w związku z:

— zatrudnieniem drogą konkursową w instytucji naukowej;

— awansem naukowym badacza — doktorat, habilitacja, tytuł naukowy profesora;

— awansem zawodowym — objęcie, drogą konkursową, stanowisk kierowniczych w instytucjach naukowych;

— ustawowo przewidzianymi ocenami okresowymi prowadzonymi przez instytucje zatrudniające badacza;

— ubieganiem się o grant, np. w Polsce: NCN;

— ubieganiem się o stypendia, subsydia, nagrody naukowe.

Nie sądzę, aby ktoś, kto zawodowo funkcjonuje w obszarze nauki, nie akceptował konieczności dokonywania różnorakich ocen. Idzie jednak o to, aby były to oceny trafne i przeprowadzone niestronniczo (pisałem o tym problemie w kontekście popularnych rankingów jednostek naukowych [12]). I pod tym względem nie różnimy się. Różnimy się jednak, gdy zaczniemy rozmawiać o tym:

1. Co podlega ocenie — jest to problem przedmiotu oceny;

2. Wedle jakich kryteriów takie oceny powinny być przeprowadzone — jest to problem trafności kryteriów ocen.

Spróbuję teraz rozwinąć ten temat. Punktem odniesienia będzie dla mnie praktyka badawcza w obrębie nauk podstawowych — z uwypukleniem praktyki typowej dla nauk społecznych (psychologia, socjologia).

Przedmiot oceny

Przedmiotem oceny są, rzecz jasna, osiągnięcia naukowe. Mówiąc o nich czy to w odniesieniu do pojedynczych badaczy, czy instytucji naukowych ich zatrudniających, musimy wpierw odpowiedzieć na pytanie: W jaki sposób badacze informują innych badaczy o swoich osiągnięciach naukowych? Od lat przyjętym sposobem komunikowania osiągnięć badaczy są ich publikacje. Oczywiście informują oni o nich świat nauki także poprzez wystąpienia konferencyjne. Można jednak założyć, że wartościowe wystąpienia przełożą się na równie wartościowe publikacje. Przykładowo, w ocenie parametrycznej jednostek naukowych przeprowadzonej w 2013 r. 65%–70% całej oceny konsumowało kryterium O1 („osiągnięcia naukowe i twórcze”), które obejmowało publikacje: artykuły opublikowane w czasopismach z ministerialnych list: A (baza JCR: Thomson-Reuters), B (lista krajowa) i C (baza ERIH), monografie naukowe oraz rozdziały w pracach zbiorowych [13]. Moim zdaniem udział publikacji, zwłaszcza w czasopismach, powinien być podwyższony do nawet 80%. Pozostałe 20% mogłoby być wypełnione przez kierowanie grantami pochodzącymi z bardzo wąskiej listy agencji takie granty przyznających (w Polsce tylko NCN i NCBiR). Zapewne przedstawiciele dyscyplin stosowanych (nauki inżynierskie czy rolnicze) przeznaczyliby większy procent na „materialne efekty działalności naukowej” (wdrożenia i patenty).

Zatem najwyższy, procentowo ujęty udział w całkowitej ocenie dokonań naukowych powinny stanowić publikacje. Moim zdaniem powinny to być artykuły zamieszczone w czasopismach uznanych przez badaczy z danej dziedziny nauki za znaczące w skali światowej. To zaś oznacza, iż językiem publikacji tych prac musi być język angielski. Myślę, że możemy w dalszym ciągu zająć się jedynie publikacjami jako głównymi „nośnikami” osiągnięć naukowych w naukach podstawowych. Tym bardziej, że „bohaterem” naszej dyskusji jest — odnoszący się do publikacji pod postacią artykułów w czasopismach indeksowanych w bazie JCR firmy Thomson-Reuters — budzący liczne kontrowersje wskaźnik IF.

Trafność kryteriów oceny

To bodajże najtrudniejszy do optymalnego rozwiązania problem. Próbując go rozwiązać, musimy odrębnie potraktować ocenę jednostek naukowych oraz pojedynczych badaczy.

Zacznijmy od jednostek naukowych. Nasze dotychczasowe doświadczenia, a obejmują one okres funkcjonowania Komitetu Badań Naukowych KBN, Rady Nauki MNiSzW oraz Komitet Ewaluacji Jednostek Naukowych KEJN, czyli okres 25 lat, związane są z tzw. parametryczną oceną preferującą listę JCR i wskaźnik IF przy ocenie publikacji badaczy. Od wielu lat jest zatem tak, że punktowa ocena czasopisma — na podstawie wartości jego IF —przeniesiona jest na ocenę artykułu danego badacza. Takie postępowanie budzi następujące wątpliwości:

Pierwsza związana jest z monopolem firmy Thomson-Reuters i jej IF liczonego z bazy WoS. A dlaczego nie można uwzględnić innych, równoległych baz: SCImago SCOPUS firmy Elsevier ze wskaźnikiem SJR (Journal Rank Indicator) i Google Scholar ze wskaźnikiem h5? „Druga liga” czasopism to lista B MNiSzW, obejmująca czasopisma polskie. I jest jeszcze lista C: ERIH, obejmująca czasopisma humanistyczne. Ta — mimo nazwy: European… — obejmuje także amerykańskie czasopisma psychologiczne. Uważam, że jest ona nietransparentna, jeśli chodzi o kryteria włączenia danego czasopisma do tej bazy, i powinna być usunięta. Wystarczyłyby wymienione trzy bazy zagraniczne, a może tylko dwie (bez bazy Thomson-Reuters — z uwagi na kontrowersje, które nagromadziły się wokół wskaźnika IF).

Druga związana jest z liczbą publikacji, które dana jednostka musi przedstawić do oceny przeprowadzanej przez KEJN. Dziś musi to być aż 3N (N — liczba osób zatrudnionych w jednostce, które prowadzą badania naukowe) plus pewna liczba publikacji pochodzących od osób niezatrudnionych w jednostce, ale wskazujących jednostkę jako afiliacje publikacji. Daje to bardzo dużo danych, przerażająco dużo, gdy mamy do czynienia z dużymi wydziałami czy instytutami. I tu chciałbym podzielić stanowisko Macieja Żylicza w tej kwestii:

W ocenie naukowej indywidualnej lub zbiorowej (np. ocena parametryczna) nie powinniśmy uwzględniać wszystkich prac opublikowanych, ale na przykład poddawać ocenie 25% prac, które sam autor w okresie oceny, np. nie krótszym niż 5 lat, będzie uważał za najważniejsze. Może po paru latach takiej praktyki nasze środowisko samo dojdzie do wniosku, że opłaca się publikować mało, ale za to dobre prace.

Idzie bowiem o to, aby aktywność badaczy skupiła się nie na produkowaniu punktów, gdyż to prowadzi do różnych aberracji, ale na pisaniu naprawdę wartościowych prac. Powstają „spółdzielnie”, które specjalizują się w „cudownym” rozmnażaniu dorobku (pisałem o tym w artykule: Trzej przyjaciele z boiska [16]).

Przejdźmy teraz do problemów związanych z oceną pojedynczych badaczy. Także i w tym wypadku — zwłaszcza w tym — ocenie powinny podlegać przede wszystkim te osiągnięcia naukowe, które zostały ogłoszone drukiem w tzw. dobrych, najlepiej o zasięgu międzynarodowym, czasopismach naukowych. Te zaś powinny być brane: 1) z baz międzynarodowych (nie tylko z jednej!): SCImago, Google Scholar i WoS oraz, 2) z ekspercko sporządzonej listy najbardziej wartościowych czasopism krajowych, które nie znalazły się w bazach międzynarodowych. Na przykład NCN dopuszcza — ale tylko dla dyscyplin humanistyczno-społecznych (dlaczego?) — iż autorzy projektów badawczych, przy podawaniu liczby cytowań i wartości wskaźnika h, odwołują się nie tylko do bazy WoS, ale też do bazy Scopus. Pozostałych badaczy obowiązuje baza WoS; muszą też „podać aktualny pięcioletni impact factor czasopism” oraz wyróżnić na owej liście te artykuły, które ukazały się na łamach czasopism z listy JCR.

Aby nie propagować „nauki śmieciowej” (junk science), która żywi się wynikami powstałymi w trakcie realizacji byle jakich projektów badawczych, pozorujących prawdziwe badania naukowe, należy ograniczyć liczbę przedkładanych do oceny prac do naprawdę tylko tych (wskazanych przez samego badacza) najbardziej wartościowych. Pod uwagę powinny być brane prace nie z całego okresu aktywności naukowej badacza (od „początku świata”), ale z ostatnich — powiedzmy — 5 lat. NCN oczekuje, iż autor projektu w konkursie OPUS 10 powinien, między innymi, podać wykaz „do 10 najważniejszych prac opublikowanych w okresie ostatnich 5 lat przed zgłoszeniem wniosku” oraz dołączyć pdf-y 3 publikacji z tej osobistej listy „top ten”.

Wskazane przez badacza — wedle jego najlepszej samowiedzy — najważniejsze publikacje powinny być poddane ocenie poprowadzonej w trybie peer review. W ograniczonym tylko zakresie i pomocniczo mogą być wykorzystane wskaźniki bibliometryczne i naukometryczne. Idąc za wskazaniami DORA i FNP, uwzględniałbym wskaźnik h-Hirscha i liczbę cytowań, ale pobraną z trzech baz: Scopus, Google Scholar i WoS. Podpisuję się zatem, jeśli chodzi o ocenę indywidualnych osiągnięć badaczy, pod tym, co napisał David L. Parnas (2007):

If you get a letter of recommendation that counts numbers of publications, rather than commenting substantively on a candidate’s contributions, ignore it; it states only what anyone can see. […] Evaluation by counting the number of published papers corrupts our scientists; they learn to „play the game by the rules [17].

Powyższe wywody doprowadzają mnie do wniosku, iż tylko ocena przeprowadzona w trybie peer review, przez kompetentnych i działających zgodnie za standardami etycznymi ekspertów da pożądany efekt. Jej trafność będzie pochodną przyjętych szczegółowych kryteriów, którymi posłużą się eksperci. Że nie można polegać na wskaźnikach bibliometrycznych w rodzaju IF czy sumIF publikacji autora, to już zostało dostatecznie wnikliwie pokazane w artykule stanowiącym wprowadzenie do tej dyskusji. Do tego trzeba dodać jeszcze osobliwą (polską!) praktykę sumowania przez Rady Naukowe punktów, jak zwykło się pisać, „KBN/Ministerstwo/KEJN” (z ministerialnych list A, B, C czasopism) przypisanych czasopismom, w których publikował dany autor. O ile jeszcze można się zgodzić, iż takie wskaźniki jak: h-Hirscha czy liczba cytowań (z uwzględnieniem różnych baz, a nie tylko jednej WoS firmy Thomson-Reuters, jak to zdecydowano przed laty w Polsce) mogą być wykorzystane w procedurach ewaluacyjnych, to sprowadzanie oceny — i tej dotyczącej jednostki naukowej, i tej dotyczącej indywidualnego badacza — do mechanicznego, odartego z treści zestawu wartości wskaźników budzi zdecydowany sprzeciw (por. też: Wróblewski, [18]).

Prof. Jerzy Marian Brzeziński

kierownik Zakładu Podstaw Badań Psychologicznych

Uniwersytetu im. Adama Mickiewicza w Poznaniu (1978–)

dziekan Wydziału Nauk Społecznych UAM (1981–85, 1990–96)

Dyrektor Instytutu Psychologii UAM (1987–90, 1999–)

członek rzeczywisty Polskiej Akademii Nauk

przewodniczący Sekcji Nauk Humanistycznych i Społecznych

Centralnej Komisji ds. Tytułu Naukowego i Stopni Naukowych (1997–2007)

doktor honoris causa Uniwersytetu Gdańskiego i Uniwersytetu Kazimierza Wielkiego

Redaktor Naczelny kwartalnika „Nauka” (2004–)

e-mail: brzezuam@amu.edu.pl

Piśmiennictwo

1. Zakrzewski J. O reformie nauki. PAUza Akademicka 2012; Nr 154: 2–3.

2. Życzkowski K, Zakrzewski J. Pełzający potwór bibliometrii. PAUza Akademicka 2012; Nr 184: 2–3.

3. Błocki Z, Życzkowski K. Uwagi o stosowaniu metod bibliometrycznych przy ocenie pracy uczonych. PAUza Akademicka 2012; IV: 1–2.

4. San Francisco Declaration on Research Assessment. Putting science into the assessment of research. Pobrano ze strony 10 października 2015 r.: www.ascb.org/dora-old/files/SFDeclarationFINAL.pdf.

5. Towpik E. Deklaracja z San Francisco nt. Oceny Badań Naukowych (DORA): Czy to początek końca dotychczasowej metody oceny parametrycznej? Nowotwory J Oncol 2013; 63: 501–504.

6. Oświadczenie Europejskiego Stowarzyszenia Redaktorów Naukowych (European Association of Science Editors — EASE) w sprawie niewłaściwego stosowania wskaźników oddziaływania (IF — impact factors). Nowotwory J Oncol 2012; 62: 139–140.

7. Fundacja na rzecz Nauki Polskiej. Oświadczenie władz Fundacji na rzecz nauki polskiej. Pobrano ze strony 10 października 2015 r.: www.fnp.org.pl/assets/O%C5%9Bwiadczenie-Rady-i-Zarz%C4%85du-FNP.pdf.

8. Program rozwoju szkolnictwa wyższego i nauki na lata: 2015–2030. Pobrano ze strony 10 października 2015 r.: www.nauka.gov.pl/g2/oryginal/2015_09/cccde12e22cdc548b16002ab2c199ba7.pdf .

9. Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego, Dziennik Ustaw 2011; Nr 196, poz. 1165.

10. Wróblewski AK. Czas wrócić do rozsądku. Nowotwory J Oncol 2013; 63: 66–67.

11. Brzeziński JM. Czy uzasadniony jest postulat uwzględnienia specyfiki nauk humanistycznych i społecznych przy ocenie jednostek naukowych i badaczy? Między peer review a bibliometrią i naukometrią. Człowiek i Społeczeństwo 2015; 39: 7–28.

12. Brzeziński JM. O konieczności utrzymania habilitacji w Polsce. Nowotwory J Oncol 2015; 65: 292–297.

13. Ustawa z dnia 30 kwietnia 2010 r. O zasadach finansowania nauki (Dz. U. z 2010 r., Nr 96 poz. 615, Oprac. na podst. Dz. U. z 2014 poz. 1620, Dz. U. z 2015 poz. 249).

14. Brzeziński JM. Etyczność rankingów. Nauka 2015; Nr 1: 115–121.

15. Żylicz M. Wypowiedź w dyskusji o polskich czasopismach naukowych. PAUza Akademicka 2008; Nr 14: 3.

16. Brzeziński JM. „Trzej przyjaciele z boiska…”. Jak cudownie powiększyć dorobek publikacyjny jednostki naukowej. Forum Akademickie 2015: Nr 7–8: 38–39.

17. Parnas DL. Stop the numbers game. Communications of the ACM 2007; 50: 19–21. ce.sharif.edu/~ghodsi/PaP/stop_the_number_game.pdf.

18. Wróblewski AK. Listy do Redakcji „PAUzy Akademickiej”. PAUza Akademicka 2014, Nr 249.