30. 10. 2019
Hodnocení podle Metodiky 2017+ na národní úrovni je podle Jonathana Adamse postaveno na správných principech. Tým Clarivate Analytics ocenil zejména vícedimenzionální přístup (na principu modulů) a využití oborových panelů v procesu hodnocení, a to jak na úrovni národní (M1–M2), tak na úrovni poskytovatelů (M3–M4).
Z hlediska hodnocení výsledků pak ocenil uplatnění „zlatého standardu“, tedy kombinaci peer review a bibliometrie. V perspektivě dalšího rozvoje národního hodnocení byl široce diskutován způsob provádění citačních analýz pro účely tzv. velkého hodnocení. Dosavadní každoroční bibliometrie založená na rozložení publikací určitého oboru v jednotlivých kvartilech a jeho porovnání s mezinárodními benchmarky odpovídá doporučení ISI vytvářet profily, tj. prezentovat data ve srovnávacích kontextech a pomocí distribucí, nikoliv pomocí souhrnných čísel/ indexů, které jsou v důsledku příliš redukcionistické. Daný přístup je vhodné zachovat i pro citační analýzy článků, které se stanou součástí bibliometrických zpráv v rámci velkého hodnocení. Výsledkem cenného společného jednání bylo také přizvání k výměně zkušeností se zahraničními kolegy odpovědnými za realizaci hodnocení ve Velké Británii, Austrálii a na Novém Zélandu.
Jednání se za českou stranu mj. účastnili hlavní koordinátor hodnocení Michael Šebek, člen RVVI Štěpán Jurajda a vedoucí Odboru Rady pro výzkum, vývoj a inovace Jan Marek, za předsedy Odborných panelů poté Stanislav Kozubek.
A na závěr jedna konkrétní zajímavost k případnému využití citací registrovaných WoS v Metodiuce 17+
My bychom velmi potřebovali odlišit a oddělit nejen osobní auto-citace přímé i nepřímé, ale také auto citace týmové (citace zevnitř týmu), institucionálních (citace od kolegů zevnitř fakulty, školy, ústavu atp.), regionální (např. citace ostravského autora kolegy z Ostravy, Slezska a Moravy) a národní (ze stejného státu). Aby bylo jasno, na takových auto-citacích není samozřejmě nic špatného v principu a v rozumné míře. Špatné to začíná být až v míře nerozumně přehnané. A naše zemně už je různými citačními bratrstvy natolik prorostlá, že jejich naivní použití můžeme zpochybnit ještě dříve, než jsme s ním vůbec začali.
Co si třeba máme myslet o moravském kolegovi s na první pohled dobrými scientometrickými daty, alespoň relativně k oboru a zemi, např. s tisícem citací a vysokým h-indexem, když se u něj při bližším zkoumání ukáže, že z těch mnoha citací je naprostá většina jeho vlastních a zbytek tvoří citace kolegů z jeho školy, dalších kolegů moravských a pár lidí z podivných zemí, kteří se za (minulý či současný) částečný úvazek na jeho pracovišti rádi zařadí do jeho citačního bratrstva? No mírně řečeno, v jeho případě počet citací ani h-index nedokazují kvalitu ani dopad jeho výsledků. A řečeno na plnou hubu, jde tu už zřejmě o výsledek cíleného podvodného úsilí.
Firmě Clarivate Analytics do identifikace, zveřejňování a oddělování různých typů auto-citací moc nechce. Z nejrůznějších důvodů, z nichž některé (týkající se např. auto citací nepřímých) lze celkem uznat. Tudy cesta asi nepovede.
V případě využití citací pro hodnocení jednotlivce je samozřejmě nejlepší se podívat, kdo přesně ho cituje (světová hvězda z MIT nebo nýmand z Horní Dolní) a také co přesně v citací píše (zda třeba uznává prioritu, chválí přínos nebo jen upozorňuje na chybu). Tohle ale nelze dělat hromadně a při hodnocení institucí už vůbec ne.
Z našeho jednání přesto vyplynulo jedno vtipné a schůdné řešení, navrhl ho myslím Štěpán Jurajda. Spočívá v tom rozlišit anebo oddělit citace podle kvality časopisu, ve kterém je citující článek zveřejněn, např. podle AIS tohoto časopisu. Takové rozlišení říká mnoho, neboť citace ze špičkového časopisu v prvním decilu (D1) samozřejmě větší hodnotu než citace přicházející z podřadného lokálního periodika z Q4. Nejenom proto, že špičkový časopis čte mnohem víc čtenářů. Hlavně je téměř nemožné (a rozhodně velmi obtížné) začít hromadně publikovat ve špičkových časopisech jen proto, abychom odtamtud mohli účelově citovat článků uveřejněných v časopisech podřadných. Napadá vás způsob, jak by tohle mohla naše mocná citační bratrstva nabourat?
Důležité také je, že tohle WoS odlišit umí a Clarivate je – za příslušnou cenu – schopna a ochotna udělat. Snad na to seženeme peníze a dokážeme to zařídit. A vy pak lépe uvidíte na instituce a autory, kteří sice mají citací mnoho, ale většinou přicházejících z podřadných časopisů. Další už bude na vás, členech výzkumných komunit.