2. až 4. září se ve švýcarském Luganu konala konference Science and Technology Indicators s podtitulem Research organizations under scrutiny. Jednotlivé příspěvky byly rozděleny do tematických sekcí – počínaje praktickým zaměřením (Bibliometrics and citation analysis, Performance measurement in higher education and rankings) až po teoretičtější témata (Technology transfer and cooperation between academia and industry, Academic careers). Kromě přednášek v klasickém formátu byla každý den alespoň jedna panelová sekce, v níž po představení dané problematiky následovala diskuze odborníků s aktivním zapojením účastníků.
Ve středeční přednášce How much is scientific and technical information used in science policy: the case of the US National Research Council (NCR) byly představeny výsledky studie analyzující využití indikátorů (science and technical indicators) v rámci reportů vytvářených v NRC. Využití indikátorů se různí především v závislosti na typu a zaměření reportu, ale obecně lze říci, že jsou tyto indikátory hojně využívány.
Přednáška The impact evaluation scale: Group panel processes and outcomes in societal impact evaluation poukázala na přílišné svázání směrnicemi v rámci peer review procesu hodnotícího společenský dopad. Studie byla provedena pomocí dotazníkové metody v rámci britského hodnocení REF 2014, kdy byli hodnotitelé dotazováni před samotným hodnocením a po něm.
Termín metrik znalý vědec byl představen v přednášce To beat non-peer bureaucrats: the gains of being metric-wise belgických vědců. Prezentovaný průzkum byl zaměřen na to, jak vědci pracují s indikátory, a to na několika úrovních – znají, umí vysvětlit, používají. Výsledky ukázaly spíše nízkou znalost (jednalo se o různé journal based indikátory a H-index) a v závěru studie bylo doporučeno tuto znalost rozšiřovat například v rámci doktorského studia.
Čtvrteční panelová sekce Special session on the dynamics of standards nenaplnila původní očekávání. Jak úvodní přednáška zabývající se samotným vymezením a pojetím termínu standard, tak následná diskuze byly příliš teoretizující, a to především z pohledu bibliometrické praxe. V rámci diskuze nezazněly žádné praktické příklady (ať už pozitivní či negativní) uvádění Leiden manifesto standardů do praxe, což vzhledem k názvu diskuzního bloku Standards in research evaluation and the Leiden Manifesto bylo očekáváno.
Zajímavé zjištění bylo prezentováno v přednášce Assessing the effects of the German Excellence Initiative with bibliometric means based on two data sources. Ve studii byl zkoumán dopad německé Excellence Initiative – programu financování zaměřeného na univerzity. Toto financování mělo pozitivní dopad, co se týče vysoce citovaných článků, a možná překvapivě se významně projevilo také na neuniverzitních výzkumných organizacích, jako je Max Planck Society. Tento dopad je způsoben vysokou mírou spolupráce na vysoce citovaných pracích financovaných z tohoto programu.
Úvodní přednáška pátečního dne – Trapped by Information: Performance Rank Ordering and Red Queen Imitation – se zabývala tím, jak vytváření žebříčků na základě výkonu ovlivňuje samotné organizace. Organizace se snaží udržet na stejné příčce nebo posunout výše a tak napodobují organizace, které jsou na vyšší pozici. Tento jev je označován termínem z evoluční biologie – Red Queen competition.
Informace získané na konferenci přispěly k prohloubení teoretických znalostí v rámci problematiky hodnocení vědy a k seznámení s konkrétními příklady a problémy použití indikátorů v rámci sledování a hodnocení vědeckých výstupů. Při neformálních diskuzích během obědových a dalších pauz byla domluvena další spolupráce s Gunnarem Sivertsenem na porovnání citačních databází v rámci ČR. Dále byla prodiskutována možnost zapojení do projektu RISIS a probrána společná problematika v souvislosti s hodnocením vědy se slovinskými kolegy.