2020-11-06
科学技術・学術政策研究所（NISTEP）では、研究に関する評価指標開発を目的とし、知識源の新結合に着目した、引用文献の組合せ（類似度）により測定される新規性指標の提案を試みました。併せて、日本の機関に所属する研究者の論文を対象としたサーベイ調査の結果を用いて、本研究で提案する新規性指標が、どのような研究の新規性を測っているのか、validation分析も実施しました。
その結果、本研究で提案した新規性指標は、自然科学系の分野のさまざまな研究成果の類型において、研究者が判定する研究の新規性を反映するものであることがわかり、研究者による研究の新規性を計測するための代理変数として有用であることが伺えました。
詳細につきましては以下のリンクより御覧ください。
ライブラリ：知識結合に基づく新規性評価に関する研究[DISCUSSION PAPER-190]
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
知識結合に基づく新規性評価に関する研究
A validation study of knowledge combinatorial novelty
文部科学省 科学技術・学術政策研究所 科学技術・学術基盤調査研究室
松本 久仁子, 柴山 創太郎, 姜 秉祐, 伊神 正貫
要旨
論文の質的評価指標の代表的なものとして Top10％論文のように被引用数を用いた指標が主流となっている一方で、被引用数という引用の数量的視点のみから論文を評価することへの限界も指摘されている。本研究では、知識源の新結合に着目し、引用文献の組合せ（類似度）により測定される新規性指標の提案を試みた。そして、日本の機関に所属する研究者の論文を対象としたサーベイ調査の結果を用いて、本研究で提案する新規性指標が、どのような研究の新規性を測っているのか、validation 分析も実施した。その結果、本研究で提案した新規性指標は、自然科学系の分野のさまざまな研究成果の類型において、研究者が判定する研究の新規性を反映するものであることがわかり、研究者による研究の新規性を計測するための代理変数として有用であることが伺えた。
A validation study of knowledge combinatorial novelty
MATSUMOTO Kuniko, SHIBAYAMA Sotaro, KANG Byeongwoo and IGAMI Masatsura Research Unit for Science and Technology Analysis and Indicators, National Institute of Science and Technology Policy (NISTEP), MEXT
ABSTRACT
Citation counts have long been considered the primary bibliographic indicator in evaluating the quality of research－a practice premised on the assumption that citation count is reflective of the impact of a scientific publication. However, identifying several limitations in the use of citation counts alone, scholars have advanced the need for multifaceted quality evaluation methods.
In this study, we applied a new novelty indicator which quantifies the degree of citation similarity between a focal paper and a pre-existing same-domain paper to various fields of natural sciences. Furthermore, we also tested the convergent validity of the novelty indicator by using researchers’ selfassessments of the degree of relevance of each research type obtained from a survey to Japanese researchers. Our validation analysis reveals that the novelty indicator we propose seems suited for identifying papers suggesting the novelty of various research types in the fields of natural sciences.
