同行评议靠谱吗?

 找回密码
 注册新帐号

QQ登录

只需一步,快速开始

小木虫»学术杂谈»同行评议靠谱吗?
[学术杂谈]

同行评议靠谱吗?

虫子个人认证 发表于 2016-8-12 12:16  
查看: 100551|回复: 14|显示全部楼层 |阅读模式
摘要

同行评议是当前科学界最普遍的分配形式,但是同行评议的有效性却鲜有研究。哈佛商学院Danielle Li教授与其合作者波士顿大学Leila Agha 教授使用美国国立卫生研究院近30年的数据加深了我们对这一问的理解。

史冬波 / 清华大学与哈佛大学联合培养博士

同行评议是当前科学界最普遍的分配形式,但是同行评议的有效性却鲜有研究。哈佛商学院Danielle Li教授与其合作者波士顿大学Leila Agha 教授使用美国国立卫生研究院近30年的数据加深了我们对这一问的理解。论文聚焦于三个研究问题:

同行评议是否筛选出了优质的研究计划?
同行评议的价值有多大?
同行评议是否筛选出了应用前景好的研究计划?
针对这三个问题,作者收集了美国国立卫生研究院的R01项目1980-2008年约13万个研究计划的评审分数并跟踪了每个计划在受资助五年后的论文发表、被引与专利数据。在控制了获资助科学家的论文发表历史、历史获资助情况、所在机构特征、学术生涯阶段等变量后,作者发现:

同行评议的评价越好,受资助计划在其后五年内的研究产出越好

具体来说,同行评议差一个标准差,被资助的研究计划在未来五年的引用减少15%,发表减少7%,高影响力论文发表减少19%,相关专利减少14%。这些证明了同行评议的有效性。

同行评议确实可以甄别研究计划的价值

更有趣的是,论文使用局部回归(科学家特征为自变量)预测所得残差与同行评议分数的关系,探讨了同行评议的价值。作者认为同行评议确实可以甄别研究计划的价值。评议分数越低,局部回归残差越大,而此处残差即是无法用研究计划及申请科学家的特征解释的部分,可以作为研究计划质量的某种测度。

在欣赏这项有趣研究的同时,我们也惊叹于美国公共部门数据的开放的程度。何时国家自然科学基金也愿意开放数据,对同行评议进行评估与优化?

参考文献

Li D,Agha L.(2015). Big names or big ideas: Do peer-review panels select the best scienceproposals?. Science, 348(6233): 434-438.

文字编辑:李江 / 浙江大学

同行评议靠谱吗?
yinkaiting 发表于 2016-9-29 06:38   显示全部楼层
以后多分享一些这样的有价值的帖子啊
liu714 发表于 2016-9-29 07:05   显示全部楼层
论坛有你更精彩!
xujiacheng 发表于 2016-9-29 10:16   显示全部楼层
好东西一定要看看!
liu714 发表于 2016-9-29 16:37   显示全部楼层
论坛有你更精彩!
王海峰 发表于 2016-9-29 19:33   显示全部楼层
谢谢您的分享!
mikexixi 发表于 2016-9-29 21:21   显示全部楼层
好东西一定要看看!
xie0309 发表于 2016-9-30 02:47   显示全部楼层
好东西一定要看看!
你好岁月 发表于 2016-9-30 06:09   显示全部楼层
谢谢您的分享!
542708169 发表于 2016-9-30 09:28   显示全部楼层
论坛有你更精彩!
您需要登录后才可以回帖 登录 | 注册新帐号

本版积分规则  | 请遵守小木虫学术科研第一站管理条例,不得违反国家法律法规

Copyright © 2014-2020 小木虫学术科研第一站(xmuchong.com)All Rights Reserved.

公安备案:津公网安备 12011102000110号

     

ICP备案/许可证号:津ICP备14003772号-3

     

跟帖评论自律管理承诺书

     

优质科研网站认证证书

| 优秀信息服务互联网站

     © 2014-2020 小木虫学术科研第一站

网上有害信息举报中心      小木虫学术科研第一站管理条例      晓木虫® 小木虫®第41764267号
快速回复 返回顶部 返回列表