科学再现性 - 专注于小型核核酸的溶液对再现性

泰勒福特

泰勒福特

关于再现性横幅的小型研讨会上周三我们合作了Harvard GSAS科学政策小组组织重现性的小核糖。小别人专注于解决学术界,行业,非营利组织和出版的生物科学和特色发言人的解决方案。这Livestream视频从事件可以在下面找到,并在它下面的程序描述。您可以在描述中跳转到不同的时间戳,以观看您对您特别感兴趣的任何部分,但我建议您观看整个Livestream,以更加了解再现性问题及其潜在的解决方案。

在此活动之前,我在Addgene的再现性上给了自己的谈话,我总结了我在准备我的谈话和小肠癌中学到的内容。您可以找到有关促进可重复性的组织的各种额外资源和信息这本手册(也在活动中发行)。


程序

  • 0 - 1:24- 介绍

  • 1:24 - 29:31- 再现性概述 -Jeffrey s .传单哈佛医学院的研究员,前
    哈佛大学医学院的院长

  • 29:31——49:45-试剂共用-苏珊娜Bachle,addgene非营利质粒储存库

  • 49:45 0 1:18:45- 试剂发展 -史蒂文·c·Almo,蛋白质创新研究所

  • 1:18:45 - 2:01:18(结束)- 控制板

科学再现性

正如Jeffrey Flier在他的演讲(1:24 - 29:31)中指出的,定义科学再现性有多种方式。一项研究“可复制”并不一定意味着有人精确地复制了它。你可以找到关于不同类型复制的很好的讨论鼻子和埃林顿2017年Schmmidt 2009.但是,为了我们的目的,我们将在其调查结果可预测应用于未来的工作中来调用一项研究可重复性。

重要的是,没有人应该期望每项研究应该是可重复的。实际上,研究人员正在推动知识的限制,因为他们开发了了解身体如何工作,产生新的治疗方法,有时制定新的生物学概念的新方法。然而,临床前研究的重复性率,据药商公司试图从这些研究中申请调查结果,非常低(<30%,Prinz等人2011年,贝格利和埃利斯2012年)。最近的努力再现性项目:癌症生物学已经产生了类似的再现性率。未来的尝试将IRREPROOKIBLE结果应用于未来的工作成本和金钱,估计在数十亿美元中达到(Freedman等人2015)。最后,正如Pamela Hines.美国科学促进会在委员会上指出,不可再生产破坏了公众对科学研究的信任。

尽管如此,我不想说我们手上有一个再现性“危机”,而是根据我所学到的一些解决方案,为再现性的原因提供一个简短的概念性框架。我希望你能将这些解决方案中的一些应用到你自己的研究中,从而帮助推动生物研究企业向更大的可重复性发展。

原因1:无法重复以前做过的实验

研究人员应该能够遵循彼此的方案,使用彼此的试剂,并确信他们不是简单地做错了实验。然而,即使是简单的程序把一个盘子或者运行一个凝胶有在静态书面协议中并不总是提到的复杂之处。因此,指望一个人仅仅通过在出版的手稿中找到的缩写方法部分就能应用别人的新且非常有用的技术是有点荒谬的。

幸运的是,许多组织一直在努力提供工具,使其更容易分享有关试剂,协议,分析工具等的深入信息。当然,这是Addgene博客,当然,我将提及avwin.com mobileddgene作为测序和质量控制质粒和病毒载体的来源。vwin668当使用来自Addgene的质粒时,您可以自信地使用您订购的实际工具,而不是从冰箱中拉出的随机等分试样。

你们会在Steve Almo关于工作的演讲中看到蛋白质创新研究所(IPI)(49:45 - 1:18:45),也有倡议为未来的研究创造更可靠的试剂。我和许多抱怨抗体不可靠的研究人员谈过。IPI正致力于直接解决这一问题,通过基于社区的验证,创建针对所有人类细胞外蛋白的特征良好的抗体。他们还计划以后扩展到其他蛋白质技术。

组织如Benchsci.FPbase努力使研究人员能够更容易找到有关研究工具的信息。BENCHSCI整理有关抗体的信息,而FPBASE培养有关荧光蛋白的信息,因此您可以最好地将这些技术应用于您自己的研究需求。vwin德赢娱乐平台

其他公司喜欢ATCC.可以为您提供额外的验证试剂,并在手中使用这些试剂,您有一个良好的基础来开始试验。Protocols.io,木星, 和生物协议所有工作要提供更多描述性和交互式协议,使得更容易学习新的实验技术。电子实验室笔记本电脑也在这里发挥作用,使其更容易保留可搜索,详细说明如何实际执行实际执行,可能会限制未来的混淆(通过纸张实验室笔记本的时间筛选)。

完成实验后,您需要分析结果。作为生物学研究人员处理较大且较大的数据集并使用基于计算机的分析技术,重现性的重要组成部分确保其他人可以了解您的分析并重复它们。类似的公司代码海洋允许研究人员共享他们用于数据分析的代码,而其他组织干旱使研究人员更容易共享数据,从而使您能够在需要时对已发表的数据进行修改分析。同样的,FigShare还使得通过他们的可耻,可联系数据的策展更容易分享数据。

原因#2:隐藏的“否定”数据

我们都希望能够在提出科学的发现时讲述一个好故事。这对许多不同的级别有意义 - 从SCICOMM的角度来看,很难处理大量信息,并且通过验证的初始假设的因果关系的故事更易于理解。然而,对伟大故事的需求使得难以发布与我们原始假设冲突的所谓的“消极”结果。寻找在我们的故事中的新奇,我们还厌恶地制作重复之前发表的结果的论文。

这种过度依赖于“高影响力”出版物的完美故事可导致罕见的群体出版,显示肯定结果,当真正没有找到积极的结果。考虑到图1的假设情况,其中许多科学家正在进行类似的实验。生物学足够凌乱,偶然,一些少数科学家们将获得结果,即使大多数其他科学家没有,也会得到一个结果证实他们的假设。这些具有积极成果的科学家们做错了什么,但问题是只有这些积极的结果将发表。该出版物记录将显示测试假设是正确的(一个巨大的成功故事),即使大多数未发表的证据表明否则。其他人将继续尝试以自己的工作应用这些调查结果最终浪费时间和金钱。

发表负面结果

这个问题的显而易见的解决方案是传统期刊发布负数数据,但这是一个大问题,从日记的角度来看,可能不是大多数读者想要阅读的。

正如苏珊娜的Bachle在她的谈话中指出(29:31 - 49:45),有很多方法可以宣传消极数据 - 我们不必依靠传统的期刊。有社交媒体 - 科学推特与许多科学家分享未发表的数据非常活跃。有博客 - 谁被个人托管,包括addgene等组织(一个很好的例子是我们在Divunt基因组编辑技术上的博客文章NgAgo)。此外,还有一些组织,比如征集它的目的是在一个单一的、可搜索的空间中,合并关于类似主题的已发表和未发表的实验。最后还有一些新的出版渠道,比如F1000,peerj.,公共科学图书馆, 和bioRxiv即使不被认为立即有影响,也可以更轻松地发布(或预发布)声音数据。

我们可能会看到进一步采用促进可重复的出版实践的政策。一个例子是对等评论的出版物,以便我们在整个审查过程中看到文件如何变化。这将希望推动审查员更加富有成效的批评,这些批评少关注令人关注的人的新奇和影响。期刊也可能开始需要再现性清单这至少表明,可重复性是期刊本身的优先事项。在大学里,我们也希望看到招聘和晋升措施的转变,注重可重复性和确保科学企业的健康发展,而不仅仅是影响。

原因3:糟糕的实验设计

对积极结果感到很容易。它不仅科学和智力肯定有一个假设证实,它也意味着您更有可能获得出版物(无论好坏,如何在学术研究中取得成功)。然而,最初的积极结果和它们产生的兴奋可以偏向我们。我们所有听众的故事和阅读论文,其中研究人员一次尝试5个单独的实验,以获得假设的确认数据,并仅呈现与原始假设对齐的结果。属于此类别的其他实践包括以太少的复制进行实验,导致可疑统计显着性(您可以阅读更多关于此问题的内容巴顿等人2013Ioannidis 2005.),并通过实验中途改变实验设置,以获得更符合最初假设的结果。

很清楚,我认为大多数研究人员都以邪恶的目标做了这些事情。Indeed, it’s not always obvious that we’re doing things that make it more likely that we’ll find a fluke when we’re simply trying to get our experiments to work, but part of good experimental design is recognizing that we’re biased and taking steps to prevent our biases and goals from effecting our experiments.

我们如何产生更好的实验设计?我读到的很多东西总结起来就是:我们需要别人来审查我们的实验设计,如果我们这样做,我们需要对我们改变这些设计的原因保持透明。

这是最极端的版本(并且可能是最有效的,如果更实用)是对实验设计的预注册和审查作为出版过程的一部分(鼻子et al 2018)。在这个理想的情况下,研究人员将在执行实验(或一组实验)之前向期刊提交一个实验设计,设计将进行审查,并且如果批准,研究人员将获得原则上接受最终手稿无论最终结果是否为正或负面。

我能感觉到你在翻白眼,但即使这种理想的预登记形式短期内无法实现,开放科学中心确实主办了一个预注册的平台其中研究人员可以提交设计,并在完成实验后透明地揭示它们。这在原则上不一定被接受,但预先注册出版物的读者可以更有信心,他们正在阅读的实验不会为了追求一个积极的结果而中途改变。

除了这些更正式的系统之外,各个实验室肯定可以在必要时提高更好的实验设计实践,包括与统计学家交谈,并鼓励对实验设计的Interlab对等审查。这些是简单的步骤,但可以鼓励研究人员慢慢思考他们的偏差如何影响其实验设计。

生物科学中的可重复性问题还有更多的方面。我强烈推荐倾听小组讨论,以了解出版社如何出版社区如何观看可重复性,如何依赖于可重复性,以及如何在您自己的实验室中推动更多可重复性。虽然重复性问题很复杂,但我们有许多潜在的解决方案,可以节省您的实验室和整个研究企业时间和资金。现在是时候开始把它们付诸实践了了!


额外的资源

addgene博客上的其他资源vwin.com mobile

分享科学刚刚变得更容易...订阅博客

主题:科学共享,再现性

发表评论

分享科学刚刚变得更容易...订阅我们的博客

订阅