1982年，来自美国北达科他大学的DouglasP.Peters和来自康奈尔大学的StephenJ.Ceci做了一项实验，我们不妨称之为“重复投稿实验”，非常精彩，以至于我希望有人能把这个实验写进某本教科书。论文题目是Peer-reviewpracticesofpsychologicaljournals：Thefateofpublishedarticles，submittedagain。在这个实验中，他们从12本知名心理学期刊上挑选了12篇美国知名心理学系发表的论文，删除论文中的作者与机构，编造了新的机构名称和作者姓名，然后投稿至这12篇论文原本发表的期刊，结果，8篇论文被拒了，理由竟然都是方法存在严重缺陷。
作为科学守门人的期刊编辑和审稿人竟然如此靠不住？且慢，总感觉哪里不对。
原文中的机构是知名机构，原文中的作者是知名作者，而重新投稿的论文中的机构和作者姓名是瞎编的，审稿人在审稿的时候会不会受机构与作者的声誉影响？有可能，因为这12本期刊都是单盲审稿制度，也就是说，审稿人知道作者是谁，但作者不知识审稿人是谁。
那么，论文质量就那么不重要吗？有没有可能不是质量问题，而是之前的审稿人水平太差，让这些论文得以发表，重复投稿时，正好遇到的审稿人水平都比较高？
不太可能。如果审稿人的水平（分高、低两种）是随机分布的，那两次审稿过程中低—高组合的概率是1/4，也就是说，重复投稿的论文有25%的概率会因为审稿人的水平变化被拒，但实际结果是12篇论文中有3篇被编辑和审稿人发现是重复投稿，另外9篇送审之后，8篇被拒了，这概率也太高了。
有没有可能不是质量的问题，而是审稿人其实读过或者听过这些论文，审稿的时候虽然没发现是重复投稿，但不觉得这些论文贡献了新知识，所以就拒稿了？
同样是不太可能。两位试验者Peters和Ceci查阅了拒稿意见，发现几乎所有审稿人都认为方法存在严重缺陷，而没有审稿人认为“内容太老”“没有贡献新知识”“相似研究已经有人做过了”等等。
有没有可能不是质量的问题，而是两次投稿时间间隔太久，科技的发展把老的论文淘汰了，所以重复投稿时，审稿人一眼就看出过时了？
不太可能。Peters和Ceci在挑选样本的时候，特意选了在过去18~32个月之间发表的论文，这个领域（心理学）、这些论文不至于让审稿人一看就觉得太老。
为什么审稿系统发现不了重复审稿？因为1982年可能还没有审稿系统，1982年更没有抄袭检测系统。
为什么审稿人发现不了重复投稿？有没有可能是这9篇论文水平太差，审稿人根本不会读到？不太可能。
因为Peters和Ceci在挑选样本的时候，特意选了心理学领域12本知名期刊，同时，这12篇论文的被引次数都在期刊的平均水平以上。如果这就是同行评议的真相，我们可以做些什么？Peters和Ceci提出的建议如下：
1.建立数据库。Peters和Ceci在1982年时一定没想到，他们关于建立computerbank（原文的用词）的想法后来被叫做database，这一点，现在的审稿系统已经实现了，同时，审稿系统里的抄袭检测功能让重复投稿无法实现。
2.建立对审稿人的评价机制。Peters和Ceci认为可以让作者根据审稿意见对每一位审稿人的水平（是否公正、是否认真、是否具有建设性）进行评价，尽管作者不知道审稿人是谁，但评价结果主编和编辑可以看到。40年过去了，这一机制仍然没有实现。
3.建立开放同行评议制度。这真是惊为天人。让论文连同审稿意见和作者回复一起发表，这难道不是NatureCommunications等少数期刊倡导并实践的OpenPeerReview吗？原来这一想法40多年前就被提出来了，他们的用词是OpenPeerCommentary，1979年由StevanHarnad首次提出，文章值得被记住，标题是CreativeDisagreement。
作者:李江