G.O.S.S.I.P 阅读推荐 2022-05-18

你是否经常被审稿人拒绝？你是否在深夜收到拒信后痛骂审稿人对你的论文包含的闪光点一无所知而只会吹毛求疵？安全研究人员发起狠来连自己的社区都要攻击，到底顶会审稿流程中有哪些不为人知的秘密，为什么审稿人会承认会议审稿流程充满主观色彩？今天我们就来看看IEEE S&P 2022上这篇揭秘本社区审稿“黑料”的研究论文 “Flawed, but like democracy we don’t have a better system”: The Experts’ Insights on the Peer Review Process of Evaluating Security Papers

对于经常投稿（和被拒）的论文写作老手来说，下图的流程是再熟悉不过的了，但是很多新同学会对这个过程感到陌生和神秘，其实这个过程并不算特别复杂，大家更关心的是这个过程到底存在什么相关的问题（“为什么总是我的论文被拒”），本文针对系统安全领域投稿和审稿的问题开展了调研。

首先把论文中劲爆的结论总结一下（研究人员像卢梭一样诚实）：

• 审稿人对论文的质量评估会充满主观色彩

• 审稿过程（特别是针对weak accept和weak reject的文章）存在很大的随机性

当然，论文也表达了两个中立的观点：

• 和普通的PC member相比，PC chair更加注重从整体论文质量把控的视角去观察

• 拒稿意见往往比录用意见更加具体和多样化（录用的意见千篇一律，拒稿却各有各的理由？）

进入正文，作者指出，在软工领域和人工智能领域，都有人分析过研究社区在审稿流程中的科学性，而安全研究社区却缺乏这么一篇论文，于是作者铃儿响叮当当仁不让地完成了这一调查，从富有经验的安全从业人员中寻找了21位专家来面谈（zoom），得到了本文的诸多结论。

本文作者一开始就问所有受访者，到底什么指标是审稿人接收一篇论文的关键因素，结果发现21位受访者并没有达成什么共识，除了这个虚无缥缈的“novelty”得到 了其中19位受访者的支持以外（来看一段绕口令：the papers should provide a novel insight either by addressing a novel problem or by providing a novel solution to a known problem），其余竟然没有什么指标是能得到半数以上的票数，其中一位受访者还说：So, security is an area where there are not anykind of hardened established metrics for evaluating security itself

看完上面这段，你可能会觉得很失望，审稿人在接收论文这方面的意见是不是太主观了？当然，有很多审稿人会关注论文的实验部分（我们经常会看到一些论文在设计部分篇幅很长，实验部分篇幅很短），也有好几个受访者对参考文献和写作有所关注，还有许多人表示在审稿级别稍微弱一些的安全会议的时候，会对论文的novelty要求有所宽松。

作者指出，知道论文为什么被录用可能比较困难，但是论文为什么被拒稿，往往有明确的原因，这部分可能是所有投稿人需要特别注意的。有一位受访者坦陈"We know that the acceptance rate is so low (at these conferences) that sometimes there can be a tendency from the reviewer side to look for reasons to reject instead of reasons for accepting a paper." 让我们来看看你是如何踩红线，然后被女神拒绝的：

由于审稿人在顶会审稿中会考虑到控制录用比例（高考大省既视感），因此上述一些“自寻死路”的做法只要一出现，基本上就会被审稿人抓住，然后把你的论文枪毙掉。当然这里面也有很多主观的判定，但是基本上在写作中可以尽量去避免的，大家在写作的时候要学会技巧，也就是一定要避免给审稿人留下上述的主观感觉！

本文的另一个调查针对的是担任过安全会议chair的受访者，想要了解他们的心态。首先，大家都表示，在对诸多投稿论文进行录用或拒稿决定时，作为会议的组织者，都会考虑文章是否推进了本领域的知识边界，如果能够包含令人信服的突破或者不寻常的技术，再加上写作非常好，那肯定是会成为顶会最欢迎的作品。担任过chair的审稿人其实内心里面是很想录用所有的好论文的，因此他们也更多地会尝试给作者提供积极的审稿建议（constructive feedback）去帮助作者改进论文。此外，PC chair的主要职责往往还包括对录用论文进行反复检查，看看这些结果是否已经在其它会议或期刊上发表过，以及论文中是否存在错误而审稿人没有发现。除了对论文本身进行检查，PC chair还会组织审稿人进行讨论并促进更为公平的审稿环境，同时也会在挑选论文上进行平衡，防止单一性。我们要向PC chair表达敬意！！！

本文中一个很重要的部分是指出审稿人应该怎样审稿才能给作者最多帮助，在这个部分，大部分审稿人都觉得应该给作者提供constructive and actionable feedback，而不是简单的挑毛病；同时，审稿意见和论文写作一样，需要严肃认真，既要详细全面，又要逻辑严谨保持客观。因为很多审稿人自己本身也不断在投稿，相信大家都有同样的感受，不喜欢被一个不负责任的审稿人草草拒掉了事。

最后，作者对当前系统安全会议中审稿流程的一些缺陷进行了总结，这其中主要的问题就是前面提到的审稿过程中的不确定性：一篇文章可能在前面一次评审中得到很差的评价，在后一次评审中又被奉为圭臬。而这背后隐藏的更为深入的问题在于，很多投稿人会利用这种不确定性去“game the system”，通过反复投稿，总会遇到xx的审稿人，然后就被录用了。当然，审稿人也承认，审稿机制不可能做到100%的确定，这种博弈肯定还会在日后长期存在。当然，也有受访者希望引入惩罚机制，对这种行为实施更多的威慑。

受访者们还对现在会议提供的revision机制（或者提供前一次投稿的审稿意见）进行了讨论，有人认为这是个很好的机制，如果不是这样，每次被拒的论文重新投稿后换了一批审稿人，前一次的审稿意见就基本上起不到太多的帮助；但也有人觉得很多审稿意见其实言之无物，如果老是参考前面的review，作者自己的想法说不定都被改得不成样子了，也许坚持自我反而是一件好事——三位受访者都表示如果你觉得你论文没问题，而审稿意见很糟糕，你可以直接重新投稿，不用再改什么。

对于现在四大会议论文投稿数目越来越多，同时由于投稿机制从原来的一年一次改为了一年n次，大家都表示这个确实给审稿人增加了很多负担，而且那些反复重投的论文更是让审稿负担重这一问题雪上加霜，受访者表示几大安全会议可以考虑互相沟通。同时，程序委员会里面的成员也存在着审稿喜好（有人格外喜欢或者憎恨某一领域）的现象，这导致了审稿的过程中有些文章被录用/拒稿的几率更大，但是现在好像也没有什么好的办法？（果然任何领域都有追逐热度的情况）

在很多时候，投稿的同学往往会关注审稿意见，而看不到审稿意见背后隐藏的PC discussion这一环节，作者指出，对于论文的命运，这个环节有时候会比审稿本身起到更重要的决定性作用，特别是那种可录用可不录用的论文，审稿人一般在这个环节就可以充分参考别人的审稿意见，查缺补漏，防止明珠投暗。但是（这该死的）疫情出现后，很多线下的PC discussion会议改成了线上讨论，大家发现在线上讨论的时候，审稿人就很不积极（摸鱼现象严重），所以我们还是期待世界早日恢复正常吧。

针对现在安全会议的一年n次投稿，很多受访者觉得这是好事（受访者自己大部分也都是积极的投稿者），当然受访者们也提到这个会纵容很多投稿作者，来我们大声念这个单词procrastination，procrastination，procrastination！当然，对于审稿人和会议组织者来说，这种n次投稿机制也不是没有弊端的，比如在前面轮次和后面轮次，对论文的审稿一致性怎么把握？

最后，受访者也觉得社交媒体的出现导致很多作者会用各种技巧去透露自己的研究工作，破坏了双盲原则，作者把这个问题也丢给了安全社区，请他们去认真考虑如何在新时代保证双盲审稿的公平性（或者作出相应的改变）。

本文算得上是安全研究社区的良心之作，揭秘了大量审稿过程中并非所有人都了解的细节，也可以看出来研究人员其实本质上都是好人，大家都是从被拒稿过来的，伤害代代相传（误）。最后的最后，用其中一位受访者的话来总结当前的审稿机制就是 "It is a flawed system, but like democracy, we do not have a better system to replace it."  我们希望大家在投稿遇到挫折的时候不要气馁， 也不要对审稿人有什么偏见，看成败，人生豪迈，只不过是从头再来（手动狗头）！

论文PDF：

https://adamdoupe.com/publications/peer-review-process-oakland22.pdf

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2022-05-18