别被一堆Strong Accept吓住:德州农工×康奈尔实锤论文晒分“系统性虚高”

研发家 | 2025-11-06 0

知乎/小红书上动不动就是 Strong Accept,但这并不是“学术界真实分布”。德州农工×康奈尔用跨平台数据实证:网上晒出来的分数,是被幸存者、抱怨者、边缘者三重力量系统性抬高的。

别被那些截图刺到心态——你看到的,并不是“全体”。

每当你在知乎、小红书或 Reddit 等平台上刷到别人晒出的会议投稿分数时,是否也会暗自感叹:“怎么大家的分数都这么高?”

在学术圈中,优秀的作品总能迎来高光时刻——作者乐于分享,围观者也乐于点赞。相较之下,那些被拒稿、分数偏低的“失败案例”,常常悄然隐没于网络暗角。

于是,我们在学术社区里看到的讨论,往往带着一层“光鲜滤镜”,即上行偏差(upward bias),让我们误以为高分才是常态。

德州农工大学和康奈尔大学的研究团队基于知乎和 Reddit 上关于 ICLR、ACL、EMNLP 等多个顶会的讨论帖定量地验证了这一观点:在线讨论平台上作者分享的审稿分数,并不能代表全局,它们普遍高于真实分布。

更有趣的是,研究者发现这一现象的背后,并不只是幸存者偏差在作祟,而是至少有三类作者共同推动了这种上行偏差的形成:

Survivors(“幸存者”):也就是那些论文被录用的作者。他们更倾向于分享成功、展示成绩;而被拒的作者则往往选择沉默。这种录用帖子与拒稿帖子比例的失调,使得线上样本整体呈现出明显的高分偏向。

Complainers(“抱怨者”):在被拒稿的作者中,那些得分较高却依然未被录用的人,更倾向于发帖质疑审稿意见或流程、表达不满;而“低分被拒”的作者则往往选择沉默。这种对“高分被拒”样本的偏好,使线上讨论的分数分布进一步被推高。

Borderliners(“边缘者”):在尚未公布录取结果的阶段(例如 rebuttal 期间),那些分数处于“可能被录取、也可能被拒”边缘区间的作者往往更焦虑,也更渴望获取信息。

他们常在论坛发帖求问:“我这个分数有希望吗?” 由于绝大多数顶会的录取率远低于 50%,录取线附近的分数本身就高于总体中位数,因此这类作者的活跃发帖也进一步加剧了上行偏差。

论文题目:

Survivors, Complainers, and Borderliners: Upward Bias in Online Discussions of Academic Conference Reviews

论文链接:

https://arxiv.org/abs/2509.16831

“上行偏差”广泛存在

研究者从知乎和 Reddit 这两个平台上关于 ACL 2024,EMNLP 2024,ACL 2025,ICLR 2024,ICLR 2025 五次顶会的讨论帖中收集了 1,261 篇投稿作者分享的审稿分数(以下简称样本)。将之与官方公布的该次会议所有投稿的得分(以下简称总体)分布进行了对比分析。

结果显示,在所有被分析的会议中,线上讨论帖中的样本分布普遍高于总体分布。并且这一“上行偏差”的存在是跨会议、跨年份、跨平台、并且统计上显著的。

换言之,作者们在网络上分享的论文分数,整体上被推高了一个档次。线上世界展现出的学术生态,比现实中的要光鲜得多。换句话说,当你看到“我的论文拿了 4 个 strong accept 被录用”的帖子,千万不要把它当作常态。

是谁在推动“上行偏差”?

为了理解上行偏差,研究者进一步拆解了背后的动因,发现至少有三种类型的作者在发挥作用。

2.1 幸存者(Survivors)

幸存者偏差是直观上最容易想到的原因之一。事实上,分享自己会议投稿的帖子可以分为三类:汇报了投稿被接收、汇报了投稿被拒绝、没有汇报结果(例如仍在 rebuttal 中,还不知道结果)。

基于前两类,我们可以计算出样本录取率,并将之与总体录取率进行比较。研究者发现在绝大多数会议中,线上讨论帖中样本录取率都远高于总体录取率。

例如在 ACL、EMNLP、ICLR 的知乎和 Reddit 数据中,样本录取率分别是总体录取率的 2.06 倍和 1.87 倍!

与所有投稿的分数分布(这类数据通常难以获取,只有如 ACL Rolling Review 和 ICLR 等少数会议会公开)不同,各大会议的录取率在 proceedings 中相对容易查到。

基于此,研究者进一步比较了 WWW、KDD、CVPR、AAAI 等会议的官方录取率与在线讨论样本中的录取率,结果同样揭示出显著的幸存者偏差:在这些会议的线上讨论中论文被录取的比例是现实中的 2.98 倍!

2.2 抱怨者(Complainers)

幸存者效应揭示了录用帖子与拒稿帖子之间比例的失调。那么,在被录用的作者群体中,有没有一部分人比另一部分人更愿意分享成功呢?同样地,在被拒稿的作者群体中,有没有谁更可能选择发声呢?

研究者进一步分析了作者分享的被录用与被拒稿论文的平均审稿分数在其对应总体分布中的位置。

他们以 ICLR 会议为例,绘制了被录用论文和被拒稿论文的总体累积分布函数(CDF),分别用蓝色和红色表示,并在图中标出了知乎和 Reddit 上作者报告的平均分数均值(黑色和灰色虚线),以直观展示线上报告分数在总体分布中的分位位置。

结果显示,被录用论文的作者分享的平均分数均值大致落在所有被录用论文总体分布的中位数附近。这意味着,在被录用论文中,“超高分,有机会获奖”的论文与“低分飘过,将将过线”的论文的作者参与线上讨论的概率大体相当。

然而,被拒稿论文的情况则截然不同。线上讨论中被拒稿论文的平均分数明显高于所有被拒稿论文的平均水平。

在 ICLR 2024 和 ICLR 2025 中,知乎和 Reddit 上被拒稿论文的平均分数均值位于被拒稿论文总体分布的前 0.6%-19.6% 分位!

值得注意的是,Reddit 上 ICLR 2025 的相关讨论中,作者分享的被拒稿论文平均分甚至达到了 6.527,超过了同期作者分享的被录用论文平均分 6.451!

这表明,在被拒稿作者中,“高分被拒”的抱怨者更可能选择发声、表达不满;而“评委一致给低分,无悬念被拒”的作者们则更可能沉默不语。正是这种存在于被拒稿的作者群体内部的选择性发声加剧了上行偏差。

2.3 边缘者(Borderliners)

上面的讨论中只涉及了两类帖子:汇报了投稿被接收、汇报了投稿被拒绝。那么对于没有汇报结果的帖子,上行偏差是否仍然存在呢?

研究者发现,即便只考虑没有汇报结果的帖子(即排除了幸存者和抱怨者效应),样本分布仍然显著高于总体分布。

为了探究为何未报告结果的帖子仍会表现出上行偏差,研究者将这些未报告结果的样本累积分布函数(CDF)与总体 CDF 进行了对比分析。

可以发现,未报告结果的作者的审稿分数往往集中在录取线附近。以 ACL Rolling Review(即 ACL 和 EMNLP)为例,未报告结果的样本中,审稿分数的中位数和众数均为 3.0。在总体分布中,这一分数段恰好覆盖会议录取率所对应的分位数。

ICLR 的情况也类似,未报告结果的样本 CDF 在低分区域低于总体 CDF,但在高分区域高于总体 CDF,说明样本更多集中在中间分数区间。

在收到审稿分数与最终录取通知之间,录取线附近的作者(即“边缘者”)常常面临显著的不确定性,因此会主动利用知乎、Reddit 等在线讨论平台进行信息搜寻,希望通过他人经验和建议,更准确地评估自己论文的录取机会。

而分数非常高或非常低的作者,由于结果较为确定,参与讨论的动力较小。因为绝大多数顶会的录取率远低于 50%,边缘分数区间通常高于总体中位数,因此“边缘者”的活跃发帖也进一步加剧了上行偏差。

我们该如何理性看待大家的晒分帖?

这项研究告诉我们,有三类作者合力,让我们在线上讨论中看到的审稿分数,比真实平均水平好看许多。同时,这也给学术圈里的在线平台“信息消费者”们带来了几条提醒:

  • 不要迷信样本平均值:线上晒分帖是作者自我选择的样本,上行偏差普遍存在,不足以代表会议的整体水平,尤其不要让它们误导了你的 rebuttal 策略。

  • 要多看官方统计:像 ICLR、ACL Rolling Review(ACL,EMNLP,NAACL)等会议,会公开整体分数分布,这才是判断标准的依据。同时,也应当呼吁更多会议的组织者们发布官方统计。

  • 更多线上讨论参与者将传递更准确的统计信息:如果你是作者,无论你的投稿获得了怎样的分数,是否都愿意在讨论平台分享?

更多阅读

#投 稿 通 道#

让你的文字被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注

• 稿件建议以 markdown格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬

赞一个

分享:
打开微信扫一扫
0
版权及免责声明:本网站所有文章除标明原创外,均来自网络。登载本文的目的为传播行业信息,内容仅供参考,如有侵权请联系删除。文章版权归原作者及原出处所有。本网拥有对此声明的最终解释权
更多服务
招商合作
请您完善以下信息,我们会尽快与您联系!
论文投稿
参加会议
合作办会
期刊合作
论文辅导
科研绘图
论文翻译润色
论文查重
其他
提交
专家招募
个人信息
联系信息
提交
在线客服
商务合作
专家招募
常见问题
手机端
扫描二维码
与学术大咖共探知识边界
出版无忧
投稿无忧
翻译服务
润色服务
自助查重
排版校对
科研绘图