【论文笔记】CHI '16 Embracing Error to Enable

最近读到一篇显著提升标记数据速度的文章，原文 Error to Rapid

本篇博客记录个人对论文的总结和翻译理解，如有不足之处欢迎指正。

Error to Rapid

———————————————————————————————————————————————

一作是来自 HCI实验室的 ，这里多说几句，这位PhD小哥研究方向是计算机视觉和人机交互交叉领域，另外一位主要作者是 的优秀 Hata。话不多说，下面介绍这篇论文的内容。

一、

当前的微型任务众包（ ）使得社会科学和机器学习的数据集得到不断扩充，然而现今通过众包体系来创建大型数据集任务需要耗费较多的资金，为了使拓宽众包的应用领域，我们提出了一个针对加速二分类标注任务判断方法的技术。比起过去对的错误进行惩罚，使得他们变得更加谨慎但是速度下降，我们的方法在允许犯错的情况下加速了对分类任务的判断，并且证明了通过打乱任务顺序和对反应延迟进行建模，可以利用算法来修正这错误。为了验证这个方法的有效性，我们将提出的方法应用于图像验证、同义词、情感分析和主题分类的众包任务中，在对比原有方法（ vote）的速度上，取得了10倍的速度提升。

二、 and Work

本篇论文中，作者主要关注到的是众包任务中最普遍的 任务，就是回答yes or no 的问题。过去前人的研究工作侧重于最小化 error，如果出现错误，就会扣减他们的报酬以示惩罚。近期的方法在众人投票判定标注的时候侧重于计算最小的必要人数来减少错误，这种方法的速度取平均，这里被定为1倍速。而我们提出的相反的观点：设计出鼓励犯错甚至不可避免犯错的任务，从而大幅度地提升标注速度。当前的众包平台对错误的惩罚会导致他们更叫小心为了避免犯错而降低标注速度，而我们鼓励在可接受错误的情况下更快地完成任务。虽然会导致每个的标注精确度下降，后期我们采用算法修正了这些。

我们提出的这个方法是要求在一个快速推进的输入流中进行决策，随着这个输入流的自动推进，从中仔细观察来做出判断，然后对于输入流中的某个item按下快捷键来确认。输入流推进的方法来自李飞飞教授两篇早期的研究RSVP：rapid 和What do we in a of a real-？。由于输入流的速度很快，因此按下yes按钮一般会有延迟，我们将对这个延迟和速度的关系进行建模并分析，设计实验观察不同的速度的延迟然后从中预测并计算image对应的真实label的概率。

我们主要的贡献有以下两点：

1、在允许前期错误的情况下，大幅度提高了众包二分类任务的标注的速度；

2、证明了我们提出的方法也适用于多类别标注任务，与现有的独立技术结合，在未增加认知负荷的情况下部署任务。

部分相关研究：

本文作者提出的方法与前人研究不同之处在于改善了众包的交互界面，鼓励做出快速的决策。

1、感知速度远远快于认知速度

RSVP参考Short-term for 已经验证了对于数据流中单张图片的感知在75%精确度的情况下是125ms。然而对于理解image的定义仅有10%的精确度，参考 for a rapid of .

2、对的标注行为进行建模（众包领域）

基于前人的标注表现：（ on turk）；

对于个体的建模：（Whose vote more: of from ）；

其他领域的知识对完成众包任务的辅助作用：（The ）

极大极小熵判断：（ from the of by ）

作者从以上的研究中汲取灵感，We model each ’s as a

3、human-CV领域的相关工作

权衡标注速度和精确度的研究：1-；2-；等

权衡cost和精确度的研究：；；

相关的工作作者列举了很多，这里就不多写了。

Just like these methods, we show that non-experts can use our technique and provide expert-quality an-notations; we also compare our methods to the conventionalmajority-voting annotation scheme

三、Error-

 In this section, we detail our technique for rapid crowdsourcing by encouraging less accurate work

设计实验侧重两个方面：

（1）We thus an for high at high speed, some if .

（2）we focus on -ended tasks（封闭式任务，选择有限，不同于写作等开放式众包任务）

1、Rapid of tasks

如上图所示，在进入标注之前，提示错误是允许的，他们只需要在看到符合要求的图片后按下yes即可。为进入任务准备了倒计时提醒和正确图片提醒。按下yes按钮后，显示当前图片在内的前4张图像。

上图显示的蓝色为gt图像，红色为按下yes时刻显示的图像，通过调整速度和对延迟反应的数据分析建模，来推测正确图像的位置。

2、Multi-Class for Data

理论上，多分类问题可以转化为多个二分类问题。通过每次迭代来将多类问题转化。

四、 model

这里作者使用了极大似然估计的方法来估计每个item为正例的概率：给出一组items

I=I1,I2,……In

将他们排成不同顺序的序列给 W 个，对于每个，建立一组press：