3、human-CV领域的相关工作
权衡标注速度和精确度的研究：1-；2-；等
权衡cost和精确度的研究：；；
相关的工作作者列举了很多，这里就不多写了 。
Just like these methods, we show that non-experts can use our technique and provide expert-quality an-notations; we also compare our methods to the conventionalmajority-voting annotation scheme
三、Error-

文章插图
In this section, we detail our technique for rapid crowdsourcing by encouraging less accurate work
设计实验侧重两个方面：
（1）We thusanforhighat high speed,someif .
（2）we focus on -ended tasks（封闭式任务，选择有限，不同于写作等开放式众包任务）
1、Rapidoftasks

文章插图
如上图所示，在进入标注之前，提示错误是允许的，他们只需要在看到符合要求的图片后按下yes即可 。为进入任务准备了倒计时提醒和正确图片提醒 。按下yes按钮后，显示当前图片在内的前4张图像 。

文章插图
上图显示的蓝色为gt图像，红色为按下yes时刻显示的图像，通过调整速度和对延迟反应的数据分析建模，来推测正确图像的位置 。
2、Multi-ClassforData
理论上，多分类问题可以转化为多个二分类问题 。通过每次迭代来将多类问题转化 。
四、 model
这里作者使用了极大似然估计的方法来估计每个item为正例的概率：给出一组items
I=I1,I2,……In
将他们排成不同顺序的序列给W 个，对于每个，建立一组press：

• 同治皇帝有着怎样的生平经历？同治生平简介
• 我太难了
• 【玩转烟台】这个夏天，来昆嵛山消夏避暑 烟台的中国之最昆嵛山
• 自然笔记：旅人徐霞客 面点奇人吉尼斯记录
• 人生三板斧 深度好文 木头世界之最
• 解密旧上海*局：商行和典当铺竟串通起来坑人
• 揭秘:李鸿章为何总能一看看透皇帝的心思？
• 【领域泛化论文阅读】Embracing the Dark Knowledge
• 王象乾生平简介，他有着哪些轶闻趣事
• 状元龙汝言：马屁状元龙汝言荣宠不绝的秘密