编者按：本文来自微信大众号“爱范儿”（ID：ifanr），作者吴志奇，文章有删减。36氪经授权发布。
在柏林不起眼的作业室里，600 名职工如严寒的机器一般，目不斜视地盯着屏幕，拿着一个鼠标一再点击，却做着影响全球 20 亿人的作业：
网上每天超越一百种言语的数十亿帖子，哪些能够放出？哪些需求保存？哪些需求马上删掉？
他们是 Facebook 的内容审阅员们，简直每 10 秒就要做出一个决议。
▲Vice 实探 Facebook 的审阅职作业环境. 图片来自：MAX HOPPENSTEDT
这个团体，大部分其实并不了解。他们不在莫测高深的暗网，也并非和网民近在咫尺，但近月加州大学教授 Sarah T. Roberts 出了一本新书《屏幕背面》讲到：
交际媒体上最昏暗的一面，不在广阔网民的的屏幕里，而在内容审阅员眼前。
▲ 图片来自：《网络清道夫》截图
1 天审 25000 条内容背面
你好，你宣布的 ***，由于含有违背相关法律法规或办理规矩的内容，已被移除。
国内外各大互联网公司每年都在扩招内容审阅员的岗位，单 Facebook 在全球就现已有 20,000 多名审阅员，这好像是一个永久都在缺失中的作业。
在前期，互联网仍是一片涣散的网络，连接数十亿个网站和社区的人们，跟着互联网越来越「公司化」，Facebook，YouTube，Instagram......内容审阅员开端出现，用来监管它们各自的网站。
所以简略来说，内容审阅员便是将网上涉嫌违规的内容删掉的人。不过它带给人们的第一印象，一般都是「鉴黄师」。
「鉴黄」没错，但仅仅作业内容的一部分，虽然许多人还以为这是一种额定福利，但它并没人们幻想的那么简略。
在一部《网络清道夫》的纪录片中，Facebook 的内容审阅员一天的处理目标是 25000 个。而这些内容中遍地都是儿童色情、恐怖主义、自残虐杀、极点安排言辞.......他们的责任，是把最龌龊和厌恶的信息阻隔在咱们能够看到的国际之外。
▲ 图片来自：《网络清道夫》截图
影响、压抑、愤恨、冷酷、品德斥责......各种心情稠浊，不断改写感官、应战忍受极限。但这不是过山车，翻腾后就能回到地上，每个新上岗的人一直得在车上，只能从原始的影响渐渐变成习气后的麻痹。
“要坐这个作业，你有必要成为一个刚强的人，并且非常了解自己。”
▲ 图片来自：《网络清道夫》
而据国内某互联网企业的职工叙说，他们的日常作业，除了会出现一些极点的状况，大部分时刻能够说是重复乃至有些单调的：
单一的作业环境。
盯着屏幕一整天，白天黑夜紊乱。
从不计其数的自拍照、休假照、恶俗视频里，要点查找涉黄和涉政，还有一小部分赌博、高利贷、卖枪卖药的帖子。
删去，再看，再删去，再看。
▲虽然是闻名的越战相片，但也会也由于「保卫未成年人的裸照」而被删去
别的，他们的均匀薪水高于最低工资。内容审阅规矩非常含糊，且常常改变，大部分靠既定模型和长时刻经历中掌握规范，但有时分看上头指令，有时分看上司指令。每个月都有人来，有人走，公司历来不留人。
仅仅一群普通人忽然触摸到了忌讳国际，由于频频血腥而严酷的内容，导致压力也越来越大，累计到必定阙值就开端溃堤。
2017 年一桩 Facebook 的团体诉讼案中，数千名内容审阅员表明在作业中受到了严峻的心思损伤，导致发作伤口后应激妨碍，「睡觉中一点响动都会让我有遭受事故的幻觉」。
但这又是一份不可或缺，至关重要的作业：网络清道夫，便是互联网的安全卫士，假如他们不整理违禁内容，不阻挠那些不合法信息，就会有更多青少年和小孩看到。
Google、Facebook 这些大公司非常重视它们，现在现已简直让数十万人任职，虽然它们也为审阅员供给了心思健康咨询和查看，但也仍然供认，内容审阅员是科技界最具心思伤口的作业之一。
那这份「哀痛作业」，有没有或许用更好的方法去处理，乃至，人类能够不再做这类作业？
无法消失的内容审阅员
事实上，现在的内容审阅只能是人来进行的——猫捉老鼠的游戏。
但好的一面是，现在还有 AI 能帮他们预先灭掉「一窝蛇鼠」。
跟着互联网公司审阅员投诉和反对事情屡发，再加上互联网用户上传内容量添加，头部渠道每天发生的 UGC 内容量更是天文数字，人力投入贵重且难以扩展，所以现在简直一切公司，都现已在用「人+机器」的内容审阅方法。
▲ yahoo开源过一套深度学习神经网络，能给图片评价一个 NSFW（Not Suitable/Safe For Work）值，最无害的是 0，最极点是 1
国内最早使用 AI 技能从事内容审阅服务的图普科技，听说现在关于色情、暴恐、低俗、欺诈等内容现已能到达 99% 的辨认率，下降 90% 以上的人工审阅本钱。
在人机结合的审阅里，首要 AI 会进行第一阶段海量内容的审阅，区别正常内容、确认的不良内容以及不明确的内容，然后帖子被分类分配出来，再由审阅员对「不明确的内容」进行人工复审。
这样一来，AI 能够帮内容审阅员减轻负担，让他们更高效地去做决议计划，专心于数据剖析。
但要让人工智能替代人力，现在仍然像是天方夜谭。
虽然 AI 技能发展越来越快，可是由于自然言语处理（NLP）的难度，机器有理解言语上，还不能到达人类的思想程度，所以审阅文字也会失误，更何况是图片、音频、视频。
深度学习的局限性在于，假如要创立精确检测成人内容的神经网络，则有必要先让 AI 在数百万个带注释的成人内容来练习。没有高质量的训练数据，AI 就很简单犯下过错。
▲ 图片来自：《网络清道夫》截图
AI 拿手辨认色情、垃圾邮件和虚伪帐户，但由于审阅量太大，类目许多，鸿沟含糊，就像女人母乳喂养、月经艺术、战役暴行，也会被误以为违禁内容，被 AI 辨认挑选出的违禁图片里，还有数不尽的加菲猫，由于有它的画面里，简直都是黄色。
究竟机器是人「喂」出来的，所以机器现在首要仍是帮忙作业，无法考虑和判别有价值观的「违禁内容」。
比方仇视言辞和打扰方面，它辨认的精确率就很差，Facebook 以为它们或许需求 5 到 10 年的时刻才干开宣布能够发现仇视言辞的 AI。
▲ 图片来自：MICHELLE THOMPSON
图普科技 CEO 李明强在承受爱范儿采访时也表明：
不得不供认的一个事实是，现阶段 AI 还处于弱人工智能阶段，只要将来 AI 具有自主学习、独立考虑的才能，到达人类的理性和理性判别，也便是强人工智能阶段，那时才有替代人力的或许。
因而，内容审阅员在未来很长一段时刻内都不会消失。
在这绵长的未来里，能够预见的是，跟着信息传播量越来越大，图片视频款式不断创新，AI 技能会不断晋级，内容审阅员也只会被持续要求检查更高规范的、具有细微差别的违禁内容。
▲ 图片来自：CONTENTBOT.NET
仅仅未来，网络环境也不必定就会更「绿色健康」。
无法消失的网络黄暴恐
和内容审阅员相同，黄暴恐或许也会一直在网上「存活」。
在这个比以往更简单自在表达的当下，人人宣布自我的声响，但这份自在归于一切人，咱们很难确保他人的自在不会损伤到咱们本身，这是必然会发生的价值。
▲ 图片来自：SETH LAUPUS
一起，跟着互联网内容工业的竞赛进入下半场，各家的流量之争也越发剧烈。
每个渠道的内容审阅员，除了删去违禁内容，也会有知道地只放对渠道有利的内容，然后打造出自己渠道一起的品牌风格，这也是品牌维护的一种方式。
但一切渠道一起的一点是：它们都需求靠用户的注意力存活下去。
▲ 图片来自：SHUTTERSTOCK
为了让用户不断上瘾，这些公司就会经过越加精准的数据算法加上人工挑选，让人们在渠道上逗留更久时刻，让人们越想看的越出现，但：黄、暴、恐恰恰便是人道愿望之地点。
在一个又一个网络热点中，现已能够看出，人道天性就喜爱不断改写底线的、应战忌讳的、鼓动敌对的、制作愤恨的内容，恰恰交际渠道却想要坚持绿色健康夸姣光亮的环境——这是个永久无法处理的对立。
▲ 图片来自：《网络清道夫》截图
在这种抵触之下，各大渠道好像只能险中求稳。
对网民来说，虽然咱们看到的内容，是被挑选过的，或许被定制过的，并且它会让咱们无法知道深层的丑陋本相，但更重要的是咱们在任何状况下，都具有批评和考虑的才能。
比起让无底线的霸凌、违法、侮辱、反抗遍及全网，把灾祸的火苗在源头掐灭，总之来说利大于弊。
内容审阅员无法消失，「黄暴恐」也无法消失，咱们只能让技能愈加先进，让规矩愈加明晰，否则互联网或许会朝着无法回头的极点走去。
▲ 图片来自：TIN VARSAVSKY／FLICKR
但无论什么状况下，对咱们而言最重要的，正如扎克伯格在一次发布会上所说：
咱们需求勇气去挑选期望而非惊骇，去宣示咱们能让国际变得更夸姣。咱们有必要坚持达观，正是这份期望和这份达观促成了一个个巨大的前进。更重要的是，咱们需求一起努力。
究竟比照实际的深渊，内容审阅员看到的严酷万象，也仅仅冰山一角。
