众所周知，对内容产品来说，内容审核是绕不开一环。最近几年频频出现网信办约谈各种网站平台新闻，更是反映了内容审核的重要性。本篇文章里，作者将结合自身经验，探讨内容审核的流程、不同类型的内容以及对用户体验的影响。
一、完整审核流程
1）机器审核
利用AI技术，对用户上传的内容进行第一层过滤，或者提供一些能帮助审核的信息。
机审的结果分为两种，一种是AI能准确作出判断；另一种是模棱两可，机器无法判定。后者需要流入人工审核，这一部分一般不超过总量5%，前者则需要通过抽检来评估机审准确率。
机器识别的好处是处理效率高，能短时间处理大批量内容。缺点是不够灵活，人可以钻各种规则漏洞，机器要学会识别他们，往往需要海量的数据和算法来覆盖。
2）人工审核
机器审核无法判定的内容流入人工审核。人工审核的好处是灵活，误伤降低。缺点显而易见，人工审核效率太低。
2019年，快手新增招聘3000名内容审核编辑，将目前的审核团队从2000人扩大至5000人。国外Facebook在自有算法情况下，人工审核团队规模达到1.5万人；youtube在谷歌大脑算法支持的情况下，审核团队人数达到1万+。由此可见，哪怕机审已经过滤了大部分内容，剩下5%内容量也尤为巨大。人机协同审核仍是未来很长一段时间的内容风控模式。
另外，人工审核最好能反过来完善、提高机审准确度，在流程上形成闭环。毕竟人工审核的量只能靠更多人达到，机器审核的效率却很容易提高。
3）质量抽检
按一定比例抽检机器审核和人工审核结果。抽检机审目的是判断机审准确度，以及调整机审尺度。人审抽检主要是看是否按照标准执行，以及绩效考核。
4）高风险复审
在主流程的基础上，对“重点关注对象”再进行一次审核。高风险内容包括：高曝光内容、高曝光用户、有历史违规行为劣迹用户等。类似于直播审核中，平台会在超高流量的直播间设置常驻超管。
5）存量回扫
定期将存量内容过一遍机器审核。定期回扫原因：机器审核标准随时变动，新规则覆盖不了旧内容。存量回扫也能发现一些产品、代码漏洞。
6）用户举报
用户举报也是UGC平台必备风控手段。用户举报不仅能借助用户力量来发现漏出的违规内容，还能从用户角度来审视内容质量。网信等监管部门非常重视举报是否被处理。如果平台被发现用户举报违规内容未处理，后果会非常严重。
7）违规用户判罚
对违规用户进行判罚，禁言还是封号？判罚有期徒刑还是无期徒刑。这需要有一套完整的判罚体系，对不同类型的违规，按照某个梯度规则来惩罚。比如触碰底线问题，一次违规直接封号；低俗、辱骂这类低风险违规，先进行警告、禁言，多次违规屡教不改再封号。另外，如果平台违规情况比较严重，可以考虑公示处罚结果，有助于建立良好的社区氛围。
二、审核时机
根据内容的不同可以分为：先发后审和先审后发
先审后发适用于：风险较高内容，时效性要求不高。如内容量比较大博客、文章、音视频作品等。
先发后审适用于：时效性要求极高，或风险较低内容。如直播、IM、弹幕。
除了风险和时效考虑之外，也可以做用户分层，比如历史行为良好的优质用户，理论上不存在什么风险，可以考虑先发后审。
三、内容类型
1）文字
文字内容审核说简单也简单，说难也难。很好绕过各种规则，比如形近字、音近字、拼音、各种字符夹杂在中间。一些恶意发布有害内容的用户，会尝试各种变体，直到能发出去为止，很难从规则上完全禁止。
所以监测用户行为，对命中次数过多用户进行报警，重点筛查很有必要。
另外对文本内容处理有很多种方式，比如禁止发布、命中送审、替换等方式，可以适用于不同场景。
2）图片
依赖图像识别技术和OCR技术，分析图像内容以及图像中的文本内容。图像识别精准度一直到现在也不是太高，例如机器会根据黄色面积判定是不是色情内容。这样的识别精准度必定不会太高。
3）音频
音频识别可以做一些预处理：比如将无声、音量极小或无意义的音频，通过音频识别技术标注出来，再加上音转文+敏感词匹配，为人工审核提供尽可能多的帮助。因为音频审核不同于其他内容，时间成本比较高。
4）直播
直播是流内容，只能先发后审。现在业内通用的都是多屏滚动监控，也就是直播墙的形式，保障出问题时第一时间发现并处理。
四、审核后处理意见
审核判定问题的内容，通常有以下几种处理方式：
下架：有安全问题，既不允许传播，也不允许发布的内容。
自见：无安全问题，但不允许传播的内容。用户可以发布在个人主页，自己欣赏。
降权：无安全问题，但不符合平台调性，与平台无关的内容。
不可分发：无安全问题，有质量问题的内容。如音频音质差、视频卡顿、断帧之类问题。
五、用户体验
把控内容风险的同时，一定会对用户体验带来负面影响，如何降低影响：
尽量让用户发布流程完整，体验更好。非必要时不去打断用户，比如禁止发布这样的设计就要谨慎使用，更好的替代方案是：允许用户发布，在之后的审核流程中进行下架或其他操作。
白名单机制：保障核心用户的体验不受影响，甚至更好。比如对白名单用户发布内容优先审核，或先发后审。
提高审核时效，让用户对审核时间有预期。审核时效的提高仰赖于审核技术和审核流程的完善，审核时间的预期则可以从产品设计上下手，缓解用户等待审核期间的焦躁情绪。
上面三点都是优化发布者的体验，对消费者来说，可能重点应该就在推荐系统上了，比如：
如何隐式、显式的收敛用户兴趣，从而推荐用户更喜爱的内容。从用户使用感受的角度设计举报功能，听取用户的意见。发动用户来共建内容氛围。
六、例子：文本审核
笔者所在公司搭建了自有文本审核体系。
1）词库管理
除了基本的增删改查功能，还需要注意以下几点：
敏感词是否需要做细分，比如我们将敏感词分为高、中、低危三个等级，高危敏感词大多是明确涉政，各个业务线都禁止发布，中、低危敏感词则流入人审。分级的目的是降低误杀，保障用户体验，因为高危敏感词其实只占很小一部分。
是否需要分词库，这通常取决于业务线多少，差异有多大。笔者一开始的需求方案是分默认词库+业务线特殊词库，但后来发现并没这个必要，因为我们的业务线差异最大的也就是直播（对一些低俗内容放的比较宽），分完级之后完全可以支撑。
2）匹配规则
为了尽可能捕捉到违规内容变种，文本审核要支持多种匹配规则，这里举一些例子：
英文字母转大小写：所有字母转小写后再匹配
特殊字符清洗：除中文、英文、数字之外的其他字符，一律视作特殊字符，在匹配之前应该清洗掉
中文转拼音：中文转换成拼音，能匹配到同音字的变种
通配符*：通配符可以用来模糊匹配任何字符，比如“办*证”，就能匹配到“办伪证”等
繁体转简体：繁体转换成简体后再匹配
3）业务接入
审核业务作为中台定位服务，应该方便各个业务线接入。尽量把可配置的业务抽象出来，方便各个业务线灵活的接入。
4）黑白名单
其实更确切的是名单管理，名单里可以灵活配置，匹配到某个词时，想要返回什么样的结果。名单可以启用和关闭，特定时期的敏感词用名单来管理就很方便。
白名单中的敏感词就是在匹配过程中应该忽略的，比如“中国”是敏感词，而“中国好声音”、“我爱你中国”是没有风险，那么“我爱你中国，我为你自豪”就不应该被命中。
5）在线检测
提供在线检测的功能。一是改动敏感词后，可以检测是否生效；二是不确定的内容，可以通过检测确定有无风险。
6）数据统计
敏感词拦截量、拦截率：敏感词拦截情况如何，可以看出敏感词设置的是否合理，对业务造成影响如何。比较合理的拦截量应该在3%～5%。
具体拦截情况，比如拦截量最大的敏感词是哪些，这些敏感词设置是否合理，针对这些敏感词是否有更好的方式。
总之，数据能够暴露出挺多问题，也能给后续迭代提供思路。（本文由 @挪威的浆糊 原创发布）