内容风控体系概况

/ 0评 / 0

众所周知,对内容产品来说,内容审核是绕不开一环。最近几年频频出现网信办约谈各种网站平台新闻,更是反映了内容审核的重要性。本篇文章里,作者将结合自身经验,探讨内容审核的流程、不同类型的内容以及对用户体验的影响。

一、完整审核流程

1)机器审核

利用AI技术,对用户上传的内容进行第一层过滤,或者提供一些能帮助审核的信息。

机审的结果分为两种,一种是AI能准确作出判断;另一种是模棱两可,机器无法判定。后者需要流入人工审核,这一部分一般不超过总量5%,前者则需要通过抽检来评估机审准确率。

机器识别的好处是处理效率高,能短时间处理大批量内容。缺点是不够灵活,人可以钻各种规则漏洞,机器要学会识别他们,往往需要海量的数据和算法来覆盖。

2)人工审核

机器审核无法判定的内容流入人工审核。人工审核的好处是灵活,误伤降低。缺点显而易见,人工审核效率太低。

2019年,快手新增招聘3000名内容审核编辑,将目前的审核团队从2000人扩大至5000人。国外Facebook在自有算法情况下,人工审核团队规模达到1.5万人;youtube在谷歌大脑算法支持的情况下,审核团队人数达到1万+。由此可见,哪怕机审已经过滤了大部分内容,剩下5%内容量也尤为巨大。人机协同审核仍是未来很长一段时间的内容风控模式。

另外,人工审核最好能反过来完善、提高机审准确度,在流程上形成闭环。毕竟人工审核的量只能靠更多人达到,机器审核的效率却很容易提高。

3)质量抽检

按一定比例抽检机器审核和人工审核结果。抽检机审目的是判断机审准确度,以及调整机审尺度。人审抽检主要是看是否按照标准执行,以及绩效考核。

4)高风险复审

在主流程的基础上,对“重点关注对象”再进行一次审核。高风险内容包括:高曝光内容、高曝光用户、有历史违规行为劣迹用户等。类似于直播审核中,平台会在超高流量的直播间设置常驻超管。

5)存量回扫

定期将存量内容过一遍机器审核。定期回扫原因:机器审核标准随时变动,新规则覆盖不了旧内容。存量回扫也能发现一些产品、代码漏洞。

6)用户举报

用户举报也是UGC平台必备风控手段。用户举报不仅能借助用户力量来发现漏出的违规内容,还能从用户角度来审视内容质量。网信等监管部门非常重视举报是否被处理。如果平台被发现用户举报违规内容未处理,后果会非常严重。

7)违规用户判罚

对违规用户进行判罚,禁言还是封号?判罚有期徒刑还是无期徒刑。这需要有一套完整的判罚体系,对不同类型的违规,按照某个梯度规则来惩罚。比如触碰底线问题,一次违规直接封号;低俗、辱骂这类低风险违规,先进行警告、禁言,多次违规屡教不改再封号。另外,如果平台违规情况比较严重,可以考虑公示处罚结果,有助于建立良好的社区氛围。

二、审核时机

根据内容的不同可以分为:先发后审和先审后发

先审后发适用于:风险较高内容,时效性要求不高。如内容量比较大博客、文章、音视频作品等。

先发后审适用于:时效性要求极高,或风险较低内容。如直播、IM、弹幕。

除了风险和时效考虑之外,也可以做用户分层,比如历史行为良好的优质用户,理论上不存在什么风险,可以考虑先发后审。

三、内容类型

1)文字

文字内容审核说简单也简单,说难也难。很好绕过各种规则,比如形近字、音近字、拼音、各种字符夹杂在中间。一些恶意发布有害内容的用户,会尝试各种变体,直到能发出去为止,很难从规则上完全禁止。

所以监测用户行为,对命中次数过多用户进行报警,重点筛查很有必要。

另外对文本内容处理有很多种方式,比如禁止发布、命中送审、替换等方式,可以适用于不同场景。

2)图片

依赖图像识别技术和OCR技术,分析图像内容以及图像中的文本内容。图像识别精准度一直到现在也不是太高,例如机器会根据黄色面积判定是不是色情内容。这样的识别精准度必定不会太高。

3)音频

音频识别可以做一些预处理:比如将无声、音量极小或无意义的音频,通过音频识别技术标注出来,再加上音转文+敏感词匹配,为人工审核提供尽可能多的帮助。因为音频审核不同于其他内容,时间成本比较高。

4)直播

直播是流内容,只能先发后审。现在业内通用的都是多屏滚动监控,也就是直播墙的形式,保障出问题时第一时间发现并处理。

四、审核后处理意见

审核判定问题的内容,通常有以下几种处理方式:

下架:有安全问题,既不允许传播,也不允许发布的内容。

自见:无安全问题,但不允许传播的内容。用户可以发布在个人主页,自己欣赏。

降权:无安全问题,但不符合平台调性,与平台无关的内容。

不可分发:无安全问题,有质量问题的内容。如音频音质差、视频卡顿、断帧之类问题。

五、用户体验

把控内容风险的同时,一定会对用户体验带来负面影响,如何降低影响:

尽量让用户发布流程完整,体验更好。非必要时不去打断用户,比如禁止发布这样的设计就要谨慎使用,更好的替代方案是:允许用户发布,在之后的审核流程中进行下架或其他操作。

白名单机制:保障核心用户的体验不受影响,甚至更好。比如对白名单用户发布内容优先审核,或先发后审。

提高审核时效,让用户对审核时间有预期。审核时效的提高仰赖于审核技术和审核流程的完善,审核时间的预期则可以从产品设计上下手,缓解用户等待审核期间的焦躁情绪。

上面三点都是优化发布者的体验,对消费者来说,可能重点应该就在推荐系统上了,比如:

如何隐式、显式的收敛用户兴趣,从而推荐用户更喜爱的内容。从用户使用感受的角度设计举报功能,听取用户的意见。发动用户来共建内容氛围。

六、例子:文本审核

笔者所在公司搭建了自有文本审核体系。

1)词库管理

除了基本的增删改查功能,还需要注意以下几点:

敏感词是否需要做细分,比如我们将敏感词分为高、中、低危三个等级,高危敏感词大多是明确涉政,各个业务线都禁止发布,中、低危敏感词则流入人审。分级的目的是降低误杀,保障用户体验,因为高危敏感词其实只占很小一部分。

是否需要分词库,这通常取决于业务线多少,差异有多大。笔者一开始的需求方案是分默认词库+业务线特殊词库,但后来发现并没这个必要,因为我们的业务线差异最大的也就是直播(对一些低俗内容放的比较宽),分完级之后完全可以支撑。

2)匹配规则

为了尽可能捕捉到违规内容变种,文本审核要支持多种匹配规则,这里举一些例子:

英文字母转大小写:所有字母转小写后再匹配

特殊字符清洗:除中文、英文、数字之外的其他字符,一律视作特殊字符,在匹配之前应该清洗掉

中文转拼音:中文转换成拼音,能匹配到同音字的变种

通配符*:通配符可以用来模糊匹配任何字符,比如“办*证”,就能匹配到“办伪证”等

繁体转简体:繁体转换成简体后再匹配

3)业务接入

审核业务作为中台定位服务,应该方便各个业务线接入。尽量把可配置的业务抽象出来,方便各个业务线灵活的接入。

4)黑白名单

其实更确切的是名单管理,名单里可以灵活配置,匹配到某个词时,想要返回什么样的结果。名单可以启用和关闭,特定时期的敏感词用名单来管理就很方便。

白名单中的敏感词就是在匹配过程中应该忽略的,比如“中国”是敏感词,而“中国好声音”、“我爱你中国”是没有风险,那么“我爱你中国,我为你自豪”就不应该被命中。

5)在线检测

提供在线检测的功能。一是改动敏感词后,可以检测是否生效;二是不确定的内容,可以通过检测确定有无风险。

6)数据统计

敏感词拦截量、拦截率:敏感词拦截情况如何,可以看出敏感词设置的是否合理,对业务造成影响如何。比较合理的拦截量应该在3%~5%。

具体拦截情况,比如拦截量最大的敏感词是哪些,这些敏感词设置是否合理,针对这些敏感词是否有更好的方式。

总之,数据能够暴露出挺多问题,也能给后续迭代提供思路。(本文由 @挪威的浆糊 原创发布)

发表评论

邮箱地址不会被公开。 必填项已用*标注