●?内容平台，无论是自媒体、社交博客还是视频直播，在流量充足之后，面临更多的监管审查。今日头条、微博、知乎等UGC平台均被约谈甚至整改，内涵段子等严肃批评被关停。
●?繁荣的UGC下，危机重重，乱象丛生。在利益的驱动下，黑产自然不会放过脂肪含量大的平台。平台成了间接的作恶工具，自然给企业带来了无尽的烦恼和损失。
第二，来自内容的风险主要有两种。
2.1监管风险
2.2用户体验受损
●?UGC平台充斥着大量的广告导流和欺诈广告，导致用户体验差，用户流失，平台受损。
三、内容风险控制的四个发展阶段
●?对于内容风险控制的演进阶段
a、无人监管，面临极大的监管风险
b、全人工审核，人力成本高，难以应对数据的大幅增长，响应速度慢。
c、机器审核+人工审核，人工成本略高，数据处理量大，响应快，机器审核准确率低。
d、AI审计，反应快，准确率高。
●?由于AI还处于发展阶段，大规模应用不成熟，现阶段大部分公司实行的是机器审核+人工审核的形式。本文也采用“少机审查+人工审查”的模式来解释产品。
第四，风险控制原则
轻控:当出现风险，需要阻断用户操作时，阻断动作宜轻不宜重。如果你只能自己看，就不要阻止用户发布内容。同时，副本被封后，下一个出口需要照顾用户的感受。看似简单，实际上涉及到用户风控行为的分级管理和用户风控阻断动作。
重检测:通过获取尽可能多的用户信息(包括静态和动态数据)，规则引擎进行实时或离线计算，动态分析每个用户和行为的风险程度。我们需要尽可能完整的数据源和非常强大的规则引擎来达到良好的检测结果。
快速反应:是指在检测到用户的风险后，如何快速屏蔽用户。这里的重点是快，就是对业务的了解要细致，关键动作要提前布局，这样才能把损失降到最低。
●?业务风控的业务模型主要分为六层，分别是数据输入层、数据计算层、数据输出层、运营控制层、业务接入层和用户接入层。
●?以上三层偏向数据，开发；下面三层偏业务，偏运营，偏产品。做风控其实就是做数据，所以数据的获取、技术、处理是核心模块；但现阶段由于算法模型的限制，需要人为因素修正规则模型，尝试特殊样本，所以会有操作层；顶触层是得到结果的层，产品的一部分工作就是把它设计好。
首先，数据输入层
●?通过业务方主动收集并提交的原始数据进行审核
1.1内容体:
●?内容审计服务的初始层梳理审计系统需要的所有数据局，以及可以通过业务端采集的数据。数据越详细，对后期数据计算越有利。
注:1。不同提交的内容之间存在群组关联，如帖子下的姓名文字、内容文字、图片、视频、投票文字等。2.不同内容之间有映射关系，比如商品和评论的关系。3.不同内容之间存在组合关联，内容单独或组合不存在违规。
1.2内容环境:
●?审核人员在审核平台上为每笔业务生成一个唯一的识别码(区分文字、图片、视频)，用于区分提交审核的业务。业务端根据业务的唯一识别码随机生成唯一的提交码，用于区分提交审核的内容。除了提交审查的内容，审计员还需要收集包括但不限于提交审查的类型(用于区分图片和文本)、用户类型、用户ID、城市、IP、设备号、时间戳、业务ID、内容ID、客户差异化等。历史批量数据应与低优先级的增量数据分开提交，以保证日常数据的正常处理。限制提交供审查的qp，以避免服务器压力。
●?除了提交的数据之外，其他采集还包括用户信息、相关内容信息、发布者违规历史、前端操作事件(文字粘贴、截图上传)，结合提交的数据进行综合判断。
1.3离线数据
●?用户风险评级:根据用户的历史行为，对独立用户进行风险系数评级。0-100之间的分数。分数越高，用户在相应的业务场景下越可信。分数将用户分为多个等级。在使用中，可以根据业务场景选择不同等级的用户或不同分值区间的用户，对有针对性的策略进行放开或攻击，实现策略的精细化运营。通过有效搜索浏览路径、可信内容发布历史、内容违规历史等维度，计算违规(考虑细分维度，如色情评分)，充分考虑时间衰减和权重比，设置扣款阈值和限制。并且要防止对新用户和睡眠用户的意外伤害。
●?账号、设备、IP、近期行为在本地区的风险评级:根据账号、设备、近期行为，对一个时间段内的账户行为进行风险评级，分类越高，共享度越低。由于账号被盗、黑账号(刷评论)、推广账号、支持号等违规账号类型，对内容本身威胁很大。风险评级基于一个时间段内多渠道、多场景的数据和关键行为，对手机、设备、IP、紧急联系人等实体数据进行关联分析，锁定欺诈风险，识别账户、设备、IP的风险。利用聚类分析、GBM和设备相似性识别构建设备识别模型，有效识别虚拟机、设备群等高风险设备。基于机器操作、异常操作识别等技术，识别机器注册、机器号维护、撞库攻击、账号盗用等风险行为。基于手机、设备、IP等实体的数据关联分析，锁定并识别欺诈风险。
第二，数据计算层
用机器或人工过滤的过程。
2.1机器审计
●?规则引擎:提供规则集、决策表、交叉决策表(决策矩阵)、决策树、记分卡、复杂记分卡、规则流等八类业务规则设计工具。
●?打击规则:将打击策略按类型分类分级，类别明确。前期要考虑业务范围场景和意外伤害场景的复杂程度，细分粒度。比如按摩娱乐类下，涉及的性感图片可能有性暗示，有交易的企图，但是泳装类下，性感的存在是合理的。比如管弦乐器业务，画面很容易被枪械策略伤害，需要在这个业务中单独调整枪械策略。
●?离线任务:由于频繁更新等不可抗力修改。不避免业务多次送审。线下任务主要是记录和存储业务已经提交审核的数据，进行第二次审核，再次返回结果。业务方需要支持接收多个结果，以最新的结果为准。
●?机器学习:深度学习图像识别技术+数亿实时更新的图像样本库，解决四大难题。
文字类型，过滤垃圾广告、导流信息、恶意营销、违法欺诈广告等内容和变种内容。识别淫秽、辱骂等色情低俗内容，基于深度模型同步客户审核标准，并对程度进行分级。基于海量文本特征库，可以识别政治、恐怖主义、暴力、毒品、违禁品等存在监管风险的非法内容。检测内容的语义环境，拦截无意义的垃圾内容。
图像类型，利用OCR识别等技术，提取和识别图像中的文字。基于NLP自然语言处理技术和深度模型，对色情内容进行识别和分级。基于深度学习技术和海量样本机器学习，对色情和非法内容进行识别和评级。基于人脸识别技术和机器学习，识别漫画、恶搞、负面政治人物的违法信息。文本语义环境检测，有效拦截水贴、屏幕无意义内容恶意灌水等行为。
其他视频和语音转换成ai技术。
2.2人工审计
●?人工审核平台的用户运营部门对内容进行日常审核，可以实时处理违规内容。平台应满足审计区、回收站、历史审计、黑名单管理、信息清理、业务数据查询等常用功能。可以根据内容形式(如图片、评论)和电脑审核规则(如色情)对内容进行分类，帮助运营部门快速审核。可以提供相应的用户、商家等辅助信息数据，辅助运营部门对内容进行快速决策。
第三，数据输出
●?返回本次商务方提交内容的最终审核(通过/拒绝)结果及原因，以及异常行为等其他原因的参考信息；随着业务场景的不断增长，业务需求会越来越细分，结果会随着战略层面越来越细分。如添加新保单、拆分旧保单、违规程度、风险分类等。做好前期的研究工作，在界面设计上保持足够的扩展性是非常重要的。毕竟作为服务商，推送业务的迁移成本是比较高的。
第四，运营管理层
●?运营部协助审核对接，审核过程和审核结果；监控各个环节的数据等。
4.1业务操作
●?访问管理:添加、删除、修改和检查已访问的服务。
●?审查管理:由于审查的标准不断更新，在新政策推出后，审查的内容不能被覆盖。需要自动或手动回扫行为。
●?处罚处置:不阻止违法内容不断滋生，相应的处罚行为可以震慑不良用户，直接从账号层面处理危险用户。
●?风险市场:该策略依赖于审查过程中业务方的提交信息。除了内容主体之外，其他辅助信息对于确定风险等级也是极其重要的。提交频率的异常波动也是策略审核的重要依据。为了保证提交时间的质量和数量，对数据等级进行验证，监控数据完整性和稳定性，及时预警异常提交。
●?列表和标签管理，根据用户和设备管理黑白列表和标签。
4.2人体试运行
●?包括人工审核质量、工单流程、审核员管理、审核结果抽样等功能。
4.3政策管理
●?标记平台:标记样本内容，训练模型精度。
●?策略管理:用于配置打击策略的系统。
●?特征管理:模型管理，即管理特征和模型的系统。
●?词库管理:集中管理策略中的黑词、白词和灰词。
4.4用户操作
●?反作弊调查:对已被遗漏或误杀的案例进行回访，收集用户需求。
●?案例中心:对漏判和误杀案例进行分类，指导策略优化模型进行再训练。
动词 （verb的缩写）接入层
●?主要针对接入服务商，让服务商了解接入进度、拦截和误杀情况，引导服务优化前端交互。
5.1业务管理
●?自助访问:业务方自行提交访问需求信息，形成审批工单的状态流。
●?服务配置:改变现有业务的需求。
●?统计报表:根据各自业务进行报表统计，反向推送业务端优化交互形式。
●?案件查询:由于业务方是第一个对接案件的人，所以提供了案件查询工具，让业务明确案件的前因后果。
●?个性化词库:不同的业务场景不一样。除了统一词库，还要在各自的场景下处理特殊的非法词。
●?上诉渠道:误杀案件的上诉渠道。
六、触层，针对普通c/b用户。
6.1风控动作，即内容通过审核的最终反馈，需要和业务方一起完成。
●?为了提供最合理的处理方式(删除、下线、正常展示、隐藏、征地等。)从审计人员和业务方的角度进行违规评估，减少对用户的伤害；对考评违规的类型进行分类，根据其等级进行相应的分类。包括用户评级、前端展示、权益评价。根据违规程度和用户主观恶意，对内容发布者进行分级。显示分类:全网可见，只有自己可见，全网不可见。内容产品给的积分和星级是逐渐减少和扣除的。其他严厉处罚如沉默、不访问、销户等。并发送提醒(审核结果和处罚反馈、申诉和举报结果)，明确用户的发布状态和处罚因果。
6.2风控补救，即举报和申诉。
●?因为风控不可能做到100%的精准，所以需要提供一个渠道，让用户直接申诉到被误伤或者漏判的案例。
6.3教育
●?提前宣传，对用户/商家进行宣传，告知其拦截的基本规则，减少商家和用户的欺骗企图，提供更好的用户体验，引导用户避免发布与规则相冲突的内容。事后引导，引导用户修改已被拦截攻击的内容，保证内容合规，不影响用户体验。