用户标签属性流程处理方法

本文分享自天翼云开发者社区《用户标签属性流程处理方法》，作者：石泽涛

用户画像是一种勾画目标用户、联系用户诉求与设计方向的有效工具，目前用户画像算法普遍存在的问题是数据源较少、数据特征不明显、处理效率低下、分析维度单薄。在分布式计算的架构基础上，我们搭载主框架程序，打造5维8类DPI过滤、打标签算法，攻克处理效率低下、耗费资源大的难题，高效、准确的实现用户上网行为进行深度解析，实现每天百TB数据量级处理入库解析，同时大大加强了用户特征的提取与归类，体现数据价值，依靠精细化运营实现对用户的覆盖，以更好的服务好各类用户群体，带来商业价值。

用户标签属性流程处理：

主框架程序加载

通过读取DPI数据并对数据进行过滤、去噪音处理，再把数据依次传给A、B、C标签程序， A、B、C标签程序通过对传进来的DPI数据分别进行匹配，最终将结果发给框架程序，由框架程序汇总后输出到HDFS

噪音数据过滤

制定噪音过滤规则库，输入的每条DPI记录的URL首先和噪音规则库里的噪音规则匹配，如果URL以上述噪音后缀结尾，该条DPI数据就被过滤，从而提高打标效率

异常数据清洗

制定异常规则库，对无法定位用户的dpi记录进行清洗，如数据字段不足、手机号、MEID号同时为空、URL异常等