技术详细介绍
互联网大数据清洗系统。
成果介绍：
集团或各省及各个地市已经建成的流量分析系统或者 DPI 系统，大多采用对 骨干链路分光后接入流量汇聚设备（比如分流设备），然后由专用 DPI 系统进行 业务识别、分类及粗粒度分析，以提供宽带网络运维、管理的基本需求。
由于 DPI 系统分类后的流量数据中存在大量的冗余信息，对于大数据分析系 统而言，所需数据必须通过清洗，满足一定的策略要求，才能够高效进行数据挖 掘、分析，以保障数据挖掘的准确性和实时性要求。目前大多针对用户的网页浏 览行为进行有针对的分析，也即所需数据为 HTTP 上行 GET 请求数据。
大数据分析挖掘系统从清洗系统中接收到了纯净的用户点击行为数据后，可 通过对用户的行为进行打标签行为，通过用户行为评估模型得出用户肖像（User Profile），进而作为应用系统的决策支持。获得用户肖像后，就可以有针对性 的发起精确营销、差异化服务等各类应用和营销行为。