当前位置:首页 > 科技博览 > 科技热点 > 正文

从产品结构解析大数据产品体系

发布时间: 2024-04-15 15:46:03   作者:本站编辑   来源: 本站原创   浏览次数:        字号:[ 常规 ]

大数据产品结构包括软件产品、硬件产品和信息技术核心产品三类。大数据软件产品包括持大型通用海量数据存储与管理软件、大数据分析发掘软件、数据可视化软件等,通过这些软件产品实现数据采集、整理、分析、发掘、展现、应用等环节;大数据硬件产品包括海量数据存储设备、大数据一体机等硬件产品;大数据信息技术核心产品包括芯片、操作系统等信息技术核心基础产品。统筹好这三类产品之间的关系,才能打造较为健全的大数据产品体系。

微信截图_20240402150220.jpg

图4-3-1 大数据产品体系产品架构图

接下来介绍各层的功能以及涉及到的产品模块,然后再详细介绍各个产品模块。

数据收集层:数据收集层是业务人员、用户可感知的系统和产品功能。内部包括日常报表系统、用户画像系统、标签查询、CRM、营销平台,对外包括改善用户体验的个性化PUSH、推荐系统。

数据加工层:数据加工层清洗、转换数据,把不同业务系统的用户归一化生成统一的UniID,统一不同系统中的相同字段的数据类型、数据值(例如流量系统中的渠道和营销平台、广告投放中定义的渠道不一致),建立合理的维度、度量以及数据模型。这一层的产品模块有元数据管理、指标库、作业调度管理、数据质量管理,都是为了让数据可追溯、可管理,持续改进数据质量,产出高质量的数据。

数据计算层:数据计算层解决数据开发和挖掘、标签制作和使用、算法调用、数据调用等问题。对应的数据产品模块有:开发管理、标签平台、算法平台、数据接口、运维监控。数据加工层和数据计算层是数据平台建设的核心。

数据应用层:数据应用层捕获用户在各个产品端的行为数据,加载各业务系统结构化数据、非结构化,导入流量平台数据、通过第三方平台的API接入微信、微博数据、广告投放数据,使用爬虫采集企业舆情、电商商品评论等第三方数据。相对应的产品有用户行为日志采集系统、第三方对接平台、数据爬虫。

微信截图_20240402150451.jpg

图4-3-2 大数据产品体系各层功能图