实时大数据分析技术系统

发布时间: 2017-09-29 16:34:59   作者:本站编辑   来源: 江苏省国际科技合作中心   浏览次数:        字号:[ 常规 ]

来源:江苏省国际科技合作中心

随着电子商务平台的发展,大数据实时分析技术所起的作用越来越重要。在应用系统中往往要求在数秒内完成对几亿、几十亿甚至几百上千亿的数据分检索与分析。如营销人员需要对亿级需要对用户画像特征快速分析,确定营销目标群,实现快速精准营销分析,从而抢占市场先机。金融平台应用人员则需要根据历史数据和当前突发信息分析数千股票的变化并提供建议与解决方案。游戏公司则需要服务器性能数据、模块调用数据、玩家体验数据等各种游戏数据进行分析,全方位的、及时的发现问题,从而更好地保障业务质量。

传统的关系型数据库,在大数据面前显得势单力薄,无论数据处理、数据分析上都力不从心。很多大公司则开发自己的数据库与文件系统,而绝大多数数据库的用户则无法对数据进行实时分析,严重地影响了业务的扩展。

我们的实时大数据分析技术系统RealProc与多种传统sql数据库兼容并提供接口,对于已有数据库可以轻松地导入与整合,不需要财力与人力的高投入即可实现所需的功能。

本系统是个实时的、分布式以及具备高容错的计算分析系统。和类似的系统相比,本系统在保证高可靠性的前提下还可以让处理进行的更加实时;也就是说,所有的信息都会被处理,并具备容错和分布计算这些特性,这就让扩展到不同的机器上进行大批量的数据处理变为可行。同时本系统可进行连续查询并把结果即时反馈给客户端,还可用来并行处理密集查询。

从结构特点看本系统的数据分析采用云架构设计开发,数据存储处理均在云服务器端运行,并针对不同的行业与客户需求开发不同的数学模型与软件模块,在此之上进行个性化的数据分析,并提供客户扩展接口。

本系统可以嵌入到现有的商务平台中,从而为客户提供从终端到头端、从设备到业务、从数据到运营决策的全业务、全数据、全覆盖的整体解决方案。进而打造以统一管理为基础,以业务数据为中心、以提高用户满意度和粘度为落脚点的全新解决方案。

本系统具有如下特点

1. 支持大数据量,包括海量的网管数据,互联网相关信息及社交媒体用户行为

2. 极快的数据分析,是传统架构处理速度的100倍以上

3.具有大规模可扩展性,同时可以有线性的性能提升

4.开放的架构,能够与多种开放的工具集成,包括Hadoop, R,ETL和BI

5.优化的数据存储方式,能提供10-30倍的存储能力

6.与现有的ETL和BI解决方案可以轻松整合,可以快速灵活部署

7.大幅降低磁盘I/O

8.可进行强大的数据主动压缩,压缩比可以达到10:1以上

9.革命性的高可用性,加载与查询持续可用,可服务于更多的查询

提供标准SQL接口,与现有BI及ETL工具轻松无缝整合,提高现有投资价值同时降低TCO。