演讲: 基于 Hive / ES 金融大数据指标系统
互联网金融的核心是客户,如何让业务线精准、个性化的服务于客户;技术得讲:如何在几亿条的数据,几万个字段中以毫秒级别筛选出有价值的数据,也就是同时要建几万个“索引”字段的数据库,是数据行业的一个难题;我们在开源和商业产品上面做了很多的对比,最后选定了 elasticsearch 作为数据引擎。实践后,效率真的让我们出乎意料,在数据导入上遇到了很多困难,我们经过很多优化,最后形成我们现在的客户指标系统,系统有 8 万多字段,可以任意查询。
如果能让几百个维度几万个度量值组合查询,做一个超级 Cube,一直是我们想解决的问题。当 ES 数据导入之后,我们进行了聚合查询测试,发现 elasticsearch 的多维聚合查询能力也是非常惊人,只要对维度控制的好,多维 sum,count,avg 等常用查询也都在 1s 以下,并发可以达到几百,原本我们选择 kylin 的解决方案,做了相应的转变。
指标系统为精准客户经营,多维统计分析解决了难题。而后在千人千面项目中,需要提供在线的客户标签的 API 接口,我们加入了 redis 缓存层,让并发和请求时间又提升了一个数量级(req time 10ms,req/sec 4000),给我们指标系统插上了翅膀。
本演讲主要介绍内容:
- 金融公司大数据架构介绍;
- 大数据核心计算调度介绍(指标系统支撑系统);
- 指标系统数据规模和性能;
- 指标系统设计和技巧;
- 指标系统应用举例;
- 未来发展方向。
演讲专题
Covering innovative topics
10月20日,星期四
-
前端技术实践
前端技术日新月异,从早期脚本库、jQuery,到框架百花齐放,再到近年的 AngularJS 和 React,不一而足。今年,值得关注的前端技术又有哪些呢?
-
安全之战
正邪相生,这是一场没有硝烟的战争。这是一场攻与防的终极较量,也是一场矛与盾的顶级对抗。
-
新 Java,新未来
本专题将聚焦于 Java 生态系统的创新和前沿技术,分享 Java 技术创新、应用创新的最新成果,帮助开发者了解解决现实问题的新思路。
-
无处不在的容器
本专题主要讨论容器云的实践经验和最新发展,包括 Docker、Mesos、Kubernetes 等。
-
微服务架构,我们该如何实践?
互联网时代,客户的需求变得更加频繁,业务领域变得更加复杂,系统和团队规模变得更加庞大。本专题分享我们该如何打造支持业务持续创新的微服务架构,以应对复杂性和规模化的挑战。
-
大数据应用与系统优化实践(厂商共建专题)
大数据处理的过程中往往需要和其他平台或工具进行结合,同时大数据也可在更高层次的领域发挥重要作用。本专题将邀请多位工程师及技术专家,围绕大数据主题,在系统优化、运维、研发等方面展开更为细致的探讨,分享技术实践心得。
-
业务上云技术拆解(厂商共建专题)
本专题将邀请多位云计算领域技术专家,共同探讨企业业务上云过程中的挑战与应对之策,分享上云技术选型的心得与技巧,并分析总结相关的实践案例,为企业 IT 管理者提供技术参考。
-
智能出行——高德开放平台专场(厂商共建专题)
随着移动互联网不断渗透,人们的“衣食住行”越来越离不开 LBS(基于位置服务)。高德作为在线地图领导品牌之一,将在本专题结合实际案例分享如何在自己的软件中快速且稳定地实现 LBS。
10月21日,星期五
-
玩转大数据
预计到 2020 年全球数据总量将超过 40ZB,如果不能有效的存储、管理和使用数据,将给企业带来的是巨大的成本,同时数据的玩法和应用越来越多、业务的场景越来越复杂,给数据的存储和计算等不断带来新的挑战。本专题主要介绍大数据框架、数据平台、以及新的算法实践等。
-
移动开发探索
移动技术从万物生长到注重最佳实践,从敝帚自珍到开源如火如荼,各种新技术与最佳实践层出不穷——组件化、编程框架、动态化、Swift/Kotlin 语言,移动开发进入一个真正比拼武功的年代。
-
移动视频
本专题将分享多媒体领域不同于传统互联网技术的部分,包括整体架构案例、多媒体处理技术、播放器与播放体验、计算机视觉等方面。
-
让架构更简单
很多互联网(包括移动)业务成长非常迅速,在系统搭建之初和成长阶段就需要充分考虑系统架构设计,以满足在稳定性、扩展性、性能和成本方面的要求。然而在系统的不断演化过程中,系统架构会变得越来越复杂,于是让架构更简单,便成了互联网技术人孜孜不倦的追求。
-
运维与监控
本专题将探讨在互联网业务高速增长,基础设施规模不断扩大,DevOps、SRE、持续交付等理念的引入,云计算的落地,生产环境日益复杂的背景下,如何做好运维和监控。
-
大数据服务与应用
-
高并发与实时处理架构设计(厂商共建专题)
本专题将分享大规模实时流处理平台架构以及实时消息推送架构,并从稳定性和实时性两个方面探讨即时通讯云实践,还将揭示海量数据推送服务背后的挑战,希望能帮助开发者了解解决现实问题的新思路。
-
微服务实践与架构演进之路(厂商共建专题)
应用的发展不可避免会伴随着从简单结构到复杂架构的演化,微服务架构的出现,试图在架构层面把一个大而复杂的问题拆分为很多小而简单的问题,最终达到系统整体交付难度降低的目标。本专题将探讨微服务实践落地过程中遇到的实际问题和挑战,并分享相关解决方案。
10月22日,星期六
-
Growth Hacking,IoT & React Native
-
互联网广告系统实战
在线广告是很多互联网公司的重要盈利模式,广告系统的架构、策略、优化都至关重要。本专题邀请到极具代表性的 Google、腾讯、百度、小米、Spotify 等公司的架构师分享广告系统方面的宝贵经验。
-
工程团队管理
本专题将分享来自不同公司技术团队的管理实战经验,和大家一起,从技术与管理的多个角度,来探讨工程团队管理这件事。
-
技术创业
技术优而创业,是目前很多人的梦想,失败和成功的案例都很多,作为一个技术人员,你真的准备好了吗?本专题由众多创业的朋友来分享其中的酸甜苦辣,经验教训及各种相关话题。
-
机器学习与深度学习
大数据时代,深度学习再次掀起了机器学习的新浪潮,不仅在语音识别,图像识别等领域大获成功,各种现实应用也一触即发,本专题给大家分享一些有趣的应用和实践。
-
用户体验设计
-
研发支撑体系
构建研发支撑体系,提升研发交付效率。
-
业务系统架构
大多架构分享侧重技术架构的剖析,本专题将从业务层面入手,以1号店、人人车、德比软件、特赞等公司为例,说明如何针对特定业务设计合理的架构,以及设计和演进背后的思考。
-
大数据分析与应用
在这个数据海量产出的时代,如何有效地分析和应用数据使其发挥更大价值?本专题来自 LinkedIn、Autodesk、百度、滴滴的一线工程师将分享大数据可视化及大数据在日常生活中的创新实践。
-
大规模前端系统
随着移动互联网的发展,人们越来越关注前端系统。成熟框架变化多维护难,如何处理?新框架层出不穷,如何合理运用?Microsoft、百度、京东等国内外知名互联网公司邀您一起探讨。