专题: 大数据应用与系统优化实践(厂商共建专题)
Day of week:
- 星期四
随着大数据相关技术在各行业中应用得愈加广泛,大数据早已成为现代企业 IT 部门不可忽视的一个关键部分并直接影响着企业的业务发展。谈到大数据处理,一般会涉及到数据的收集、存储、分析、可视化等阶段,在进行数据处理的过程中往往还需要和其他平台或工具进行结合,比如 Docker 与 Kubernetes 等。同时,大数据也可在更高层次的领域发挥重要作用,比如用户画像与深度学习等。本专题将邀请多位工程师及技术专家,围绕大数据主题,在系统优化、运维、研发等方面展开更为细致的探讨,分享技术实践心得。
Bella,InfoQ 策划编辑,互联网媒体小编一枚。虽不是技术出身,但也算对市场形势略知一二。如今在 InfoQ 做专职策划,换了一种方式与思路继续码字服务各路技术大牛。
by 王丰
极光推送首席架构师
推送的最低要求是稳定及时,当用规模过 50 亿的时候,连注册模块都需要高并发,我们后台架构团队如何保障系统的高可用?讲解分为三个部分:
- 大家都讲大规模,多大是大规模,极光规模究竟大到什么程度;
- 数据带给推送的好处,极光数据的门槛;
- 为何选择 ICE 作为基础架构中间件,它支撑起了极光的业务,ICE 的运用远远不止于此...
by 郭炜
易观 CTO
帮助传统企业或互联网企业通过线上线下数据融合,做到精准用户画像。简介用户画像基本方法,深入讨论基于移动用户线上线下相结合的方式建立用户画像的相关算法与实践。
by 江赛
听云移动研发总监
本次演讲将分享移动端 APM 产品研发需要的技能,主要集中在自动嵌码技术,包括 Java bytecode, dalvik bytecode, ARM inline hook 机制。
by 郑泽宇
才云科技首席大数据科学家
随着 AlphaGo 战胜李世石,大数据、机器学习、人工智能这些概念最近已经成为一个非常火的话题。Google、Facebook、百度、阿里等一系列国内外大公司纷纷对外开放宣布了人工智能将作为他们下一个战略重心。于此同时,广大的中小 IT 企业,甚至传统企业也开始关注到了数据中的价值,并纷纷开始搭建 Hadoop、Spark、TensorFlow 等大数据集群。然而,大部分公司的大数据集群都是独立于业务集群之外的。这不仅大大降低了资源使用率,同时也增加了运维难度。在 Google,大数据集群和业务集群都是通过集群管理工具 Borg 来统一管理的。在这个本次演讲中,我将和大家分享如何通过 Kubernetes 来统一管理 Hadoop、Spark、TensorFlow 等大数据集群和业务集群。首先,我们将简要介绍如何通过 Kubernetes 来运行这些大数据集群;然后,我将讲解如何提高大数据集群在 Kubernetes 上的性能;最后,我将给出一些初步的实验结果来验证通过 Kubernetes 集群管理混合集群的效率。
by 费良宏
AWS 首席云计算技术顾问
深度学习是今年业内最热门的词汇之一。它所展现出来的前景会让每一位程序员为它着迷,但同时深度学习复杂的数学背景也会让人望而却步。传统观念上,机器学习的领域似乎仅仅是为一小部分科学家而准备。但是改变正在发生,在以 GPU 为标志的的新的计算资源的普及,以 AWS 为代表的云计算的广泛应用,加上各种深度学习的框架(Torch、TensorFlow 以及 Theano 等)的成熟,一个普通的程序员也可以轻松的构建出模型,并开发出来具有“智能”的新一代应用。希望通过这一个分享可以让程序员了解开发深度学习所需要的技能以及工具,并在现有经验之上快速掌握深度学习的开发能力。
by 乔亚博
个推运维主管
运维的第一使命是稳定性,从 99.9%=>99.99%=>99.999%。 那么对于确保在线用户数达到上亿的系统,我们运维团队是如何保证系统的高可用? 讲解的内容分为两个部分: 一、推送系统在以指数式增长过程中,会出现了哪些问题?对运维带来了那些挑战?我们做了哪些优化来化解问题? 二、在用户量日益增长的情况下,仅几个人的团队是如何应对业务系统快速迭代?不同的业务阶段运维关注切入点有哪些?如何运用创新的思维方法来帮助我们更好的运维?
by 宋净超
TalkingData 研发部大数据工程师
本次分享 TalkingData 的大数据集群计算资源虚拟化实践。随着公司业务和公司规模的迅速扩大,原本分散在各个业务线的 Hadoop 集群给公司造成了巨大的管理和成本负担,因此我们在机房迁移的过程中,同时进行了系统架构的调整,将原来的多个 Hadoop 集群合并为一个整体统一管理,但这又带来计算资源抢占和主机 CPU 内存利用率不足的问题。因此我们建设了数据中心操作系统,使用 Docker 来负责主机资源分配,Yarn 负责任务调度,其他程序如 apex、flink、spark 等基于 yarn 的应用程序可以直接部署运行在 Docker 中。我将主要介绍下 Yarn on Docker 的架构、这种架构带来的好处与实践过程中踩过的坑还有我们即将开源的 Docker 网络插件。
演讲专题
Covering innovative topics
10月20日,星期四
-
前端技术实践
前端技术日新月异,从早期脚本库、jQuery,到框架百花齐放,再到近年的 AngularJS 和 React,不一而足。今年,值得关注的前端技术又有哪些呢?
-
安全之战
正邪相生,这是一场没有硝烟的战争。这是一场攻与防的终极较量,也是一场矛与盾的顶级对抗。
-
新 Java,新未来
本专题将聚焦于 Java 生态系统的创新和前沿技术,分享 Java 技术创新、应用创新的最新成果,帮助开发者了解解决现实问题的新思路。
-
无处不在的容器
本专题主要讨论容器云的实践经验和最新发展,包括 Docker、Mesos、Kubernetes 等。
-
微服务架构,我们该如何实践?
互联网时代,客户的需求变得更加频繁,业务领域变得更加复杂,系统和团队规模变得更加庞大。本专题分享我们该如何打造支持业务持续创新的微服务架构,以应对复杂性和规模化的挑战。
-
大数据应用与系统优化实践(厂商共建专题)
大数据处理的过程中往往需要和其他平台或工具进行结合,同时大数据也可在更高层次的领域发挥重要作用。本专题将邀请多位工程师及技术专家,围绕大数据主题,在系统优化、运维、研发等方面展开更为细致的探讨,分享技术实践心得。
-
业务上云技术拆解(厂商共建专题)
本专题将邀请多位云计算领域技术专家,共同探讨企业业务上云过程中的挑战与应对之策,分享上云技术选型的心得与技巧,并分析总结相关的实践案例,为企业 IT 管理者提供技术参考。
-
智能出行——高德开放平台专场(厂商共建专题)
随着移动互联网不断渗透,人们的“衣食住行”越来越离不开 LBS(基于位置服务)。高德作为在线地图领导品牌之一,将在本专题结合实际案例分享如何在自己的软件中快速且稳定地实现 LBS。
10月21日,星期五
-
玩转大数据
预计到 2020 年全球数据总量将超过 40ZB,如果不能有效的存储、管理和使用数据,将给企业带来的是巨大的成本,同时数据的玩法和应用越来越多、业务的场景越来越复杂,给数据的存储和计算等不断带来新的挑战。本专题主要介绍大数据框架、数据平台、以及新的算法实践等。
-
移动开发探索
移动技术从万物生长到注重最佳实践,从敝帚自珍到开源如火如荼,各种新技术与最佳实践层出不穷——组件化、编程框架、动态化、Swift/Kotlin 语言,移动开发进入一个真正比拼武功的年代。
-
移动视频
本专题将分享多媒体领域不同于传统互联网技术的部分,包括整体架构案例、多媒体处理技术、播放器与播放体验、计算机视觉等方面。
-
让架构更简单
很多互联网(包括移动)业务成长非常迅速,在系统搭建之初和成长阶段就需要充分考虑系统架构设计,以满足在稳定性、扩展性、性能和成本方面的要求。然而在系统的不断演化过程中,系统架构会变得越来越复杂,于是让架构更简单,便成了互联网技术人孜孜不倦的追求。
-
运维与监控
本专题将探讨在互联网业务高速增长,基础设施规模不断扩大,DevOps、SRE、持续交付等理念的引入,云计算的落地,生产环境日益复杂的背景下,如何做好运维和监控。
-
大数据服务与应用
-
高并发与实时处理架构设计(厂商共建专题)
本专题将分享大规模实时流处理平台架构以及实时消息推送架构,并从稳定性和实时性两个方面探讨即时通讯云实践,还将揭示海量数据推送服务背后的挑战,希望能帮助开发者了解解决现实问题的新思路。
-
微服务实践与架构演进之路(厂商共建专题)
应用的发展不可避免会伴随着从简单结构到复杂架构的演化,微服务架构的出现,试图在架构层面把一个大而复杂的问题拆分为很多小而简单的问题,最终达到系统整体交付难度降低的目标。本专题将探讨微服务实践落地过程中遇到的实际问题和挑战,并分享相关解决方案。
10月22日,星期六
-
Growth Hacking,IoT & React Native
-
互联网广告系统实战
在线广告是很多互联网公司的重要盈利模式,广告系统的架构、策略、优化都至关重要。本专题邀请到极具代表性的 Google、腾讯、百度、小米、Spotify 等公司的架构师分享广告系统方面的宝贵经验。
-
工程团队管理
本专题将分享来自不同公司技术团队的管理实战经验,和大家一起,从技术与管理的多个角度,来探讨工程团队管理这件事。
-
技术创业
技术优而创业,是目前很多人的梦想,失败和成功的案例都很多,作为一个技术人员,你真的准备好了吗?本专题由众多创业的朋友来分享其中的酸甜苦辣,经验教训及各种相关话题。
-
机器学习与深度学习
大数据时代,深度学习再次掀起了机器学习的新浪潮,不仅在语音识别,图像识别等领域大获成功,各种现实应用也一触即发,本专题给大家分享一些有趣的应用和实践。
-
用户体验设计
-
研发支撑体系
构建研发支撑体系,提升研发交付效率。
-
业务系统架构
大多架构分享侧重技术架构的剖析,本专题将从业务层面入手,以1号店、人人车、德比软件、特赞等公司为例,说明如何针对特定业务设计合理的架构,以及设计和演进背后的思考。
-
大数据分析与应用
在这个数据海量产出的时代,如何有效地分析和应用数据使其发挥更大价值?本专题来自 LinkedIn、Autodesk、百度、滴滴的一线工程师将分享大数据可视化及大数据在日常生活中的创新实践。
-
大规模前端系统
随着移动互联网的发展,人们越来越关注前端系统。成熟框架变化多维护难,如何处理?新框架层出不穷,如何合理运用?Microsoft、百度、京东等国内外知名互联网公司邀您一起探讨。