演讲: 大数据集群在 Kubernetes 上的实践
随着 AlphaGo 战胜李世石,大数据、机器学习、人工智能这些概念最近已经成为一个非常火的话题。Google、Facebook、百度、阿里等一系列国内外大公司纷纷对外开放宣布了人工智能将作为他们下一个战略重心。于此同时,广大的中小 IT 企业,甚至传统企业也开始关注到了数据中的价值,并纷纷开始搭建 Hadoop、Spark、TensorFlow 等大数据集群。然而,大部分公司的大数据集群都是独立于业务集群之外的。这不仅大大降低了资源使用率,同时也增加了运维难度。在 Google,大数据集群和业务集群都是通过集群管理工具 Borg 来统一管理的。在这个本次演讲中,我将和大家分享如何通过 Kubernetes 来统一管理 Hadoop、Spark、TensorFlow 等大数据集群和业务集群。首先,我们将简要介绍如何通过 Kubernetes 来运行这些大数据集群;然后,我将讲解如何提高大数据集群在 Kubernetes 上的性能;最后,我将给出一些初步的实验结果来验证通过 Kubernetes 集群管理混合集群的效率。
演讲专题
Covering innovative topics
10月20日,星期四
-
前端技术实践
前端技术日新月异,从早期脚本库、jQuery,到框架百花齐放,再到近年的 AngularJS 和 React,不一而足。今年,值得关注的前端技术又有哪些呢?
-
安全之战
正邪相生,这是一场没有硝烟的战争。这是一场攻与防的终极较量,也是一场矛与盾的顶级对抗。
-
新 Java,新未来
本专题将聚焦于 Java 生态系统的创新和前沿技术,分享 Java 技术创新、应用创新的最新成果,帮助开发者了解解决现实问题的新思路。
-
无处不在的容器
本专题主要讨论容器云的实践经验和最新发展,包括 Docker、Mesos、Kubernetes 等。
-
微服务架构,我们该如何实践?
互联网时代,客户的需求变得更加频繁,业务领域变得更加复杂,系统和团队规模变得更加庞大。本专题分享我们该如何打造支持业务持续创新的微服务架构,以应对复杂性和规模化的挑战。
-
大数据应用与系统优化实践(厂商共建专题)
大数据处理的过程中往往需要和其他平台或工具进行结合,同时大数据也可在更高层次的领域发挥重要作用。本专题将邀请多位工程师及技术专家,围绕大数据主题,在系统优化、运维、研发等方面展开更为细致的探讨,分享技术实践心得。
-
业务上云技术拆解(厂商共建专题)
本专题将邀请多位云计算领域技术专家,共同探讨企业业务上云过程中的挑战与应对之策,分享上云技术选型的心得与技巧,并分析总结相关的实践案例,为企业 IT 管理者提供技术参考。
-
智能出行——高德开放平台专场(厂商共建专题)
随着移动互联网不断渗透,人们的“衣食住行”越来越离不开 LBS(基于位置服务)。高德作为在线地图领导品牌之一,将在本专题结合实际案例分享如何在自己的软件中快速且稳定地实现 LBS。
10月21日,星期五
-
玩转大数据
预计到 2020 年全球数据总量将超过 40ZB,如果不能有效的存储、管理和使用数据,将给企业带来的是巨大的成本,同时数据的玩法和应用越来越多、业务的场景越来越复杂,给数据的存储和计算等不断带来新的挑战。本专题主要介绍大数据框架、数据平台、以及新的算法实践等。
-
移动开发探索
移动技术从万物生长到注重最佳实践,从敝帚自珍到开源如火如荼,各种新技术与最佳实践层出不穷——组件化、编程框架、动态化、Swift/Kotlin 语言,移动开发进入一个真正比拼武功的年代。
-
移动视频
本专题将分享多媒体领域不同于传统互联网技术的部分,包括整体架构案例、多媒体处理技术、播放器与播放体验、计算机视觉等方面。
-
让架构更简单
很多互联网(包括移动)业务成长非常迅速,在系统搭建之初和成长阶段就需要充分考虑系统架构设计,以满足在稳定性、扩展性、性能和成本方面的要求。然而在系统的不断演化过程中,系统架构会变得越来越复杂,于是让架构更简单,便成了互联网技术人孜孜不倦的追求。
-
运维与监控
本专题将探讨在互联网业务高速增长,基础设施规模不断扩大,DevOps、SRE、持续交付等理念的引入,云计算的落地,生产环境日益复杂的背景下,如何做好运维和监控。
-
大数据服务与应用
-
高并发与实时处理架构设计(厂商共建专题)
本专题将分享大规模实时流处理平台架构以及实时消息推送架构,并从稳定性和实时性两个方面探讨即时通讯云实践,还将揭示海量数据推送服务背后的挑战,希望能帮助开发者了解解决现实问题的新思路。
-
微服务实践与架构演进之路(厂商共建专题)
应用的发展不可避免会伴随着从简单结构到复杂架构的演化,微服务架构的出现,试图在架构层面把一个大而复杂的问题拆分为很多小而简单的问题,最终达到系统整体交付难度降低的目标。本专题将探讨微服务实践落地过程中遇到的实际问题和挑战,并分享相关解决方案。
10月22日,星期六
-
Growth Hacking,IoT & React Native
-
互联网广告系统实战
在线广告是很多互联网公司的重要盈利模式,广告系统的架构、策略、优化都至关重要。本专题邀请到极具代表性的 Google、腾讯、百度、小米、Spotify 等公司的架构师分享广告系统方面的宝贵经验。
-
工程团队管理
本专题将分享来自不同公司技术团队的管理实战经验,和大家一起,从技术与管理的多个角度,来探讨工程团队管理这件事。
-
技术创业
技术优而创业,是目前很多人的梦想,失败和成功的案例都很多,作为一个技术人员,你真的准备好了吗?本专题由众多创业的朋友来分享其中的酸甜苦辣,经验教训及各种相关话题。
-
机器学习与深度学习
大数据时代,深度学习再次掀起了机器学习的新浪潮,不仅在语音识别,图像识别等领域大获成功,各种现实应用也一触即发,本专题给大家分享一些有趣的应用和实践。
-
用户体验设计
-
研发支撑体系
构建研发支撑体系,提升研发交付效率。
-
业务系统架构
大多架构分享侧重技术架构的剖析,本专题将从业务层面入手,以1号店、人人车、德比软件、特赞等公司为例,说明如何针对特定业务设计合理的架构,以及设计和演进背后的思考。
-
大数据分析与应用
在这个数据海量产出的时代,如何有效地分析和应用数据使其发挥更大价值?本专题来自 LinkedIn、Autodesk、百度、滴滴的一线工程师将分享大数据可视化及大数据在日常生活中的创新实践。
-
大规模前端系统
随着移动互联网的发展,人们越来越关注前端系统。成熟框架变化多维护难,如何处理?新框架层出不穷,如何合理运用?Microsoft、百度、京东等国内外知名互联网公司邀您一起探讨。