聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

  • 时间:
  • 浏览:3
  • 来源:彩神app_彩神ios下载

11月7日,腾讯Techo开发者大会的“腾讯大数据”分论坛上,围绕大数据的新技术进展及开源生态,腾讯大数据团队进行了删改解读,包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新,那末 普遍的实时计算需求以及新架构的实践,要能无限弹性扩展的、面向未来的数据湖体系特性,大数据技术发展的新趋势与新挑战等。

腾讯也通过开源和广大开发者共享技术成果,并希望推动业界一同加入构建开源正生态。在随后的大会主论坛上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士发表声明资源管理平台核心TKE和分布式数据库TBase正式对外开源,腾讯正在走向大数据领域全面开源之路。

十年技术演进 从引进到自研

蒋杰指出,自4009年起,腾讯大数据平台已完成三次迭代,从以Hadoop为核心的离线计算时代到以Storm、Spark、Flink为核心的实时计算时代,再到如今的机器学习和宽度学习时代。经过10年的积累,腾讯大数据平台的算力资源池目前已有超过7万台的规模,每天实时数据计算量超过400万亿条,腾讯因为成为中国实时数据计算量最大的公司。

从结束的技术引进、局部优化到如今的自主创新,腾讯的大数据技术在实践中不断优化、不断完善。随着系统演进和数据增长,异构集群、异构数据源现象报告 凸显,为了降低数据使用壁垒,漂移计算平台研发负责人张韶全博士表示:“腾讯大数据去年自研了漂移计算引擎SuperSQL,满足跨地区、跨集群、跨数据源的联邦数据需求,通过补救数据孤岛、优化资源使用,要能极大地降低数据联合分析的使用门槛,提升数据使用时延,最大化数据使用的价值。”

(腾讯漂移计算平台研发负责人张韶全博士)

2015年起,腾讯就结束对大数据进行实时化的改造,到现在腾讯外部所有产品都因为广泛结束使用实时计算的模式。据实时计算平台研发负责人施晓罡博士介绍,Oceanus是腾讯基于Flink打造的集开发、测试、部署和运维于一体的一站式可视化实时计算平台。目前Oceanus在外部支持了包括微信、QQ、腾讯游戏、腾讯视频、微信支付、财付通和CDN在内的多个重要产品,并在腾讯云上为公有云和私有云用户提供可靠的实时计算服务。围绕着外部海量业务,oceanus团队一同将现网面临的各类现象报告 以及补救手段反馈给社区,目前因为贡献了超过400多个的patch,为flink稳定性、扩展性、易用性以及高性能做出重要贡献。

(腾讯实时计算平台研发负责人施晓罡博士)

而随着数据应用那末 深入,腾讯对数据挖掘的需求也太久。2015年初,腾讯结束自研高性能的分布式机器学习平台Angel,采用PS架构,能支持10亿维度,目前Angel发展到3.0版本,能支持万亿维度,也还上能 兼容Spark、PyTorch、TensorFlow等生态。从1.0到3.0,Angel从有两个多多多单一的模型训练平台发展到涵盖机器学习各个流程的全栈机器学习平台,随后已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。

目前,腾讯正在探索以批流融合、ABC融合、以及数据湖和珍邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

大数据平台全面开源 助力构建开源生态

今年,在外部开源协同的战略推动下,腾讯在大数据开源领域的开源逐步加速。此次在Techo大会现场,腾讯重磅发表声明正式开源资源管理平台核心TKE和分布式数据库TBase,至此完成了腾讯大数据核心能力全开源,并期望推动业界一同构建繁荣的开源生态。

其中,TKE是基于 Kubernetes 的开源容器平台,在大数据,宽度学习,通用服务等现网业务的实践和打磨下,还上能 一同服务公有云和私有云,随后在易用性,可靠性,安全性,通用性等方面领先业界。目前TKE已应用于腾讯外部游戏、银行、汽车等多项业务。

TBase则是在开源的PostgreSQL基础上自主研发的企业级分布式HTAP数据库管理系统,具备高扩展性、SQL高兼容度、提供分布式

全局事务一致性功能支持、多级容灾能力以及多维度资源隔离能力的高安全性等特性,一同支持关系模型下的在线交易+分析型业务。自2015年上线以来,TBase已在腾讯外部包括政务、银行、保险、证券、微信支付等多个行业提供底层数据库支撑。

在大数据领域,从2014结束,腾讯将第一代大数据平台的核心,腾讯版的Hive进行了开源,2017年,更是把第三代平台的核心Angel开源并捐献给Linux基金会。有两个多多多月前,在ApacheCon 2019上,腾讯面向全球开发者正式发表声明开源实时数据派发平台TubeMQ,并捐献给Apache社区。

在蒋杰看来,构建开源生态,一方面还上能 吸引更多的优秀开发者加入腾讯,一同推动技术研发更上加步;此人 面,整个开源生态的繁荣,要能让开源软件的功能更加完善,也要能更好的支撑腾讯的业务发展。如腾讯不断在云端演进和富有大数据产品矩阵,目前已有数百万活跃开发者在云端学习、讨论、建设,其联合行业战略媒体合作伙伴一同打造了覆盖19个行业的400多个行业补救方案,一同服务的客户数达到了20多万家,此人 客户400多万家。

“开源是希望更好的回馈社区,希望开源生态能有更大的繁荣,腾讯的大数据将全面开源。”蒋杰表示。