当前位置:伍佰目录 » 站长资讯 » 免费资源 » 技术文章 » 文章详细

云原生数据中台技术与趋势解读

来源:本站原创 浏览:273次 时间:2021-05-05

武媚娘停播,4008777777,潇潇雨下

编辑导语:数据中台可以有效解决业务处理效率、数据管理、企业组织架构等问题。那未来数据中台该往什么方向发展?本文就介绍了云原生数据中台,并对其发展趋势进行解读。让我们一起来看一下。

数据中台发展至今,大体经历了4个重要阶段:数据库——数据仓库——大数据平台——数据中台。每次新的变革,都是为了解决上一阶段存在的问题。

当前,走向云原生成为数据中台的必然和必须。

一、云原生从何而来?

云原生是用于指导如何在云上构建和运行应用的方法论。

我们认为,“云原生”并不是一个新的概念。回顾云计算史,从个人端应用到企业级应用,都早已开始“上云”。

起初,这些上云的“非原住民”应用,延续了私有化部署的技术架构,把本地软件不加修改地通过ECS迁至云端。而ECS的弊端在于只能承载计算,无法实现存储。虽然上云后的应用实现了业务打通,但随着业务扩大,原有的架构“可用性”明显下降。

国内云厂商为了解决数据存储问题,制作了云磁盘,将其挂靠在云主机上,实现数据备份,且无需更改程序。传统软件上云的“高可用”问题得以解决。

然而,这种方式引发了另一弊端——成本高。客户把Hadoop不加修改直接部署到ECS节点上,数据通过HDFS存储在云磁盘上,需花费大量成本。因此必须修改HDFS底层,把数据存到对象存储上。

随着需求不断丰富,系统必须按照IaaS、PaaS的技术特点进行重构,以便跟上业务和数据的爆炸性增长。 在私有化部署以及上一代传统技术的软件架构运维方法论的基础上,带着“高可用”、“低成本”等属性,“云原生”升级而出。

二、云原生数据中台具有哪些技术要素?

“云原生”概念发展至今,我们已并不陌生。而为什么要强调“云原生数据中台才是未来”?分级多域数据治理的刚需、云原生技术降本增效的天然特征、国内基础设施自主可控的要求……都将数据中台推向云原生。

因此,我们将云原生数据中台的技术要素归纳为6点:CI/CD(持续集成持续交付)、容器化、对象体系、存储计算分离、跨云多域数据治理和元数据管理。

1. CI/CD(持续集成持续交付)

CI/CD的本质是提高开发和部署效率。

在业务量巨大的情况下,大数据和云的运维人力成本极高。因此需要使用大量的自动化工具和大数据预测算法进行自动化运维。通过版本管理系统和DevOps基础设施,实现自动化测试和持续集成。

一个典型流程是,程序员提交代码到特定的tag,触发测试接口自动化测试脚本执行并发送报告。由此实现测试、发布和部署自动化。在此基础上构建特定的数据环境,对重要接口和链路进行自动化检测。

2. 容器化

容器化本质上是一种虚拟化技术,一台主机可虚拟出上千个容器。

单个容器的启动时间更快,占用空间更小,而且可以根据实际应用的大小来弹性分配资源,无需额外采购服务器,加快研发速度。使用容器编排基础设施,对服务和作业进行治理,根除版本地狱,大幅度提高运维和集成效率。

容器化编排与CI/CD是相互结合的。在数据中台领域,往往几十台机器、上百个进程同时运行,且在这些进程中不仅要运行本身的程序,也要运行客户的程序。

因此,底层微服务的进程繁多。基于安全合规要求,客户之间的程序需要保持分隔。因此,数据中台对于容器化的要求高于其他基于云原生的应用。

3. 对象体系

根据现有业务抽象出核心对象,以标准Restful风格提供API服务,解耦核心对象与业务层服务,以应对不同环境、不同业务场景的需求。这一系列正交的核心对象就构成了平台对象体系,上层业务可在此基础上构建应用,高效演进。

本文地址:http://www.reviewcode.cn/youxikaifa/204088.html 转载请注明出处!


伍佰目录声明:本站部分文章来源于网络,版权属于原作者所有。如有转载或引用文章/图片涉及版权问题,请联系我们处理.我们将在第一时间删除! 联系邮箱:tsk@qq.com

快速链接

最新收录

最新点入