当前位置:伍佰目录 » 站长资讯 » 站长资讯 » 互联网资讯 » 文章详细

新浪微博数据库资源调度设计:万级实例精细化管理

来源:本站原创 浏览:171次 时间:2021-05-19

纣王妲己成代言人,马金虎,教师节手抄报内容

  本文根据张磊老师在〖deeplus直播第263期〗线上分享演讲内容整理而成。(文末有获取本期回放的方式,不要错过)

  

  今天分享的主题是微博数据库资源调度平台的架构实践,是我们内部启动的?个项?。主要实现的功能有两个:?个是资源的智能调度,?个是成本优化。都是?常实?的场景。

  ?会?我会从4个??来做下具体介绍:

  项?启动的背景。

  包括微博当前数据库资源的规模现状和运维?员配?,我们对资源治理的期望和?标,以及我们对资源调度的理解。

  然后介绍?下这个调度平台的宗旨和使命。

  就是我们希望通过这个平台达到什么?的,希望它解决我们哪些痛点。

  再重点介绍?下平台的架构选型、实现?式、逻辑设计和核?功能。

  最后分享两个案例。

  来说明我们是如何通过这个调度平台实现应对热点事件和成本优化的。

  一、背景

  1、微博资源规模现状

  先来看下微博资源规模的现状:

  

  从两个维度来看:?个是整体资源体量,?个是资源使?的种类。整体资源体量上,服务器规模还是?较?的,全?服务器达到了万台?平,总实例数近10万个,总访问量在万亿级别,资源使?的种类也?较丰富多样,关系型数据库有MySQL、PostgreSQL,缓存类有Redis、Memcached,消息队列有Kafka、MCQ、Qservice等等。

  运维?员配??常低,或者说?均运维实例数?常多,差不多每个?要管理1500个实例,这个数量已经?常?了,如果没有借助?动化、标准化的运维?段,是很难管理好这么多实例的。

  2、如何做好资源治理

  如此规模下如何做好资源治理是我们每天都在考虑的问题。

  

  资源治理是个?较抽象、概括的说法,我们需要拿很多东?界定它才能让它具像化。?家可以按照这个思路来捋下:

  1)资源具体指什么(定义)

  服务器,MySQL、Redis等这样的服务,服务发现、域名,Agent代理资源治理的?标是什么(?标)稳定性保障快速暴露问题,快速解决问题挖掘潜在隐患,制定应对预案可控性保障资源SLA可控资源调度可控资源容量?位可控

  2)怎么治理(?法论)

  通过资源调度实现

  3)怎么衡量资源治理的好坏(SLA)

  满?业务的SLA

  资源治理??也包含很多细分领域和模块,?如数据采集、指标决策等等。这些问题都找到答案后,我们对什么是资源治理就有个?概的轮廓了。

  3、什么是资源调度

  上?提到 资源调度是资源治理的具体实现,我们要想做好资源治理,就要做好资源调度。

  

  我们?常对资源的很多操作,都可以抽象成对资源的调度。?如:切主、升级、迁移、扩容、缩容等等。资源调度的核?是服务?愈。只有服务?愈覆盖范围?够?,资源运维的规模才可能?够?,服务访问质量才可控,资源治理才可以真正落地。我们?均运维的1500个实例,就像运维15个实例?样,因为99%的情况都被服务?愈覆盖了。

本文地址:http://www.reviewcode.cn/bianchengyuyan/211693.html 转载请注明出处!


伍佰目录声明:本站部分文章来源于网络,版权属于原作者所有。如有转载或引用文章/图片涉及版权问题,请联系我们处理.我们将在第一时间删除! 联系邮箱:tsk@qq.com

快速链接

最新收录

最新点入