Saturday, November 20, 2021

OSCHINA 社区最新专区文章

OSCHINA 社区最新专区文章


Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践

Posted: 18 Nov 2021 03:41 AM PST

图片来源:pexels 背景 Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程,在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架,shuffle有几种实现形态: 基于文件的pull based shuffle,如MapReduce、Spark。这种shuffle方式多用于类MR的框架,比如MapReduce、Spark,...

云端干货|降本必备—弹性伸缩的基本原理

Posted: 15 Nov 2021 07:05 PM PST

弹性伸缩(Auto Scaling)是云商提供的、根据自身业务需求自动调整计算能力(即实例数量)的服务。使用该服务时,实例数量可根据工作负载自动进行伸缩,从而在业务需求增长时提供资源支持、在业务需求下降时降低成本。 那么,弹性伸缩的基本原理是怎样的?我们如何判断弹性伸缩的效果、进行优化?来一探究竟—— 什么是弹...

No comments:

Post a Comment