OSCHINA 社区最新专区文章 |
Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践 Posted: 18 Nov 2021 03:41 AM PST 图片来源:pexels 背景 Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程,在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架,shuffle有几种实现形态: 基于文件的pull based shuffle,如MapReduce、Spark。这种shuffle方式多用于类MR的框架,比如MapReduce、Spark,... |
Posted: 15 Nov 2021 07:05 PM PST 弹性伸缩(Auto Scaling)是云商提供的、根据自身业务需求自动调整计算能力(即实例数量)的服务。使用该服务时,实例数量可根据工作负载自动进行伸缩,从而在业务需求增长时提供资源支持、在业务需求下降时降低成本。 那么,弹性伸缩的基本原理是怎样的?我们如何判断弹性伸缩的效果、进行优化?来一探究竟—— 什么是弹... |
You are subscribed to email updates from OSCHINA 社区最新专区文章. To stop receiving these emails, you may unsubscribe now. | Email delivery powered by Google |
Google, 1600 Amphitheatre Parkway, Mountain View, CA 94043, United States |
No comments:
Post a Comment