Wednesday, October 13, 2021

OSCHINA 社区最新专区文章

OSCHINA 社区最新专区文章

SOFAJraft 在同程旅游中的实践

Posted: 27 Sep 2021 08:00 PM PDT

同程艺龙作为对 raft 研究较早的公司，早在14年算法的 paper 刚发布的时候，便已经对其进行了调研，同时也与 paxos 、zab 等算法进行了详细的对比，并在公司内部的计数器、任务调度元信息存储等场景进行试点。不过早期对于 raft 的尝试较多的是在 cs++ 技术栈试水，在 java 技术栈里却很少有涉及。近期刚好有基于 etcd 的...

机器学习平台统一化分布式存储Ceph的进阶优化

Posted: 12 Oct 2021 07:25 PM PDT

自网易云音乐机器学习平台上线以来，承担着音乐内部推荐、搜索、直播、社交、算法工程等各个业务团队机器学习场景的需求， 这其中也遇到了很大的挑战，尤其是在分布式存储这块上，花费大量时间、精力，解决其中的核心问题。本文是网易数帆存储团队与网易云音乐机器学习平台与框架团队联合创作，向各位看官描述下，在机器...

Apache Airflow 2.2.0 发布，Airbnb 开源的调度系统

Posted: 12 Oct 2021 03:57 PM PDT

Apache Airflow 2.2.0 已正式发布，Airflow 是一个灵活、可扩展的工作流自动化和调度系统，可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流，通过智能调度、数据库和依赖关系管理、错误处理和日志记录，Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写，具有高扩...
Posted by at

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)