Thursday, June 16, 2022

OSCHINA 社区最新专区文章

OSCHINA 社区最新专区文章


模型部署篇

Posted: 01 Jun 2022 06:56 PM PDT

服务器部署 Flask Flask是一个使用Python编写的轻量级Web应用框架。 安装Flask pip install Flask 现在我们开始一个Hello World。 from flask import Flask, request app = Flask(__name__) @app.route("/hello") def helloword(): return "<h1>Hello World</h1>" if __name__ == '__main__': ...

flink job资源占用单topic数据源多process多sink 对于数据源的拆分和不拆分资源占用情况一样?

Posted: 16 Jun 2022 02:38 AM PDT

如图,单个job同一数据源但是分为多个source-process-sink处理 通过jmx实时资源监控 和共用单source源多process,多sink 以上测试数据发送kafka 5万条数据。5个线程每个线程1万条数据,180秒左右发送完成。 通过实时资源占用查看。两个任务处理数据资源占用基本相同。 自己测试通过jmx观察,两个不同风格的任务,处理相同...

一个算子在深度学习框架中的旅程

Posted: 13 Jun 2022 05:03 PM PDT

撰文|赵露阳 算子即Operator,这里简称op。op是深度学习的基础操作,任意深度学习框架中都包含了数百个op,这些op用于各种类型的数值、tensor运算。 在深度学习中,通过nn.Module这样搭积木的方式搭建网络,而op就是更基础的,用于制作积木的配方和原材料。 譬如如下的一个dem o 网络: import oneflow as torch clas...

如何使用Superset可无缝对接MRS进行自助分析

Posted: 08 Jun 2022 12:38 AM PDT

摘要:本文主要介绍如何在MRS之上使用Superset进行数据分析。 本文分享自华为云社区《使用商业智能软件Superset分析MRS数据之最佳实践》,作者: 啊喔YeYe 。 1. 概要 Superset Apache Superset是一个现代的数据探索和可视化平台。具有功能强大、支持数据种类多、使用简单、易扩展、可视化能力丰富等诸多优势,在github上...

机器学习服务助应用内文本语种在线和离线检测

Posted: 12 Jun 2022 06:28 PM PDT

当用户有跨语种交流或内容翻译的需求时,应用需要能自动检测文本的语种再进行翻译。 HMS Core[机器学习服务](https://developer.huawei.com/consumer/cn/hms/huawei-mlkit?ha_source=hms1)的语种检测服务提供[在线语种检测](https://developer.huawei.com/consumer/cn/doc/development/hiai-Guides/real-time-translatio...

实时开发平台建设实践,深入释放实时数据价值丨04期直播回顾

Posted: 14 Jun 2022 08:25 PM PDT

原文链接:[实时开发平台建设实践,深入释放实时数据价值](https://mp.weixin.qq.com/s?__biz=MzU5ODYyNTkxMA==&mid=2247492687&idx=2&sn=39bbb1a51fdb40bd6418728222c4dc14&chksm=fe43ff56c9347640698087fd24c0829697e1f0e429690135228fa0995838d553bac224c55964&token=31515769&lang=zh_CN#rd) 视频回顾:[点击这里](h...

基于模板配置的数据可视化平台

Posted: 08 Jun 2022 11:58 PM PDT

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/adf24515f6f54608823ed6a958b6acae~tplv-k3u1fbpfcp-zoom-1.image) > **导读**:在大数据智能时代,数据分析的价值越来越重要,而数据分析可视化平台的能力要求也越来越高。本文从百度数据中心的数据可视化平台出发,介绍了配置化的数据可视化平台的应用价值...

datax采集数据时,可以对数据直接通过加密算法加密吗

Posted: 14 Jun 2022 06:36 PM PDT

datax采集数据时,可以对数据直接通过加密算法加密吗

【大规模训练】ZeRO 的思路与实现

Posted: 14 Jun 2022 02:51 AM PDT

文 @ 不愿透露姓名的小 P 同学 前言 本次大规模训练技术系列分享之 ZeRO,主要对微软 ZeRO Optimizer 的思路和实现进行介绍,全文包含以下四个部分: 大规模训练的技术挑战 & 现有的并行训练方式 ZeRO Optimizer 的三个不同级别 ZeRO-3 具体实现思路和方式 ZeRO 的局限与大模型训练的未来 训练大模型的挑战 随着人工智能...

被这个参数三杀了

Posted: 07 Jun 2022 08:57 AM PDT

最近接连排查了几个问题,居然都是同一个参数引起的,本文就通过实际案例讲述下该参数如何引发问题的,以及问题最终又是如何解决的~ 【First Blood】 在我们的环境中,RM是基于HA的方式部署的,并且RM是基于容器的方式运行的,即两个RM运行在各自的容器中;同时,我们还开启了kerberos认证,因此两个RM的hostname配置的是...

No comments:

Post a Comment