Wednesday, April 27, 2022

OSCHINA 社区最新专区文章

OSCHINA 社区最新专区文章

国产化浪潮下TiDB解决的痛点问题

Posted: 17 Mar 2022 02:06 AM PDT

1 前言 随着国内互联网企业的快速发展，传统的oracle数据库架构在成本和扩展性上已不能满足要求，更多的企业将目光转向了开源的MySQL数据库，由于MySQL本身是一个单机数据库其本身并不具备横向扩展能力，于是出现了应用侧的分库分表方案。进一步的又开发出分库分表中间件，由中间件完成分库分表的管理，避免了应用侧的复...

字节跳动构建Data Catalog数据目录系统的实践

Posted: 24 Apr 2022 07:38 PM PDT

作为数据目录产品，Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了字节跳动Data Catalog系统的构建和迭代过程，将分为上、下篇发布。上篇主要围绕Data Catalog调研思路及技术架构展开。 **一、背景** **1....

安全业务全链路数据仓库在58的实践与应用

Posted: 25 Apr 2022 06:40 PM PDT

1 背景 "全链路"指的是全业务、全场景、全方向，那么全链路数据仓库指的是这个数仓中的数据是包罗万象的数据，因为在信息安全业务领域，会有大量的特征、策略、用户行为需要进行数据分析和验证，因此挖掘数据关系的关联性俨然成为了一个趋势，这些数据的链路关系是面向全方位的，两点之间的数据也可以存在多条链路关系...

PostgreSQL 15：一些新特性

Posted: 25 Apr 2022 12:53 AM PDT

PostgreSQL 15 版本正在开发中，不远的将来就会与大家见面，一起来看看未来的一些新功能吧！ 1. 删除public 模式的创建权限 直到今天，使用 PostgreSQL 14，每个人都可以默认写入public模式。使用 PostgreSQL 15，这将受到限制。public模式现在由"pg_database_owner"拥有。让我们做一个简短的测试。 postgres=# creat...

“一个扫描枪一张表”，韵达选择 TDengine 应对每日亿级数据量

Posted: 25 Apr 2022 02:30 AM PDT

小 T 导读：此前，韵达使用 MySQL 分区+索引处理订单数据的方式遭受到了挑战，面对每日亿级的数据量，MySQL 显然已经无法满足当下的数据处理需求。为更好地发展业务，在此基础上韵达新增了 TDengine 的数据源，用专业的数据库来进行时序数据的处理。 作为一家头部物流公司，韵达每日的订单扫描量能达到上亿级，这也是目前...

Deep Dive 7：Milvus 2.0 质量保障系统详解

Posted: 21 Apr 2022 04:00 AM PDT

编者按：本文详细介绍了 Milvus 2.0 质量保障系统的工作流程、执行细节，以及提高效率的优化方案。 质量保障总体介绍 测试内容的关注点 开发团队与质量保障团队如何协同 Issue 的管理流程 发布标准 测试模块介绍 总体介绍 单元测试 功能测试 部署测试 可靠性测试 稳定性和性能测试 提效方法和工具 Github Action 性能测试...

TiDB 查询优化及调优系列（二）TiDB 查询计划简介

Posted: 26 Apr 2022 07:21 PM PDT

「TiDB 查询优化及调优」系列文章将通过一些具体的案例，向大家介绍 TiDB 查询及优化相关的原理和应用，在 上一篇文章 中我们简要介绍了 TiDB 查询优化器的优化流程。 查询计划（execution plan）展现了数据库执行 SQL 语句的具体步骤，例如通过索引还是全表扫描访问表中的数据，连接查询的实现方式和连接的顺序等。查阅...

TiFlash 源码阅读（一） TiFlash 存储层概览

Posted: 26 Apr 2022 07:58 PM PDT

背景 本系列会聚焦在 TiFlash 自身，读者需要有一些对 TiDB 基本的知识。可以通过这三篇文章了解 TiDB 体系里的一些概念《 说存储 》、《 说计算 》、《 谈调度 》。 今天的主角 -- TiFlash 是 TiDB HTAP 形态的关键组件，它是 TiKV 的列存扩展，通过 Raft Learner 协议异步复制，但提供与 TiKV 一样的快照隔离支持。我们...

揭秘华为云GaussDB(for Influx)：最佳实践之数据建模

Posted: 25 Apr 2022 08:11 PM PDT

摘要：本期将从GaussDB(for Influx)数据模型谈起，分享GaussDB(for Influx)数据建模的最佳方法，避免一些使用过程中的常见问题。 本文分享自华为云社区《华为云GaussDB(for Influx)揭秘第七期：最佳实践之数据建模》，作者： GaussDB 数据库。 华为云GaussDB(for Influx)时序数据库面向工业物联网海量时序数据场景提供数...

解析数仓OLAP函数：ROLLUP、CUBE、GROUPING SETS

Posted: 26 Apr 2022 08:46 PM PDT

摘要：GaussDB(DWS) ROLLUP，CUBE，GROUPING SETS等OLAP函数的原理解析。 本文分享自华为云社区《GaussDB(DWS) OLAP函数浅析》，作者： DWS_Jack_2。 在一些报表场景中，经常会对数据做分组统计（group by），例如对一级部门下辖的二级部门员工数进行统计： create table emp( id int, --工号 name text, --员工名...

万字详解！搜狐智能媒体基于 Zipkin 和 StarRocks 的微服务链路追踪实践

Posted: 28 Mar 2022 12:23 AM PDT

作者：翟东波、叶书俊 在微服务体系架构下，搜狐智能媒体使用 Zipkin 进行服务链路追踪（Tracing）的埋点采集，将采集的 Trace 信息存储到 StarRocks 中。通过 StarRocks 强大的 SQL 计算能力，对 Tracing 信息进行多维度的统计、分析等操作，提升了微服务监控能力，从简单统计的 Monitoring 上升到更多维度探索分析的 ...

MySQL对JOIN做了那些不为人知的优化？

Posted: 25 Apr 2022 06:37 PM PDT

大家好，我是咔咔 不期速成，日拱一卒 通过上期文章知道了在MySQL中存在三种join的算法，分别为NLJ、BNLJ、BNL，总结来说分为索引嵌套循环连接、缓存块嵌套循环连接、粗暴循环连接。 另外还知道了一个新的概念join_buffer，作用就是把关联表的数据全部读入join_buffer中，然后从join_buffer中一行一行的拿数据去被驱动表...
Posted by at

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)