给 PVE 集群配置 Ceph 存储并更换国内源，并删除订阅弹窗

官方英文视频教程参考官网这个网址：
https://www.proxmox.com/en/training/video-tutorials/item/install-ceph-server-on-proxmox-ve
首先检查软件源【重要】

默认是订阅版，如果不做修改，在使用 pveceph init 进行 ceph 初始化安装的时候会将整个环境破坏，切记！【PVE 版本 6.1】

SSH登陆各节点
将/etc/apt/sources.list.d/pve-enterprise.list  文件内的唯一一条记录注释掉：
#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
echo "#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise" > /etc/apt/sources.list.d/pve-enterprise.list
wget -q -O- 'http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg' | apt-key add –
echo "deb http://download.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade
国内源：
echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list     #中科大源
echo "deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list     #Proxmox中文社区源
sed -i.bak "s#http://download.proxmox.com/debian/#https://mirrors.ustc.edu.cn/proxmox/debian#g" /etc/apt/sources.list.d/ceph.list     #中科大源
sed -i.bak "s#http://download.proxmox.com/debian#https://download.proxmox.wiki/debian#g" /etc/apt/sources.list.d/ceph.list     #Proxmox中文社区源
sed -i.bak "s#http://download.proxmox.com/debian#https://mirrors.ustc.edu.cn/proxmox/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm     #中科大源
sed -i.bak "s#http://download.proxmox.com/debian#https://download.proxmox.wiki/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm     #Proxmox中文社区源
sed -i.bak "s#ftp.debian.org/debian#mirrors.aliyun.com/debian#g" /etc/apt/sources.list     #阿里Debian源
sed -i "s#security.debian.org#mirrors.aliyun.com/debian-security#g" /etc/apt/sources.list     #阿里Debian源
sed -i.bak "s#ftp.debian.org/debian#mirrors.163.com/debian#g" /etc/apt/sources.list     #163Debian源

sed -i "s#security.debian.org#mirrors.163.com/debian-security#g" /etc/apt/sources.list     #163Debian源

删除订阅通知弹窗
通过 SSH 连接到 Proxmox 机器或通过 PVE Web 界面使用控制台，输入以下命令，然后清除浏览器缓存：

echo 'sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service' >> /etc/rc.local && chmod +x /etc/rc.local && sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && sed -i.bak "s#Proxmox.Utils.checked_command(function() {}#//Proxmox.Utils.checked_command(function() {}#g" /usr/share/pve-manager/js/pvemanagerlib.js && systemctl restart pveproxy.service

安装 ntp，ceph 集群对时间同步的要求很高。需要安装 ntp 服务： apt-get install ntp -y安装完成之后会自动启动并同步 debian 的时间服务器，注意，是联网的情况下，如果不连接外网，需要设定内网的 ntp 服务。
1、安装 Ceph 组件

每个节点都开始打开安装步骤

输入Y回车确定安装

输入节点的存储网络地址

翻车了

提示我 ceph 没有安装。【后来发现是国内网络问题反复安装几次后成功了】
我们手动安装一下 luminous 版本试一下，通过 SSH 登陆服务器：

   1、首先在**每一个节点**安装ceph软件包：
      pveceph install –version luminous  
   2、初始化ceph存储网络：
      pveceph init –network 192.168.30.0/24
   3、创建mon

      pveceph createmon

2、创建 MON

在 pve2 和 pve3 上面登录 web 界面创建 mon：

3、创建 OSD

将 sdb 磁盘加入到 OSD，对 pve2 和 pve3 做同样的操作，完成后如下：

4、创建 Pools

Pool 的名称是 Ceph-vm，根据自己需要取，size=2 表示正常的副本数，min size=1 表示最少的数据副本数，pg_num=128 表示逻辑存储单元数未 128，具体设置的策略请参考 ceph 相关文档。

5、创建 RBD 存储池

ID 可以自定义。