我用的集群以及经验分享

abin

TDHFjiang 发表于 2020-10-14 10:09
如果4台机子的配置不用，核心数不同，内存不同，不适合组成集群吧？（没钱，一台一台配置的，导致机子的性 ...

可以，但是仅仅推荐做调度，
不建议多节点并行，会被慢的机器托后腿。

abin

TDHFjiang 发表于 2020-10-14 10:15
另外4Tb 的 NVME M.2接口的，一般都是2Tb的，或者您有推荐的吗？

搜索， highpoint PCIEX16

TDHFjiang

Shine剪水 发表于 2020-10-14 10:48
我们的服务器有用了好几年的。

你好，请问你是用rocks cluster 集群部署的吗？ 那你是做了一个登录节点，每个用户可以创建自己的文件夹用来存储数据，这个硬盘空间一般是多大？ 然后把任务提交到其他可计算节点吗？

Shine剪水

TDHFjiang 发表于 2020-10-14 12:47
你好，请问你是用rocks cluster 集群部署的吗？ 那你是做了一个登录节点，每个用户可以创建自己的文件夹 ...

是的，用的Rocks Cluster 7.0 Manzanita,控制节点（登录节点）的硬盘稍大一点（6T），因为主要是Gaussian作业，实际使用过程中用不了多少空间。

abin

Shine剪水 发表于 2020-10-14 16:04
是的，用的Rocks Cluster 7.0 Manzanita,控制节点（登录节点）的硬盘稍大一点（6T），因为主要是Gaussian ...

高斯DFT类计算，空间需求很低的。
普通硬盘就搞定了。

如果主要跑高斯，可以采用本地读写方式，
以免集群表现出来卡的问题。

TDHFjiang

abin 发表于 2020-10-14 16:27
高斯DFT类计算，空间需求很低的。
普通硬盘就搞定了。

您好，我们一般不会涉及到跨节点任务，主要是把任务提交到各个服务器上，不然每次就是单机炒作，文件比较分散，需要及时整理，主要涉及到Gaussian ORCA 等，其中ORCA 对硬盘空间要求比较多，如果用机械盘的话，计算比较慢，我们用NVME 1T 固态硬盘来计算，但是很容易硬盘空间不够

zsu007

谢谢楼主的分享！

abin

TDHFjiang 发表于 2020-10-14 19:38
您好，我们一般不会涉及到跨节点任务，主要是把任务提交到各个服务器上，不然每次就是单机炒作，文件比较 ...

ORCA 最好配备高速硬盘，看样子你应该已经有了。

空间不足，
可以采用RAID0拼接大空间，
或者采用LVG方案， 拓展现有空间。
但是如果当前NVME 1TB有用来安装系统， 而且未曾采用LVG，
那么要看具体分区情形来评估，如何在不重新安装系统的情况下，调整磁盘分区模式。

RAID0，读写性能有保障。
LVG，性能不确定。

abin

TDHFjiang 发表于 2020-10-14 10:15
一般都是NVME M.2 2Tb的，4Tb 的 NVME M.2接口的，您有推荐的吗？

京东有这种啊，
西部数据（Western Digital）
4TB SSD固态硬盘 PCIe Gen3 x8接口
WD_BLACK AN1500 NVMe 扩展卡SSD 疯狂速度

更高容量的，是采用PCIe x16接口

djjj148

请教一下，您提到“两块NVME安装到一个机器，做RAID0读写缓存”，是先把两块NVME做成RAID0，然后通过bcache把RAID0盘和数据盘制作成混合硬盘吗？如果是，那bcache的三种模式：write-through、write-back、及write-around，选哪种合理呢？

abin

djjj148 发表于 2021-6-20 23:07
请教一下，您提到“两块NVME安装到一个机器，做RAID0读写缓存”，是先把两块NVME做成RAID0，然后通过bcache ...

RAID0 only.
No hybrid disk.

djjj148

abin 发表于 2021-6-21 07:29
RAID0 only.
No hybrid disk.

您的原话是"两块NVME安装到一个机器，做RAID0读写缓存。一个8TB做数据盘，另一个8TB做备份盘，设定自动脚本， rsync增量备份。采用openPBS调度。"
我有点糊涂了，一般数据盘是挂载到/home或者某个用户的目录吧,用于存储计算得到的数据。计算节点也是直接对数据盘的目录进行读写吧？
不做hybrid disk，还想发挥NVME的高速读写能力的话，NVME做的RAID0和机械硬盘做的数据盘分别挂载到哪个目录呢？或者还有其他什么巧妙的操作呢？

abin

djjj148 发表于 2021-6-21 10:03
您的原话是"两块NVME安装到一个机器，做RAID0读写缓存。一个8TB做数据盘，另一个8TB做备份盘，设定自动脚 ...

"我有点糊涂了，一般数据盘是挂载到/home或者某个用户的目录吧,用于存储计算得到的数据。计算节点也是直接对数据盘的目录进行读写吧？"
显然你理解的不对。
或者你仅仅只用到了某一种部署方案，
而这个方案，和我提到的高性能读写方案不是一个事情。

“一般数据盘是挂载到/home或者某个用户的目录吧”？
我不晓得这个“一般”情况是哪里来的。
具体看你自己的解决方案吧。

“计算节点也是直接对数据盘的目录进行读写吧？”？
谁说的？
这得看具体使用场景和调优策略了。

I/O都无法控制的话，集群仅仅是集群，谈不上高性能。

另外提一下，
I/O功能是承载高性能读写操作，包括内存和硬盘两个层面。
Storage，存储，仅仅负载数据存放，具备基础的I/O性能就可以了。



我记得你有提到过自己做了集群。

如果你对于“两块NVME安装到一个机器，做RAID0读写缓存。一个8TB做数据盘，另一个8TB做备份盘，设定自动脚本， rsync增量备份。采用openPBS调度“，不甚理解，
可以推测，你自己做的集群，应该有很大的调优空间。

当然也可以采用slurm，或者其他的调度器。

djjj148

abin 发表于 2021-6-21 12:44
"我有点糊涂了，一般数据盘是挂载到/home或者某个用户的目录吧,用于存储计算得到的数据。计算节点也是直 ...

是的，我不太理解。
假设只有一个人，tom用万兆网络的集群，按照您说的"两块NVME安装到一个机器，做RAID0读写缓存。一个8TB做数据盘，另一个8TB做备份盘，设定自动脚本， rsync增量备份。"且不做固态机械的混合硬盘，我目前想到以下2种情况：
1. 在/home/tom/work目录下提交计算任务，把RAID0固定挂载到/home/tom/work，读写能力得到保证，通过rsync定时、增量同步到数据盘和备份盘。因为/home/tom/work已经被RAID0挂着了，数据盘和备份盘只能挂载到其他目录，假设分别挂到/home/tom/work-data和/home/tom/work-back。同时，每隔一段时间清空/home/tom/work，以给RAID0腾空间。
然而，我用超算也几年了，这样的部署方式从来没有见过。人家都是在哪个目录提交的目录，数据就会在哪里产生，不会说在/home/tom/work里提交还需要跑到/home/tom/work-data中去看，所以我网上查询后想到的是做固态机械的混合硬盘，可惜您说不是。

2. 直接在/home/tom/work-data目录下提交计算任务，提交任务的脚本中统一把输入文件先复制到/home/tom/work(对应的子目录都可以，反正就差个-data)并在其目录下计算，这样读写能力仍能得到保证。通过rsync增量且实时同步到/home/tom/work-data和/home/tom/work-back目录。这个方法“好像”合理一点，不过我依然没在超算的提交脚本中发现这样的策略。

还请您点拨一下，有合适什么方法？诸如INTEL快速存储技术？

abin

djjj148 发表于 2021-6-24 16:52
是的，我不太理解。
假设只有一个人，tom用万兆网络的集群，按照您说的"两块NVME安装到一个机器，做RAID ...

"人家都是在哪个目录提交的目录，数据就会在哪里产生"
谁说的？
难道你不在脚本中，
搞一搞cp之类的指令吗？

不敢居高临下，做什么点拨。
我觉得， 你看的资料对于超算的描述，以及架构逻辑，可能和我学习的不是一个东西。

INTEL超快存储技术，请恕我孤陋寡闻，不晓得。
只要硬件到位， 我调试的机器，本地可以做到7GB/s的读写。
多机器并行，也能做到7GB/s。 这里的速度我指的是写硬盘。
如果是写内存，仅仅测试网络性能，那就是网络的带宽上限了，合格的产品都可以达到标称值。

至于增量备份，
我可以做到 原始数据比如说是4GB， 每小时来一次增量备份， 保留100个时间点的备份，消耗空间大约是8GB不到。 大概类似苹果的时间机器。就是初次备份比较慢而已。 无GUI支持，最大的用处，就是防止手贱，数据干没了，可以回去按照时间去找。

相对于，告诉用户在XXX目录下做计算， 在YYY目录下存放数据。
我喜欢的逻辑是，用户就在系统默认路径存放数据，无需更改。
计算的时候，有调度系统控制读写去那里，
计算完毕后，最后的输出依旧在用户提交计算的地方。
所有的过程，都是无感，用户无需做任何必须要如何如何的操作。

至于用户，
也许仅仅需要修改核心数目，如有必要。
或许都不需要指定输入文件名。 我的机器上，的确如此，仅需执行脚本，无需提供任何其他设定。

以上个人遇见，仅供参考。
如有其他疑问，请通过签名电邮联系我。