计算化学公社

标题: 三台服务器搭建集群的问题 [打印本页]

作者
Author: dongdong 时间: 2020-7-22 20:13
标题: 三台服务器搭建集群的问题
各位老师好：
      实验室有三台56核服务器。之前有关注到集群的搭建，有人推荐我搭建spark（Standlone模式）的集群，然后安装作业系统，这样可以实现多节点提交任务。由于我是一个新手，对于集群搭建的认识不够，还在摸索学习中。我们希望通过集群实现一下两点，第一，在一台服务器上安装软件即可实现程序的调用，就不用一台一台去安装了。第二，类似于超算平台，可以提交计算任务，进行多节点运行程序，达到更好的效率。
   我对集群也有一些问题。1、搭建集群后，通过操作一个主机，即可调用三台服务器的核数么（之前有老师说高斯没办法跨节点使用，是么？）。
                                       2、不知道大家是如何搭建集群的，如果可以的话，可以给鄙人一些建议。
   谢谢！

作者
Author: abin 时间: 2020-7-22 20:44
看我签名

作者
Author: dongdong 时间: 2020-7-22 21:59

abin 发表于 2020-7-22 20:44
看我签名

谢谢您的回复。看了您的几个视频，但是是展示已经搭过的集群，不知道您是如何搭建小型集群的。查资料集群有hadoop,spark。

作者
Author: abin 时间: 2020-7-22 22:28

dongdong 发表于 2020-7-22 21:59
谢谢您的回复。看了您的几个视频，但是是展示已经搭过的集群，不知道您是如何搭建小型集群的。查资料集 ...

你找的那玩意，不是做计算用的集群，
不要跑偏哦……

我至少有两个视频讲的很详细，
如何搭建。

至少在双节点mini cluster 中，
都给了具体方案了。
你看了，还是迷糊的话，
那你应该听了去了。

你加我微信，我给你两个链接。

如果你有Linux 指令行，一年以上的使用经验，
你听我叨叨一个小时，
你就会了。
要不然都是白费。

作者
Author: abin 时间: 2020-7-22 23:46
本帖最后由 abin 于 2020-7-23 08:16 编辑

dongdong 发表于 2020-7-22 21:59
谢谢您的回复。看了您的几个视频，但是是展示已经搭过的集群，不知道您是如何搭建小型集群的。查资料集 ...

如果你看到spark之类的集群，那么你跑偏了。

高性能计算集群，和你能找到的spark，k8s等集群是完全不同的概念。
不要乱搞啊。

我的视频中，有介绍最简单的集群的技术方案的。
你没有仔细看吧？

坦白的说，如果你没有一年左右的Linux指令行经验，
建议你不要折腾了，尤其是你对多台机器的认识还停留在微软思维的话。

可以听听鄙人讲的资料，大概了解一下：
https://app.cailiaoren.com/view/series/detail?id=172&vid=1524
这个是最新的。

在材料人，多年以前，也有讲过，大概是直播直接搭建的演示过程。

我通过dingtalk也有直播讲过如何搭建集群。
但是我不晓得如何分享链接给你。
要么你私下通过dingtalk找我，我发链接给你？

你要是基础都了解了，
自己想试试，可以试试Rocks cluster，
或者OpenHPC方案。
不过基础不好，或者没有Linux指令行经验的话，这两个都玩不转的。

作者
Author: abin 时间: 2020-7-22 23:47
我之前回复的，不晓得那里触发了敏感词，
内容找不到了。

所以，我也是闲的，又写了一遍。

作者
Author: lfpara 时间: 2021-2-2 16:27
你是哪个学校的？近的话我还能上门帮你整

欢迎光临计算化学公社 (http://bbs.keinsci.com/)