计算化学公社

 找回密码 Forget password
 注册 Register
Views: 578|回复 Reply: 0

[集群维护] 使用浏览器玩转并行计算集群 | HPC via Web

[复制链接 Copy URL]

1853

帖子

1

威望

4104

eV
积分
5977

Level 6 (一方通行)

发表于 Post on 2022-11-17 13:17:48 | 显示全部楼层 Show all |阅读模式 Reading model
本帖最后由 abin 于 2022-11-17 19:50 编辑

演示链接
https://www.bilibili.com/video/BV1PM411C7Cs

适用群体
也许, 很多接触计算的朋友, 也就是一周跑几个计算任务而已;
也许, 很多朋友, 接触计算机/电脑, 就是只有微软那种视窗界面...
也许, 很多朋友, 认为电脑就是需要使用鼠标点击来操作的...

那么, 你可以看看如下的演示视频:

https://www.bilibili.com/video/BV1PM411C7Cs


亮点简介
用文字来描述就是:
微软系统, 打开微软默认的Edge浏览器, 无需任何插件和额外软件, 访问一个地址,
输入用户名和密码, 即可登录到超算系统.
实际上, 不区分系统的.
我测试了手里的微软Win11+Edge; Mac + Safari/Firefox/Chrome; Ubuntu Xfce+Firefox/Chrome, 都可以正常工作的.
老旧的IE浏览器, 肯定不行的.
360等浏览器, 未测试; 因为我机器上没有这些产品.

在浏览器界面, 可以完成:
  • 处理文件数据, 可以直接点击鼠标查看、编辑, 也可以下载, 或者拖拽上传.
  • 查看计算任务, Active Jobs
  • 提交计算, 点击鼠标选择作业模版(调度脚本模版), 上传输入文件(或者指定输入文件), 点击提交. 点击鼠标直接跳转到作业路径, 并查看输出文件.
  • 图形界面. 直接给你Linux桌面, 图形界面的程序, 直接点击鼠标使用.
  • 当然, 如果需要指令, 浏览器也有终端呀.


应用示例
演示视频中, 示例了三种常见的程序.
  • VASP, 不需要指定输入文件名, 但是需要通过脚本指定CPU核心数; 如果机器配置都一样, 核心数也不用修改的.
  • Gaussian, ORCA, 此类, 需要在脚本和输入文件, 同时设定CPU和内存需求
  • 图形桌面使用GaussView, 点击鼠标直接打开.


尤其是图形桌面, 这个应用, 其实可以很好的服务于需要课堂教学的场景.
比如一台机器有96个核心; 限定一个交互桌面分派1个核心+1GB内存, Xfce桌面程序会很流畅的. 这样可以轻松负载96个用户同时使用桌面的.
根据俄亥俄州立大学计算中心的估算, 内存消耗大概是96 X 256MB=24GB, 教学机器至少24GB内存就可以满足了.


用户只需一个浏览器.
如今的微软, 苹果, 以及Linux系统, 自带的浏览器都可以顺利工作.

技术细节
演示中, 使用到的Web前端,
基于Open OnDemand实现, 涉及Ruby, http(s), nginx反向代理, SSL/TSL, FQDN等.
能充分理解这几个关键词所代表的技术/技能的话, 看Open OnDemand Manual应该可以搞定的.

后端集群搭建, 基于hpc4you_toolkit实现. 搭建集群, 只需知道机器IP和root密码即可. 其他流程全是自动处理.
或者, 看其他参考资料, 自己搭建也不怎么难的.
但是如果你分不清什么是root用户, 什么是IP, 什么是网关这种, 什么是掩码,
那你就别自己折腾查看资料, 从头手动搭建集群了, 我估计两周内, 你搞不定的.


采用Open OnDemand之后, 对于初级用户,
特别方便, 尤其是任务量不大, 而且坚信电脑就是通过鼠标操作的, 必须是有图形界面的.
对于经验丰富的用户, 依旧可以采用ssh来登录操作.

另,
似乎上海交通大学计算中心, 有在使用Open OnDemand, 我在源码目录, 看到了SJTU贡献的东西.

参考资料
https://github.com/OSC
https://discourse.openondemand.org/
https://github.com/SJTU-HPC/
https://osc.github.io/ood-documentation/latest/

部署安装
我只能在hpc4you_toolkit组建的集群上, 完成open OnDemand前端调试, 很费功夫的.
建议参考上面的参考资料, 自己动手, 或者看看有没有雷锋同志.

温馨提示
Open OnDemand, 可以看作是用户层面的计算集群的Web前端. 这个Web端和管理员使用的管理端没有关系.
至于集群本身, 以及各种软件调试部署, 脚本设定等等配置, Open OnDemand并不会帮您配置,
它只要求, 这些东西是Ready状态, “你告诉我这些在哪里, 我链接一下”.
不过, 对于习惯在视窗环境下点击鼠标的同学来说, open OnDemand是一个非常棒的选择.

对于管理员, 解决方案有ColdFront; 监控方案有Open XDMoD, 等等.
这些都是打开任何一个原装浏览器, 就能正确工作的, 无需安装任何东西.
显然, 你需要配置调试这些工具, 让他识别你的集群, 识别你的硬件信息.

在实际使用过程中, 没有多少管理员, 使用图形界面的东西, 因为不够灵活.
经验丰富的集群用户, 也不会使用图形界面的, 因为效率太低了.

各有利弊吧.

评分 Rate

参与人数
Participants 1
eV +8 收起 理由
Reason
sobereva + 8

查看全部评分 View all ratings

High-Performance Computing for You
为您专属定制的高性能计算解决方案

更多讯息,请访问:
App,  https://gitee.com/hpc4you/linux
hpc4you toolkit,  https://gitee.com/hpc4you/hpc
电邮hpc4you@163.com VX: hpc4you

本版积分规则 Credits rule

手机版 Mobile version|北京科音自然科学研究中心 Beijing Kein Research Center for Natural Sciences|京公网安备 11010502035419号|计算化学公社 — 北京科音旗下高水平计算化学交流论坛 ( 京ICP备14038949号-1 )|网站地图

GMT+8, 2023-2-6 05:02 , Processed in 0.642116 second(s), 23 queries .

快速回复 返回顶部 返回列表 Return to list