使用浏览器玩转并行计算集群 | HPC via Web

abin

演示链接
https://www.bilibili.com/video/BV1PM411C7Cs

适用群体
也许, 很多接触计算的朋友, 也就是一周跑几个计算任务而已;
也许, 很多朋友, 接触计算机/电脑, 就是只有微软那种视窗界面...
也许, 很多朋友, 认为电脑就是需要使用鼠标点击来操作的...

那么, 你可以看看如下的演示视频:

https://www.bilibili.com/video/BV1PM411C7Cs


亮点简介
用文字来描述就是:
微软系统, 打开微软默认的Edge浏览器, 无需任何插件和额外软件, 访问一个地址,
输入用户名和密码, 即可登录到超算系统.
实际上, 不区分系统的.
我测试了手里的微软Win11+Edge; Mac + Safari/Firefox/Chrome; Ubuntu Xfce+Firefox/Chrome, 都可以正常工作的.
老旧的IE浏览器, 肯定不行的.
360等浏览器, 未测试; 因为我机器上没有这些产品.

在浏览器界面, 可以完成:

• 处理文件数据, 可以直接点击鼠标查看、编辑, 也可以下载, 或者拖拽上传.
• 查看计算任务, Active Jobs
• 提交计算, 点击鼠标选择作业模版(调度脚本模版), 上传输入文件(或者指定输入文件), 点击提交. 点击鼠标直接跳转到作业路径, 并查看输出文件.
• 图形界面. 直接给你Linux桌面, 图形界面的程序, 直接点击鼠标使用.
• 当然, 如果需要指令, 浏览器也有终端呀.
  

应用示例
演示视频中, 示例了三种常见的程序.

• VASP, 不需要指定输入文件名, 但是需要通过脚本指定CPU核心数; 如果机器配置都一样, 核心数也不用修改的.
• Gaussian, ORCA, 此类, 需要在脚本和输入文件, 同时设定CPU和内存需求
• 图形桌面使用GaussView, 点击鼠标直接打开.
  

尤其是图形桌面, 这个应用, 其实可以很好的服务于需要课堂教学的场景.
比如一台机器有96个核心; 限定一个交互桌面分派1个核心+1GB内存, Xfce桌面程序会很流畅的. 这样可以轻松负载96个用户同时使用桌面的.
根据俄亥俄州立大学计算中心的估算, 内存消耗大概是96 X 256MB=24GB, 教学机器至少24GB内存就可以满足了.


用户只需一个浏览器.
如今的微软, 苹果, 以及Linux系统, 自带的浏览器都可以顺利工作.

技术细节
演示中, 使用到的Web前端,
基于Open OnDemand实现, 涉及Ruby, http(s), nginx反向代理, SSL/TSL, FQDN等.
能充分理解这几个关键词所代表的技术/技能的话, 看Open OnDemand Manual应该可以搞定的.

后端集群搭建, 基于hpc4you_toolkit实现. 搭建集群, 只需知道机器IP和root密码即可. 其他流程全是自动处理.
或者, 看其他参考资料, 自己搭建也不怎么难的.
但是如果你分不清什么是root用户, 什么是IP, 什么是网关这种, 什么是掩码,
那你就别自己折腾查看资料, 从头手动搭建集群了, 我估计两周内, 你搞不定的.


采用Open OnDemand之后, 对于初级用户,
特别方便, 尤其是任务量不大, 而且坚信电脑就是通过鼠标操作的, 必须是有图形界面的.
对于经验丰富的用户, 依旧可以采用ssh来登录操作.

另,
似乎上海交通大学计算中心, 有在使用Open OnDemand, 我在源码目录, 看到了SJTU贡献的东西.

参考资料
https://github.com/OSC
https://discourse.openondemand.org/
https://github.com/SJTU-HPC/
https://osc.github.io/ood-documentation/latest/

部署安装
我只能在hpc4you_toolkit组建的集群上, 完成open OnDemand前端调试, 很费功夫的.
建议参考上面的参考资料, 自己动手, 或者看看有没有雷锋同志.

温馨提示
Open OnDemand, 可以看作是用户层面的计算集群的Web前端. 这个Web端和管理员使用的管理端没有关系.
至于集群本身, 以及各种软件调试部署, 脚本设定等等配置, Open OnDemand并不会帮您配置,
它只要求, 这些东西是Ready状态, “你告诉我这些在哪里, 我链接一下”.
不过, 对于习惯在视窗环境下点击鼠标的同学来说, open OnDemand是一个非常棒的选择.

对于管理员, 解决方案有ColdFront; 监控方案有Open XDMoD, 等等.
这些都是打开任何一个原装浏览器, 就能正确工作的, 无需安装任何东西.
显然, 你需要配置调试这些工具, 让他识别你的集群, 识别你的硬件信息.

在实际使用过程中, 没有多少管理员, 使用图形界面的东西, 因为不够灵活.
经验丰富的集群用户, 也不会使用图形界面的, 因为效率太低了.

各有利弊吧.