计算化学公社

标题: 高斯软件并行效率实测与购机建议,还有一些胡言乱语 [打印本页]

作者
Author:
yjcmwgk    时间: 2015-1-6 12:59
标题: 高斯软件并行效率实测与购机建议,还有一些胡言乱语
本帖最后由 yjcmwgk 于 2015-1-6 14:16 编辑

郑重声明:本总结是基于楼主本人的知识以及真实测试结果而做的。本人与intel的关系仅限于“买了一些intel的cpu并长期使用它们”。本人与Gaussian的关系仅限于“买了高斯的版权并长期使用它”。我不是intel或Gaussian的托!

这篇胡言乱语主要包含以下内容:
(一)高斯的多核心并行效率真不咋地
(二)虽然少核心高主频的CPU确实很贵,但是它们就是偏偏适合高斯计算
(三)买电脑,砍价一定要腰斩

(四)能自己攒的机器,就要自己攒!不要买品牌机

好了,开始!

(一)高斯的并行效率

测试机器:两片E5-2680v2处理器,64G内存,普通SAS硬盘,整个机器是按照DDRIII-1600配起来的,关掉超线程后,共20个计算核心。
系统为Centos 6.4 X64。软件为Gaussian 09 D.01 ES64L

测试题:
一个已经用cam-b3lyp优化好的200多个原子的体系,有氢氧硫碳氮碘锌。基组为6-31G(d)和LanL2DZ混用。现在拿着这个构型在同等水平下,进行单点能计算,很幸运的,每次测试的SCF cycle都是13次。

测试结果:
(, 下载次数 Times of downloads: 185)

图1 高斯实测并行效率

当使用12核心并行的时候,总CPU时间为33分36秒,平均每核心运行时间2分48秒
当使用20核心并行的时候,总CPU时间为43分32秒,平均每核心运行时间2分11秒

我们绘制图1,得到以下结论
(1)高斯的2核并行效率很好,4核并行效率也说得过去,8核并行效率就有些难看了。再往上加核心数,并行效率惨不忍睹。
(2)8核心并行,任务运行205秒后结束。而16核心并行,任务运行144秒后结束。多加了一倍的核心数,计算时间仅仅减少了三成儿。
(3)6核心并行,任务运行285秒后结束。而16核心并行,任务运行144秒后结束。为了减少一半的计算时间,我们付出了2.6倍的CPU核心数。
(4)2核并行效率高达95%,12核心并行效率已经降至51%,而20核并行效率更是低达38%。

总结论:高斯的并行效率真心不咋地!超过8核心并行的话,意义已经不大了。我建议极限最多并行核心数不要超过12。

(二)虽然少核心高主频的CPU确实很贵,但是它们就是偏偏适合高斯计算

少核心高主频的CPU确实很贵,我们用理论计算常用的E5-2600v2系列来对比一下,一个是大众化的多核心正常主频的E5-2650v2,一个是小众化的少核心高主频的E5-2643v2,一个是很少有人知道的少核心高主频的E5-2637v2:
(1)E5-2650v2,每颗CPU为八核心,20M缓存,处理器基本频率为2.6GHz,最大睿频3.4GHz,这样总基本频率为20.8GHz,总睿频可达到27.2GHz,热设计功耗功率也仅仅只有95W,每颗CPU出厂价为1171美元
(2)E5-2643v2,每颗CPU为六核心,25M缓存,处理器基本频率为为3.5GHz,最大睿频3.8GHz,这样总基本频率为21.0GHz,但是总睿频仅仅达到22.8GHz,热设计功耗居然高达130W,每颗CPU出厂价也达到了瞠目结舌的1552美元
(3)E5-2637v2,每颗CPU为四核心,15M缓存,处理器基本频率为为3.5GHz,最大睿频3.8GHz,这样总基本频率为14.0GHz,但是总睿频仅仅达到15.2GHz,热设计功耗也是高达130W,每颗CPU出厂价也竟然也达到了996美元
考虑到高斯糟糕的并行效率,我宁可选择2号或3号,而不选择1号。换句话说,高斯糟糕的并行效率逼迫我做出了很浪费钱的一个决定。同时,考虑到高斯糟糕的并行效率,我觉得双路主板对咱们来说真是够了!

(三)买电脑,砍价一定要腰斩

我便抱着自己的测试结果去买电脑,想买以下电脑配置。
一个2U的四子星,内含4个节点,每个节点内有2颗E5-2643v2的CPU,8条8G的ECC内存,千兆网卡,预留infiniband接口(只是预留而已,为了以后方便,现在用不着)。四个节点公用一个电源模块,公用一个冗余电源模块。四个节点公用一个硬盘盒,盒内有4块1T的sas硬盘。
这货就长这样:
(, 下载次数 Times of downloads: 193)

图2 四子星(2U)结构


我先联系曙光,曙光报价18万,我让他们滚一边儿去!
然后联系华硕,华硕报价16万多不到17万,我没说啥,心中默默给他们画了个叉。
然后联系越海扬波,越海杨波报价12万。我心动了!
我早就给他们合算了成本了,如果我按照市场价自己买散件自己攒机,那么总价格为12万7千多。考虑到各大服务器公司都有自己的进货渠道,这台机器让他们攒,纯硬件成本绝对不多于10万零5千。
曙光报价18万,我虽不齿,却也理解。曙光公司有很高大的金字塔架构。底层一千个销售员,要养活上中层八百个坐办公室的!一套设备,他们没赚到足够的钱就相当于赔本了。
而我需要的就是一个攒机商。我只需要硬件质保。从系统到软件,我完全不需要对方服务。
最后我还是没要越海扬波的机器,我要了另一家更小的公司的机器。价格仅有11万稍出头而已,我估计对方从这单生意中赚走我的钱不超过6000块。但是我这儿不能公布那家公司的名字,因为我不是他们的托。嘿嘿

(四)能自己攒的机器,就要自己攒!不要买品牌机

我实际上已经花掉了20多万,为自己和三位研究生买了两台四子星,也就是8个双路节点了。再加上我师兄出国前留给我8个老的双路节点,嗯,机器一时间富裕起来,我便开始动了花花肠子,看着自己的办公用的主机箱越来越不顺眼。而且我的主机箱里边儿,现在已经是老牛破车哐当当了。究其原因,全是因为我用它用的太狠。这台主机,内有俩系统。三年来,它白天开着win给我当办公电脑,晚上临走我就换到linux下给它挂个小任务让它算着,第二天早上我来收庄稼。现在这台主机箱那是动辄死机啊。我就想换掉它。
老规矩,攒机!
既然主要用途是白天开win给我办公用,夜里开linux为我算小任务,那么,就限制在LGA1150接口的CPU好了,不必追求LGA2011接口既然白天要开win,那么一定要用的爽,不爽不就白瞎了么。慎重思考后,如下:


说干就干了,买来硬件,插了机器,然后在两个固态硬盘上,分别装win7系统和ubuntu14.10系统,机械硬盘给我分成两个1T的分区,分别搞成ntfs格式给win7,和ext4格式给ubuntu用。
说实话这台机器都快顶上一台小服务器了啊……把超线程一关,4x3.5GHz的CPU,16G的内存,2T的机械硬盘……我师兄早年买的服务器也不过如此!这儿插一句:如果把上述配置中的显卡省略掉,那么,还剩下不到6600块钱的配置。把这六千多块钱的硬件一攒,你就已经获得了一台Linux操作系统及计算化学软件与编程的学习用机了(玩票用)
这货就长这样:
(, 下载次数 Times of downloads: 199)

图3 酷冷至尊毁灭者经典U3升级版游戏机箱



童鞋,跑个分儿呗?
处理器和内存都接近满分,硬盘和显卡直接就是满分,嗯,玩模拟城市,终于可以把特效全开了!
实际上这个机器的配置已经远远超过了win7测评的范围了。它之所以给出满分纯粹是因为没有更高分可给了。
(, 下载次数 Times of downloads: 208)

八千块啊,如果买品牌机,我敢保证顶多达到我这个机器一半的配置就算销售商有良心了。所以,即使在今天,攒机也是王道!


作者
Author:
ChaosChiao    时间: 2015-1-6 14:22
关键是很多科研部门不能自己攒机,必须要走央采。
作者
Author:
lao7    时间: 2015-1-6 14:31
本帖最后由 lao7 于 2015-1-6 14:35 编辑

楼主帮我看看这个配置,运行gaussian浪费不?
CPU:E5-2667 V3 3.2G 8核16线程 *9000  
散热器:采融B68 Basic 68 8热管纯铜镀镍  199×2
主板:超微X10DRL-I 带集显 C610芯片组X99 2499×1
内存:三星 DDR4 2133 16G单根*5200
硬盘:英睿达(Crucial)MX100系列 512G CT512MX100SSD1  1569元
电源: 昂达服务器电源 650W                         500元
机箱:安钛克(Antec) GX900 229
配下来将近2万元

还有,按照楼主的思路,是不是CPU 换成E5 2643 v3  3.4主频的  双路12核心 是不是效率更高?

作者
Author:
wgbigfatcat    时间: 2015-1-6 14:33
怎么不用i7-4770k 开测一下同样的gaussian?
作者
Author:
lao7    时间: 2015-1-6 14:38
本帖最后由 lao7 于 2015-1-6 14:40 编辑
wgbigfatcat 发表于 2015-1-6 14:33
怎么不用i7-4770k 开测一下同样的gaussian?

担心体系大了跑不动哈,240个原子,加上频率计算,跑到猴年马月,估计内存都要升级。

      楼主认为:E5-2667 v3  3.2G 8核心    E5 2643 v3  3.4G  6核心  如果都双路的情况下,计算大100-250个原子原有的分子,哪个更快些?给个意见,正好现在在配机器。自己动手!采购太黑
作者
Author:
wgbigfatcat    时间: 2015-1-6 14:41
E5-2680 v3 个人认为这个性价比高。前提是不一定全跑gaussian
作者
Author:
yjcmwgk    时间: 2015-1-6 14:42
本帖最后由 yjcmwgk 于 2015-1-6 14:48 编辑
lao7 发表于 2015-1-6 14:31
楼主帮我看看这个配置,运行gaussian浪费不?
CPU:E5-2667 V3 3.2G 8核16线程 *9000  
散热器:采融B68 B ...

倒是真说不上浪费,比玩票强一些,比正经干活儿却又弱一些,算是高级票友吧,算着玩玩儿罢了。
但是,你只买一颗E5-2667?你们家的CPU会哭着喊着要媳妇儿!再说,这张主板也是双人床哈!
我建议你关注一下E5-1680v3可好?这款是独行侠型服务器用CPU中性能很高的一款了
作者
Author:
yjcmwgk    时间: 2015-1-6 14:44
wgbigfatcat 发表于 2015-1-6 14:33
怎么不用i7-4770k 开测一下同样的gaussian?

i7跟e5对比测试……额……我还真没对比过……但是很难比……毕竟服务器里面的内存是ecc的,服务器里面的硬盘是sas的,服务器里的主板是双路的,……不一样的东西太多,比了也没太大意义吧
作者
Author:
yjcmwgk    时间: 2015-1-6 14:45
lao7 发表于 2015-1-6 14:38
担心体系大了跑不动哈,240个原子,加上频率计算,跑到猴年马月,估计内存都要升级。

      楼主认为 ...

很难说,
前者稍快一点儿,我有七成把握
作者
Author:
lao7    时间: 2015-1-6 14:49
yjcmwgk 发表于 2015-1-6 14:42
倒是真说不上浪费,比玩票强一些,比正经干活儿却又弱一些,算是高级票友吧,算着玩玩儿罢了。
但是,你 ...

这主板双路,不是单路
作者
Author:
yjcmwgk    时间: 2015-1-6 15:04
本帖最后由 yjcmwgk 于 2015-1-6 16:49 编辑
lao7 发表于 2015-1-6 14:49
这主板双路,不是单路

哎呀对不起对不起
但是,你只买一颗E5-2667?你们家的CPU会哭着喊着要媳妇儿!既然这张主板也是双人床!
我建议你关注一下E5-1680v3可好?这款是独行侠型服务器用CPU中性能很高的一款了,而单路主板还便宜:)
作者
Author:
lao7    时间: 2015-1-6 16:40
好 谢谢 我在关注  有些大体系 耗内存的算法  估计还得多核,高频,和高内存。
手头已经有一个AMD的32核心的了,就是主频太低2.1G。当时不懂。看了前辈们的指点才了解一些。
  谢谢指点!
作者
Author:
lonewolf659    时间: 2015-1-8 20:48
:):):)小卒加油
作者
Author:
syjohn    时间: 2015-1-9 09:14
本帖最后由 syjohn 于 2015-1-9 09:24 编辑

写的很棒啊,期待有大神写下 MD的攒机教程,虽然管理员写了,但是时代变化太快了哈ps:高主频和大容量的内存对高斯和动力学来说都是最重要的

作者
Author:
sobereva    时间: 2015-1-9 12:35
syjohn 发表于 2015-1-9 09:14
写的很棒啊,期待有大神写下 MD的攒机教程,虽然管理员写了,但是时代变化太快了哈ps:高主频和大容量的内 ...

大容量内存对于分子动力学是不需要的。而且分子动力学程序的并行效率比起高斯都要高很多,所以频率和核数之间的关系不能一视同仁。
我写的单路攒机配置对于目前也是完全适用的。如果形势有变,需要进行调整,我会进行相应更新的。
作者
Author:
helpme    时间: 2015-1-11 21:56
ChaosChiao 发表于 2015-1-6 14:22
关键是很多科研部门不能自己攒机,必须要走央采。

自己装机的最大难点,不在于技术(大不了向楼主请教),
而在于报销制度。而且,这个报销制度还越来越严。
这是最大的痛苦。

作者
Author:
syjohn    时间: 2015-1-13 20:25
sobereva 发表于 2015-1-9 12:35
大容量内存对于分子动力学是不需要的。而且分子动力学程序的并行效率比起高斯都要高很多,所以频率和核数 ...

但是sob大神,对于我的经验来看,我用的是自己攒的i7电脑,8G内存确实要比16G内存要慢一些,在其他硬件条件不变的情况下,所以我感觉还是有些许提升,如果不是这方面的原因,还请多多指教~!
作者
Author:
sobereva    时间: 2015-1-13 21:43
syjohn 发表于 2015-1-13 20:25
但是sob大神,对于我的经验来看,我用的是自己攒的i7电脑,8G内存确实要比16G内存要慢一些,在其他硬件条 ...


得具体看情况,对于什么程序什么任务慢。
动力学程序跑一般大小的体系根本毫不了多少内存,更不会因为内存不够而调用虚拟内存,8G和16G容量不会有任何差异。
8G和16G能体现出差异的情况,要么是单个任务本身内存消耗巨大,要么就是开了很多个程序把内存几乎占满。
作者
Author:
fcfsdu    时间: 2015-1-18 01:48
一直相信攒机是王道
作者
Author:
yjcmwgk    时间: 2015-1-19 12:53
ChaosChiao 发表于 2015-1-6 14:22
关键是很多科研部门不能自己攒机,必须要走央采。

央采的机器,性价比太低。
作者
Author:
yjcmwgk    时间: 2015-1-19 12:56
本帖最后由 yjcmwgk 于 2015-1-19 13:11 编辑
fcfsdu 发表于 2015-1-18 01:48
一直相信攒机是王道

新来的小孩儿们,很少有攒机的了。甚至连拆开机箱或者笔记本后盖的勇气都没有。也就是我们这些1981-1986,最多不超过1988年出生的人,经历了大规模的攒机时代。你知道吗,有些新小孩儿连X86和ARM都分不清,说:“这台服务器只有八个核心啊?我手机都四个核心了哦”。
有些新小孩儿只见过笔记本,连台式机见得都少。当他见到我们那一排排的2U节点,整齐的镶嵌在机柜中,大喊了一声:“哇喔,好多路由器啊”(说实话,她能正确喊出“路由器”这三个字就已经让我很惊讶了)
至于RAM和ROM更是概念极度混淆,会喊出:“哦,那台服务器的内存居然只有32G?我的pad的内存都是64G哦~”
更有甚者,某些人甚至连内存和硬盘都傻傻滴分不清,张嘴就来“哦?咱们的最新服务器的内存是128G?我的笔记本的内存都一千G了!”

还有一次,某人想给让我给他自己的笔记本加一条内存条。我打开螺丝刀盒,就准备拆后盖。人家急急忙忙阻拦我:“内存卡不是插进去卡槽就可以了吗?为什么要拆开机器?”我也是一愣,不拆开机器怎么插入内存槽子呀?弄了半天才知道,敢情他把笔记本内存条和手机外置SD内存卡混为一谈了,怪不得一开始还说:“这个电脑内存条也不过4G而已嘛,怎么就这么大个儿……”
每到这时候,我都会憋笑到内伤

作者
Author:
yflchx    时间: 2015-1-20 10:22
yjcmwgk 发表于 2015-1-19 12:56
新来的小孩儿们,很少有攒机的了。甚至连拆开机箱或者笔记本后盖的勇气都没有。也就是我们这些1981-1986 ...

这里面有计算机随时间逐渐普及的影子。
作者
Author:
fcfsdu    时间: 2015-1-21 00:44
yjcmwgk 发表于 2015-1-19 12:56
新来的小孩儿们,很少有攒机的了。甚至连拆开机箱或者笔记本后盖的勇气都没有。也就是我们这些1981-1986 ...

楼主是在说段子么。。

你这个时间段我个人感觉归纳得太准确了,差不多就在这个年纪之内的,从事该行业的大部分人有过折腾攒机的经历,我相信我会一直坚持下去。


作者
Author:
youyno    时间: 2015-1-22 09:19
(ˇˍˇ) 想~让楼主普及一下这个超线程的优劣,为何一定要关掉超线程,超线程下的四核并行和机械双核有什么区别?
作者
Author:
五十八    时间: 2015-6-8 15:17
啊呀呀 可是es正显得2647 v3店家要1k8 靠谱吗啊啊啊
作者
Author:
njuctchem    时间: 2015-6-15 08:42
看小卒写的文章,就是开心幽默
作者
Author:
fankui1990129    时间: 2015-7-16 16:09
你好,请问一下如何linux和win双系统是怎么实现的。我现在自学高斯,我还是在读硕士生,只配了一台2G内存、四核CPU的台式,而且是win系统的G。

我现在急于实现双系统,之前我只会双win系统,不会win和Linux。我有一个学机械的同学和我说,用虚拟机也许可以,请问他的建议有帮助么?

谢谢!!
作者
Author:
sobereva    时间: 2015-7-16 18:03
fankui1990129 发表于 2015-7-16 16:09
你好,请问一下如何linux和win双系统是怎么实现的。我现在自学高斯,我还是在读硕士生,只配了一台2G内存、 ...

你的内存太小,跑虚拟机吃力,建议升到8G。
虚拟机跑Linux是最佳选择,除非你的机子几乎只用Linux,那可以装个独立的。
把Linux盘放光驱里按提示一步步操作即可,装完了开机后就能看见菜单选择进哪个系统。
作者
Author:
yjcmwgk    时间: 2015-7-20 15:27
helpme 发表于 2015-1-11 21:56
自己装机的最大难点,不在于技术(大不了向楼主请教),
而在于报销制度。而且,这个报销制度还越来越严 ...

华电?你是丁老师么?
作者
Author:
liyuanhe211    时间: 2015-7-24 04:23
sobereva 发表于 2015-7-16 18:03
你的内存太小,跑虚拟机吃力,建议升到8G。
虚拟机跑Linux是最佳选择,除非你的机子几乎只用Linux,那可 ...

啊?在Win上用虚拟机装Linux跑Gaussian吗?
作者
Author:
sobereva    时间: 2015-7-24 06:46
liyuanhe211 发表于 2015-7-24 04:23
啊?在Win上用虚拟机装Linux跑Gaussian吗?

是的
作者
Author:
bluewhale    时间: 2015-7-30 21:21
2W元确实少一点,2个CPU就要近2W, 再按4GB/核的标准配内存,光这些就要不少银子,算MD内存需求不大,算高斯,多配点内存,可以作scratch,这样可显著提高效率。

作者
Author:
yjcmwgk    时间: 2015-8-17 16:37
本帖最后由 yjcmwgk 于 2015-8-17 16:42 编辑
liyuanhe211 发表于 2015-7-24 04:23
啊?在Win上用虚拟机装Linux跑Gaussian吗?
忒能折腾!
你呀,最好是买个mac电脑,在MAC OS X里装一个虚拟机,装一个红帽子或者centos系统进去,然后在linux里装一个虚拟机,虚拟机里装一个win7,然后在win7里再装一个安卓模拟器。很棒很酷毙吧

作者
Author:
liyuanhe211    时间: 2015-8-18 20:38
yjcmwgk 发表于 2015-8-17 16:37
忒能折腾!
你呀,最好是买个mac电脑,在MAC OS X里装一个虚拟机,装一个红帽子或者centos系统进去,然后 ...

故而表示惊讶。
作者
Author:
sobereva    时间: 2015-8-19 00:24
yjcmwgk 发表于 2015-8-17 16:37
忒能折腾!
你呀,最好是买个mac电脑,在MAC OS X里装一个虚拟机,装一个红帽子或者centos系统进去,然后 ...


虚拟机效率还是很高的而且用起来非常便利

至少对于vmware虚拟机,如果试图在虚拟机里再装虚拟机,程序会明确阻止这种不良企图。
作者
Author:
dreamyeye    时间: 2015-10-25 18:09
楼主买品牌机那个报价是讲过的吗?品牌服务器能讲下多少价格呢?品牌服务器官网那些报价是不是太扯了?
作者
Author:
xialaxiu    时间: 2015-10-29 05:48
哪个量化软件并行效率好?GAMESS?Q-CHEM?MOLPRO?还是什么软件?
作者
Author:
sobereva    时间: 2015-10-29 08:57
xialaxiu 发表于 2015-10-29 05:48
哪个量化软件并行效率好?GAMESS?Q-CHEM?MOLPRO?还是什么软件?

NWChem、ADF、DeMon2K都是号称并行效率高的量化程序。
作者
Author:
yjcmwgk    时间: 2015-10-31 10:37
dreamyeye 发表于 2015-10-25 18:09
楼主买品牌机那个报价是讲过的吗?品牌服务器能讲下多少价格呢?品牌服务器官网那些报价是不是太扯了?

对,必须讲。十二块七毛的东西,你要从一块两毛七开始讲起
作者
Author:
dreamyeye    时间: 2015-10-31 11:21
yjcmwgk 发表于 2015-10-31 10:37
对,必须讲。十二块七毛的东西,你要从一块两毛七开始讲起

去服务器公司的ban list上看看有没有你的名。
作者
Author:
yjcmwgk    时间: 2015-10-31 14:33
dreamyeye 发表于 2015-10-31 11:21
去服务器公司的ban list上看看有没有你的名。

哈哈,刚才纯属开玩笑啦。其实这些散件儿的报价信息都在网上有。我主要用ZOL网站查配置的曾经的价格,有时候在京东网站上查当前价格,然后你就知道这些散件儿的价格啦。至于处理器,你下载一个Intel ARK即可,Intel全部产品的规格价格等都在内。
作者
Author:
dreamyeye    时间: 2015-10-31 16:14
yjcmwgk 发表于 2015-10-31 14:33
哈哈,刚才纯属开玩笑啦。其实这些散件儿的报价信息都在网上有。我主要用ZOL网站查配置的曾经的价格,有 ...

哈哈,把每顿饭每个菜的制作当成配服务器,买菜的时候也拦腰砍,最后做出物美价廉的饭菜,也会有相似的成就感吧?
作者
Author:
袁文凯GRRM    时间: 2016-3-1 14:34
对于高斯的并行计算的问题,我感觉不能一并而论的,从测试结果上来看,如果计算手法对于IO部分非常小的话,它的确还是可以随着核数的增加而计算时间减少的,并行效果不明显的这种说法只是说,可能没有达到理论上的并行效率,所以不能一概而论
作者
Author:
一颗赛艇    时间: 2016-9-15 06:10
楼主,你的基函数有多少?像我用6-31G*,16个线程根本就跑不满,效率肯定不高。换了大基组就可以满载了
作者
Author:
laplacesuanzi    时间: 2023-9-22 15:04
bluewhale 发表于 2015-7-30 21:21
2W元确实少一点,2个CPU就要近2W, 再按4GB/核的标准配内存,光这些就要不少银子,算MD内存需求不大,算高斯 ...

您好,怎么样在虚拟机上实现Gaussian的并行计算?我是16核24线程的机子,采用的是Centos系统,谢谢
作者
Author:
孤忆梦影    时间: 2023-9-22 17:49
laplacesuanzi 发表于 2023-9-22 15:04
您好,怎么样在虚拟机上实现Gaussian的并行计算?我是16核24线程的机子,采用的是Centos系统,谢谢

单节点计算参考社长的帖子http://sobereva.com/439




欢迎光临 计算化学公社 (http://bbs.keinsci.com/) Powered by Discuz! X3.3