简单对比了一下GPU与CPU的速度

sky

最近刚装了google专门为机器学习开发的python库tensorflow，可以利用GPU来加速计算。简单对比了一下tensorflow，numpy和手写的C++双精度矩阵乘法的速度，结果如下：
电脑配置：
cpu: Xeon E5-2609 v3 @ 1.90GHz
内存：单通道DDR4 16GB 2133MHz
显卡：NVIDIA Quadro K2200（双精度浮点性能大概是0.24TFlops）
----------------------------------------------------------------------------------------
手写单核for循环C++,1000*1000的两个矩阵相乘：146秒
在天河二号上运行：8秒（cpu:E5-2692）
----------------------------------------------------------------------------------------
使用numpy库，10000*10000矩阵：13秒（6核并行）Matlab，10000*10000矩阵：13秒（6核并行）
使用tensorflow库，10000*10000矩阵：0.002秒

----------------------------------------------------------------------------------------
这个结果还是挺吃惊的，numpy底层使用C++编写，使用了BLAS库，即使用C++和BLAS库也快不了多少了，然而比起GPU却依然慢了几个数量级。
CPU发展已经快到头了，反观GPU计算才刚刚开始起步。现在NVIDIA借着机器学习的浪潮在GPU领域不断发力，去年NVIDIA发布的计算卡P100，双精度浮点性能达到了5.3TFlops。

Gaussian, vasp之类的软件也纷纷搞起了GPU计算，虽然效果一般，但这肯定是将来发展的方向了。

wgbigfatcat

就现在来说，波函数求解需要迭代这个限制了量化类的程序GPU不是太合适。

万里云

正好最近在学MPI，基于mpi4py写了个手动并行版：

1. #! /usr/bin/env python
   
2. 
   
3. import numpy as np
   
4. from mpi4py import MPI
   
5. 
   
6. # Initialize MPI environment
   
7. comm = MPI.COMM_WORLD
   
8. rank = comm.Get_rank()
   
9. size = comm.Get_size()
   
10. 
    
11. # Generate a random matrix
    
12. dim = 1000
    
13. if rank == 0:
    
14.     mat_a = np.random.random((dim, dim))
    
15.     mat_b = np.random.random((dim, dim))
    
16. else:
    
17.     mat_a = np.empty((dim, dim), dtype='float')
    
18.     mat_b = np.empty((dim, dim), dtype='float')
    
19. comm.Bcast(mat_a, root=0)
    
20. comm.Bcast(mat_b, root=0)
    
21. 
    
22. # Distribute jobs among processes
    
23. if rank == 0:
    
24.    jobs = [[i for i in range(dim) if i % size == k] for k in range(size)]
    
25. else:
    
26.    jobs = None
    
27. jobs = comm.bcast(jobs, root=0)
    
28. 
    
29. 
    
30. # Multiply the matrices
    
31. mat_work = np.zeros((dim, dim), dtype='float')
    
32. rows = jobs[rank]
    
33. for i in rows:
    
34.     np.matmul(mat_a[i,:], mat_b, out=mat_work[i,:])
    
35. 
    
36. # Collect the results
    
37. if rank == 0:
    
38.     prod = np.zeros((dim, dim), dtype='float')
    
39. else:
    
40.     prod = None
    
41. comm.Reduce(mat_work, prod, root=0)
    
42. #if rank == 0:
    
43. #    print(mat_a)
    
44. #    print(mat_b)
    
45. #    print(prod)

复制代码

服务器都排满了任务，放虚拟机里试了一下（i3-4160）。
1000*1000矩阵相乘，用两个进程花两秒多一点，再大的就测不动了。

niobium

不知道GPU在运算的时候能不能指定运行所用的核心数，如果可以的话，不知道楼主可不可以给个数据，或者测试一下核心数对运行速度的影响。
我用CPU曾经做过测试，9000＊9000的矩阵相乘，用12核的时间是比6核的时间要长的。（Fortran,Intel编译器，Intel MKL）

kyuu

我们昨天刚买了252块P100，可是并没有任何卵用

laoman

kyuu 发表于 2017-11-18 14:05
我们昨天刚买了225块P100，可是并没有卵用

目前的超算资源没有P100，你们组真土豪啊~~
不知道P100要是拿来跑MD（单精度就够），速度上会不会比1080类的家用卡快。。。

kyuu

laoman 发表于 2017-11-18 18:28
目前的超算资源没有P100，你们组真土豪啊~~
不知道P100要是拿来跑MD（单精度就够），速度上会不会比1080 ...

PERFORMANCE SPECIFICATION FOR NVIDIA TESLA P100 ACCELERATORS

	P100 for PCIe-Based Servers	P100 for NVLink-Optimized Servers
Double-Precision Performance	4.7 TeraFLOPS	5.3 TeraFLOPS
Single-Precision Performance	9.3 TeraFLOPS	10.6 TeraFLOPS
Half-Precision Performance	18.7 TeraFLOPS	21.2 TeraFLOPS
NVIDIA NVLink™ Interconnect Bandwidth	-	160 GB/s
PCIe x16 Interconnect Bandwidth	32 GB/s	32 GB/s
CoWoS HBM2 Stacked Memory Capacity	16 GB or 12 GB	16 GB
CoWoS HBM2 Stacked Memory Bandwidth	732 GB/s or 549 GB/s	732 GB/s
Enhanced Programmability with Page Migration Engine
ECC Protection for Reliability
Server-Optimized for Data Center Deployment

单卡单精度与1080Ti持平 但单机上不大可能会做速力

laoman

kyuu 发表于 2017-11-19 07:17
PERFORMANCE SPECIFICATION FOR NVIDIA TESLA P100 ACCELERATORS

单卡单精度与1080Ti持平 但单机上 ...

谢谢大神的资料，看来配个1080ti的工作站来跑MD还是挺值得的~

sky

niobium 发表于 2017-11-18 05:36
不知道GPU在运算的时候能不能指定运行所用的核心数，如果可以的话，不知道楼主可不可以给个数据，或者测试 ...

我刚开始用，能否指定核心数不清楚。
同核心数比较完全没有意义，肯定是CPU快。GPU之所以快就是因为核心数远多于CPU.
至于12核比6核时间长可能是因为矩阵太小的关系，这个现在我在用vasp计算的时候也见过。矩阵太小而核数太多的话，分配任务会占用过多时间，而真正用来计算的时间很少，导致总耗时增加。

sky

kyuu 发表于 2017-11-18 14:05
我们昨天刚买了252块P100，可是并没有任何卵用

现在的量化程序对GPU支持都一般吧，相对好一点的可能也就是vasp了

sky

wgbigfatcat 发表于 2017-11-17 17:10
就现在来说，波函数求解需要迭代这个限制了量化类的程序GPU不是太合适。

迭代每一步照样也得求矩阵，没什么不合适的。vasp用GPU之后提速明显。

sky

万里云 发表于 2017-11-17 21:08
正好最近在学MPI，基于mpi4py写了个手动并行版：

numpy或者tensorflow一行代码就搞定了。
我没写过计算类程序，不知道自己写的计算小程序是否可能被numpy替代？

sky

kyuu 发表于 2017-11-19 07:17
PERFORMANCE SPECIFICATION FOR NVIDIA TESLA P100 ACCELERATORS

单卡单精度与1080Ti持平 但单机上 ...

你这张图我才注意到P100单精度就比1080好一点，看样子钱都用来堆双精度了

kyuu

sky 发表于 2017-11-19 21:20
你这张图我才注意到P100单精度就比1080好一点，看样子钱都用来堆双精度了

单精度帕斯卡，双精度特斯拉

bluewhale

kyuu 发表于 2017-11-18 14:05
我们昨天刚买了252块P100，可是并没有任何卵用

这种卡多少米？