关于Benchmark的一些问题

yflchx

一个朋友的研究生问我关于Benchmark的一些事，顺便发在这里。欢迎大家批评和补充。

1. 系列体系性质的关注度如何？是不是大家都关心的问题？

2. 是否提供基准？结构和能量基准哪里来？来自于实验，还是自己算。如果自己算需要用CCSD(T)/CBS，还有可能需要MRCI＋Q/CBS。

3. 是否提供新的方法或新的参数？如果提供，它们有没有普适性？没有普适性的话，有多大的使用延展性？

4. 能否说明为什么A方法比B方法表现好？

5. 如果只是在一个普通的问题上证明某某方法表现好意义有限。比如：大家公认某某泛函算反应势垒高度准确，一个研究发现该泛函算某类反应势垒高度准确，意义就非常有限。

sobereva

还有是是否能弥补对于某些重要问题上认识的空白。
有的问题可能以前都是凭经验选择用的方法/基组，对计算级别的选用也没当回事，但如果benchmark发现算某类问题有很多重要的要点要考虑，那很有意义。或者，都是算同一类问题，大家往往都拿同一个套路做测试，虽然测试集不同但结果也都差不多，而提出一个新思路做benchmark，既和实际中感兴趣的情况紧密联系，又弥补了一些过往benchmark思路上的盲点，这也很有价值。