第一章介绍
1.1背景概述
1.1.1计算机仿真实验与一般克里金模型
近年来，计算机仿真实验越来越广泛地应用于科学实验和工业产品设计等诸多领域。在计算机仿真实验中，科研人员根据已有规律，编写程序源代码，构建复杂的数学模型，模拟真实的实验过程，获取新的认识。在真实的实验中随机误差总是存在的。由于受到外界环境、实验仪器的精度以及科研人员实际操作的影响，即使在相同的实验初始条件下，各次实验结果总存在多少不同。并且通过多次测量可以提高预测精度。与真实的实验不同，计算机仿真实验结果具有确定性，即只要计算机程序源代码不发生改动，相同的输入值，总会得到相同的输出值。我们可以通过回归等统计方法来拟合真实实验数据，刻画实验条件和实验结果之间的客观规律。但对于确定性的计算机仿真实验来讲，回归等统计方法是不适用的。需要寻找新的统计方法和模型来分析计算机仿真实验数据。一般克里金模型(Ordinary Kriging, OK)便是其中最重要和有用的统计模型之一。0K模型起源于地理统计学，最早是由南非工程师Krige提出的间。虽然最初提出0K模型是出于其他动机和目的，但是Sacks et al. [22]指出OK模型可以作为复杂数学模型的替代模型，应用于计算机仿真实验。插值性是0K模型最具吸引力的特征，这正好与计算机仿真实验数据的确定性相符合。一些经验性研究（Laslett151和Brian[1])结果表明：0K模型的预测效果优于其他插值方法，例如样条（Spline) [26]和反距离加权（Inverse Distance Weighting, IDW) [25]等。为得到克里金预测，需要计算丑的逆。当n很大时，丑是一个高维矩阵。求丑的逆将会耗费大量的计算机运算时间。如图（1-1)所示，随着已知点个数n不断增加，构建一次0K模型所需的运算时间迅速增长，并且a;的维度越高，所需的运算时间越长。据我们所知,当变量个数在10或10以下和统计数据大小低于1000时，0K模型可以成功应用于计算机实验。而在实际情况下变量的数目可能远远高于10，数据集也可能包含成千上万的已知点。而且近似奇异时，求逆的数值计算过程不具有稳健型。这都会影响0K模型的运行效率和预测效果。从统计的观点来看，数值计算的不稳健性会造成严重的后果，因为它会导致预测值具有不可靠性。
1.1.2计算机仿真实验中存在的选点问题
当己知点个数n较少时，我们并没有掌握足够多的信息来刻画变化趋势。如果只是基于有限的己知点，构建0K模型，势必会产生较大的预测误差。下面通过一个简单的例子来说明这一问题。已知点对应的函数值都是0。由公式（1-3)知，对于任意的：EG [0,1],克里金预测值列a;)都为0。如图（1-2) 0K模型和原函数存在很大差异。这时，为了提高预测精度，需要对已知点集进行扩充。添加新的观测点，获得更多关于的有用信息。Brian [1]指出不同的选点策略（Sampling Strategy)会对各种空间插值方法（包括OK模型）的预测效果产生不同的影响。模型对于的预测效果是通过对于预测点的平均预测误差平方根（Rootof Mean Squared Error, RMSE)来刻画。同时Jones [6]还指出：H准则和EI准则都是两阶段方法。在第一阶段，根据初始已知点集￡>?，构建0K模型，得到所需参数估计。在第二阶段，利用已有参数估计，计算候选点的各准则取值，然后比较大小，确定下一个观测点。候选点的各准则取值大小与参数估计有关，同时参数估计是根据计算得到的。所以两准则对于的选取敏感。于是，为了保证参数估计的精度，要求初始已知点集的数据量不能过小。Loeppky et al.给出的经验法则为：所需的数据量大约为lOm，其中m为CC的维度。Lam pL4j在讨论全局预测问题时，重新定义了改进函数/(x)，将EI准则改进推广为改进期望全局预测最优化准则（Expected Improvement of GlobalFit, EIGF)，用来寻找能够最大化改进模型全局预测效果的观测点。Lam还提出利用交叉验证方法，设计一种关于预测误差的半参数评价指标，并且将这一指标作为试验设计准则，用于选取新的观测点。Joseph et al.在解决纳米材料合成条件最优化问题时，提出了序贯最小能量试验设计准则（Sequential Minimum EnergyDesign, SMED)。SMED准则是一种非参数设计方法，避免了参数估计，可以用于寻找复杂黑箱函数的最优化问题。我们的工作也借鉴了他们提出的方法。
第二章已有的一些序贯试验设计准则
在本章中，我们将介绍一些己有的的序贯试验设计准则。其中交叉验证准则就是将交叉验证方法应用到全局预测优化中。改进概率准则和改进期望准则是寻找函数值最优化的序贯试验设计准则，Lam重新定义了改进函数/(aO，将改进期望准则改进推广为改进期望全局预测准则（Expected Improvement of Global Fit，EIGF)，用来寻找能够最大化改进模型全局预测效果的观测点。最后介绍了 Joseph etal. _提出的最小能量试验设计准则，SMED准则是一种非参数设计方法，避免了参数估计，可以用于寻找复杂黑箱函数的最优化问题。在本篇论文中，我们探讨了计算机仿真实验中的全局预测最优化问题。首先介绍了0K模型和已有的两种全局预测最优化序贯设计准则一一交叉验证准则（Cross Validation Prediction Error Criterion, CVPE)和EIGF准则。然后我们利用梯度估计信息，提出EIGFG准则。紧接着借鉴了SMED准则的思想，进一步对EIGF准则和EIGFG准则进行改进，提出了ME^EIGF准则和ME-EIGFG准则。最后通过随机模拟比较了各种全局预测最优化序贯试验设计准则。模拟结果显示：虽然CVPE准则的预测效果最好，但同时CVPE准则也是最耗时的序贯试验设计准则；EIGFG准则要优于EIGF准则；引入最小能量策略可以在一定程度上提高EIGF准则和EIGFG准则的预测效果。论文结构如下：第二章介绍了三个己有的序贯设计准则一一CVPE准则、EIGF准则和SMED准则；第三章提出了三个新的全局预测最优化序贯试验设计准则一-EIGFG准则、ME-EIGF准则和ME-EIGFG准则；第四章通过随机模拟比较了各种序贯设计准则的优劣；最后，在第五章中对计算机仿真实验中的全局预测序贯最优化问题进行了简单讨论。
第二章已有的一些序贯试验设计准则......... 7
2.1交叉验证准则......... 7
2.2改进期望全局预测最优化序贯设计准则......... 8
2.2.1改进概率准则和改进期望准则......... 8
2.2.2改进期望全局预测最优化序贯.........9
2.3序贯最小能量试验设计准则......... 9
第三章新的全局预测最优化序贯试验......... 12
3.1基于梯度的改进期望全局预测序贯......... 12
3.2全局预测最优化中的最小能量方法......... 14
第四章模拟比较......... 16
4.1测试函数......... 16
4.2模拟比较方案与结果分析......... 17
结论
结合模拟结果，我们可以得到以下四点结论。EIGF准则和EIGFG准则的选点效果与Du有关。正如Jones [6]所说，EI准则是两阶段方法，对于初始己知点敏感。在第一阶段，根据初始已知点集，构建一般克里金模型，得到所需参数估计。在第二阶段，利用已有参数估计，计算各候选点的EI判别准则，然后比较大小，确定下一个观测点。各候选点的EI判别准则取值大小与参数估计有关，同时参数估计是通过计算得到的。所以EI准则对于的选取敏感。EIGF准则和EIGFG准则是在EI准则基础上改进的。故EIGF准则和EIGFG准则也同样具有这一特点。考虑到全局预测效果，最好具有空间均勾填充（space~filling)的性质。最小能量方法是提高EIGF准则和EIGFG准则的有效方法。(3)综合平均RMSE和运算时间，CVPE准则并不是最优的选点准则。虽然对于一般的函数，CVPE准则的平均RMSE最小，具有最好的选点效果。但是当n增加时，CVPE准则将耗费大量的运算时间。对于EIGF准则和EIGFG准则，n的增加对于两准则的运算时间没有太大的影响。故建议当n较小时，利用CVPE准则选点，当n增大后，改用ME-EIGFG准则（或ME-EIGF准则）选点。维度对于各准则的选点效果有很大影响。当n相同时，一般克里金模型对于低维函数的预测效果要优于高维函数。E的维度提高，对于初始已知点具有稀释作用。并且维度越高，个点在全局范围内分布越容易出现有偏性，同样不利于一般克里金模型的预测效果。
参考文献
[1] Brian, R. D. (2009). Spatial interpolation; A simulated http://sblunwen.com/jsjlwfw/ analysis of the effects of samplingstrategy on interpolation method, master thesis, The Humboldt State University.
[2] Cressie, N. (1993). Statistics for Spatial Data. 2nd edition. John Wiley and Sons.
[3] Forrester, A., A. Sobester, and A. J. Keane (2008). Engineering Design via Surrogate Mod?elling: A Practical Guide. John Wiley and Sons.
[4] Gramacy, R. B. (2005). Bayesian Treed Gaussian Process Models. PHD thesis, Universityof California.
[5] Jin, R.’ W. Chen, and A. Sudjianto (2002). On sequential sampling for global metamodelingin engineering design. In Proceedings of DETC 2002.
[6] Jones, D. (2001). A taxonomy of global optimization methods based on response surfaces.Journal of Global Optimization 21, 345—383.
[7] Jones, D., M. Schonlau, and W. Welch (1998). Efficient global optimization of expensiveblack-box functions. Journal of Global Optimization 13, 455-492.
[8] Joseph, V. R. (2006). Limit kriging. Technometrics 48, 458-466.
[9] Joseph, V. R. (2012). Coupled gaussion process models.h
[10] Joseph, V. R., T. Dasgupta, and C. F. J. Wu (2012). Minimum energy designs: fromnanostructure synthesis to sequential optimization. Journal of Computational and GraphicalStatistics, under revision.