Python scipy 的直接在这个玩具优化问题上(几乎)立即失败

终止参数vol_tol隐含地依赖于问题的维度数目.搜索空间被分成一系列超矩形，其中最小的中间超矩形的大小为(1/3)^n，其中n是维度的数目.

当n=20时，这意味着最内侧的立方体的体积将为2.8e-10.如果最里面的立方体的中点恰好是最低点，那么该立方体将再次细分.由于vol_tol默认为1e-16，这意味着算法将仅在两次迭代后退出.

如果不希望vol_tol导致DIRECT提前退出，可以将vol_tol设置为0:

result = direct(score, locally_biased=False, bounds=bounds, maxiter=10000, maxfun=10000, vol_tol=0)

运行它，它找到了一个更好的解决方案，尽管仍然不是最优的解决方案:

 message: Number of function evaluations done is larger than maxfun=10000
 success: False
  status: 1
     fun: 1.1111111111111112
       x: [ 3.889e+00  3.889e+00 ...  5.000e+00  5.000e+00]
     nit: 12
    nfev: 12021

当然，您也可以通过使函数更简单来解决此问题，例如，使parity_in_range目标发生泄漏.

将目标函数变换为连续函数

如果目标函数是连续的，那么通常更容易对该函数进行优化.

在下图中，蓝线表示每个值的现有parity_in_range函数，忽略mod 3.

橙色线表示一个新函数，该函数向下倾斜到边缘，提示优化器在该方向上存在较低的值.

首先，定义组成这条曲线的基本体.我使用Sigmoid函数作为阶跃函数的连续近似值.

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

下一步，我们需要能够移动这个函数的中心，并使Sigmoid函数更快地上下曲线.

def sigmoid_at_center(x, center, strength=1):
    return sigmoid((x - center) * strength)

接下来，将奇偶函数定义为以4为中心的Sigmoid，减go 以6为中心的Sigmoid.强度参数设置为10.

def get_leaky_parity(x):
    return sigmoid_at_center(x, 4, 10) - sigmoid_at_center(x, 6, 10)

最后，根据该函数定义得分函数.

def score(x):
    parity_in_range = get_leaky_parity(x).sum()
    main_score = np.max(np.abs(np.diff(x)))
    return main_score + parity_in_range

然后，您可以使用以下代码使用DIRECT对其进行优化.我发现，局部偏见使它能够更快地解决问题.

result = direct(score, locally_biased=True, bounds=bounds, vol_tol=0, len_tol=0.001)

通过对目标函数的这种改变，它能够在高达96个维度上解决这个问题.

Sources used: Lipschitzian Optimization Without the Lipschitz Constant