CN111539536B - 一种评估业务模型超参数的方法和装置 - Google Patents

Abstract

本说明书实施例提供了一种评估业务模型超参数的方法和装置，所述方法包括：获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合，所述第一超参数组合的分数为其对应的业务模型的性能分数；计算所述第二超参数组合与各个第一超参数组合的相似度；计算所述多个分数的加权和，作为所述第二超参数组合的估计分数，其中，各个所述第一超参数组合的分数的权重基于相应的所述相似度确定。

Description

一种评估业务模型超参数的方法和装置

技术领域

本说明书实施例涉及机器学习技术领域，更具体地，涉及评估业务模型超参数的方法和装置、以及确定业务模型超参数的方法和装置。

背景技术

在互联网的应用场景中，每天会有大量的业务数据需要分析，而机器学习作为一种技术手段，正在越来越多的场景中发挥着作用。对于给定的任务，建立并部署有效的模型通常包括两个主要的部分，其一是选择合适的模型，其二则是针对该模型选择合适的超参数，从而为模型的性能提供保障。

在当前的方案中，最基本且使用最为广泛的是两种超参数搜索算法，即网格搜索（GridSearch）算法和随机搜索（RandomSearch）算法，在这两种算法中，在给定搜索范围内搜索较优的超参数。对上述搜索算法的改进算法包括遗传算法（Genetic Algorithm）和差分进化（Differential Evolution）算法，其中，遗传算法适用于离散的超参数，差分进化算法适用于连续的超参数。除此之外，贝叶斯优化算法基于高斯过程拟合历史超参数的“超参数-性能”曲线，从而去指导下一轮的超参数选择。另外，在这些超参数搜索算法中，当需要对模型超参数进行评估时，通常都需要使用训练样本集对超参数对应的模型进行训练，然后通过测试样本集测试该训练的模型的性能分数，从而获取超参数的分数。

因此，需要一种更有效的评估和确定业务模型的超参数的方案。

发明内容

本说明书实施例旨在提供一种更有效的评估和确定业务模型的超参数的方案，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种评估业务模型超参数的方法，所述业务模型用于处理与网络平台中的以下任一对象相关的业务：用户、商户、商品、交易，所述业务模型包括多个超参数，所述方法包括：

获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合，所述第一超参数组合和所述第二超参数组合分别包括所述多个超参数各自的值，所述第一超参数组合的分数为其对应的业务模型的性能分数；

计算所述第二超参数组合与各个第一超参数组合的相似度；

计算所述多个分数的加权和，作为所述第二超参数组合的估计分数，其中，各个所述第一超参数组合的分数的权重基于相应的所述相似度确定。

在一种实施方式中，计算所述第二超参数组合与各个第一超参数组合的相似度包括，计算所述第二超参数组合与各个第一超参数组合的距离，基于各个所述距离计算所述第二超参数组合与各个第一超参数组合的相似度。

在一种实施方式中，所述多个超参数中包括第一超参数，在所述第一超参数的取值范围为连续取值范围的情况中，计算所述第二超参数组合与各个第一超参数组合的距离包括，计算所述第二超参数组合中的第一超参数的值与任一第一超参数组合中的第一超参数的值的差。

在一种实施方式中，在所述第一超参数的取值范围为离散取值范围的情况中，计算所述第二超参数组合与各个第一超参数组合的距离包括，确定所述第二超参数组合中的第一超参数的值与任一第一超参数组合中的第一超参数的值是否相等。

本说明书另一方面提供一种确定业务模型超参数的方法，所述业务模型包括多个超参数，所述方法包括：

获取多个第一超参数组合，每个所述第一超参数组合包括所述多个超参数各自的值；

基于预先准备的训练样本集和测试样本集，获取与各个第一超参数组合对应的业务模型的性能分数，作为各个第一超参数组合的分数，其中所述训练样本集和测试样本集与网络平台中的以下任一对象相关：用户、商户、商品、交易；

基于各个第一超参数组合的分数，从所述多个第一超参数组合中确定第一高性能超参数组合和多个低性能超参数组合；

基于所述第一高性能超参数组合和多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间，所述第一取值子空间中包括所述第一高性能超参数组合、且不包括所述多个低性能超参数组合；

从所述第一取值子空间随机获取多个第二超参数组合；

通过根据上述评估业务模型超参数的方法，预测各个所述第二超参数组合的估计分数；

基于各个所述第二超参数组合的估计分数，选取预定数目个第二超参数组合，作为下一次执行所述方法时处理的第一超参数组合。

在一种实施方式中，基于所述第一高性能超参数组合和多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间包括：

从所述多个低性能超参数组合中选取第一低性能超参数组合；

从多个超参数中的可选超参数中选取第一超参数，所述第一高性能超参数组合的第一超参数的值为第一值，所述第一低性能超参数组合的第一超参数的值为第二值，其中，所述可选超参数的取值范围中包括至少两个值；

在所述第一超参数的取值范围为连续取值范围的情况中，从第一值和第二值之间的取值范围中随机选取一个值，以用于收缩所述第一超参数的取值范围。

在一种实施方式中，基于所述第一高性能超参数组合和多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间还包括，在所述第一超参数的取值范围包括多个离散值的情况中，将所述第一超参数的取值范围收缩为所述第一值。

本说明书另一方面提供一种评估业务模型超参数的装置，所述业务模型用于处理与网络平台中的以下任一对象相关的业务：用户、商户、商品、交易，所述业务模型包括多个超参数，所述装置包括：

获取单元，配置为，获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合，所述第一超参数组合和所述第二超参数组合分别包括所述多个超参数各自的值，所述第一超参数组合的分数为其对应的业务模型的性能分数；

第一计算单元，配置为，计算所述第二超参数组合与各个第一超参数组合的相似度；

第二计算单元，配置为，计算所述多个分数的加权和，作为所述第二超参数组合的估计分数，其中，各个所述第一超参数组合的分数的权重基于相应的所述相似度确定。

在一种实施方式中，所述第一计算单元还配置为，计算所述第二超参数组合与各个第一超参数组合的距离，基于各个所述距离计算所述第二超参数组合与各个第一超参数组合的相似度。

在一种实施方式中，所述多个超参数中包括第一超参数，在所述第一超参数的取值范围为连续取值范围的情况中，所述第一计算单元还配置为，计算所述第二超参数组合中的第一超参数的值与任一第一超参数组合中的第一超参数的值的差。

在一种实施方式中，在所述第一超参数的取值范围为离散取值范围的情况中，所述第一计算单元还配置为，确定所述第二超参数组合中的第一超参数的值与任一第一超参数组合中的第一超参数的值是否相等。

本说明书另一方面提供一种确定业务模型超参数的装置，所述业务模型包括多个超参数，所述装置包括：

第一获取单元，配置为，获取多个第一超参数组合，每个所述第一超参数组合包括所述多个超参数各自的值；

第二获取单元，配置为，基于预先准备的训练样本集和测试样本集，获取与各个第一超参数组合对应的业务模型的性能分数，作为各个第一超参数组合的分数，其中所述训练样本集和测试样本集与网络平台中的以下任一对象相关：用户、商户、商品、交易；

第一确定单元，配置为，基于各个第一超参数组合的分数，从所述多个第一超参数组合中确定第一高性能超参数组合和多个低性能超参数组合；

第二确定单元，配置为，基于所述第一高性能超参数组合和多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间，所述第一取值子空间中包括所述第一高性能超参数组合、且不包括所述多个低性能超参数组合；

第三获取单元，配置为，从所述第一取值子空间随机获取多个第二超参数组合；

预测单元，配置为，通过上述评估业务模型超参数的装置，预测各个所述第二超参数组合的估计分数；

选取单元，配置为，基于各个所述第二超参数组合的估计分数，选取预定数目个第二超参数组合，作为下一次执行所述方法时处理的第一超参数组合。

在一种实施方式中，所述第二确定单元包括：

第一选取子单元，配置为，从所述多个低性能超参数组合中选取第一低性能超参数组合；

第二选取子单元，配置为，从多个超参数中的可选超参数中选取第一超参数，所述第一高性能超参数组合的第一超参数的值为第一值，所述第一低性能超参数组合的第一超参数的值为第二值，其中，所述可选超参数的取值范围中包括至少两个值；

第一收缩子单元，配置为，在所述第一超参数的取值范围为连续取值范围的情况中，从第一值和第二值之间的取值范围中随机选取一个值，以用于收缩所述第一超参数的取值范围。

在一种实施方式中，所述第二确定单元还包括：第二收缩子单元，配置为，在所述第一超参数的取值范围包括多个离散值的情况中，将所述第一超参数的取值范围收缩为所述第一值。

本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。

本说明书另一方面提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。

在根据本说明书实施例的确定业务模型超参数的方案中，将超参数的可选择范围映射为空间中的区域，并通过模型学习合适的区域来对新的超参数进行推荐，从而可以对连续型超参数和离散型超参数均适用。进一步的，在学习模型的过程中，通过采用随机的方法对超参数取值空间进行收缩，避免了在拟合高斯算法中出现的维度爆炸的问题，同时又能保证学习到的空间足够好。另外，通过基于已有的超参数组合，预测待评估超参数组合的估计分数，使得基于估计分数选取的待评估超参数组合具有更好的表现，进而提升超参数搜索过程中的时间效率。

附图说明

通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：

图1示出根据本说明书实施例的确定业务模型超参数的系统示意图；

图2示出获取新的第一超参数组合的过程示意图；

图3示出根据本说明书实施例的预测模型13的更新过程示意图；

图4示出根据本说明书实施例的一种评估业务模型超参数的方法流程图；

图5示出根据本说明书实施例的一种评估业务模型超参数的方法流程图；

图6示出根据本说明书实施例的一种评估业务模型超参数的装置600；

图7示出根据本说明书实施例的一种确定业务模型超参数的装置700。

具体实施方式

下面将结合附图描述本说明书实施例。

根据本说明书实施例的评估和确定模型超参数的方案可应用于各种业务模型中。所述业务模型例如为XGBoost模型，该模型例如基于与网络平台中多个用户分别对应的多个训练样本进行训练，从而可用于对用户进行分类，以便于进行业务处理，或者该模型例如基于网络平台中多个交易分别对应的多个训练样本进行训练，从而可用于对交易进行分类，以便于进行业务处理，等等。可以理解，所述业务模型不限于为XGBoost模型，而可以为各种分类模型、回归模型、神经网络模型、树模型等等，在此不作限定。所述模型针对的预测对象也不限于为用户、交易等，而可以为网络平台中的各类对象，如商户、商品、影视作品等等。下文中将以XGBoost模型为例进行描述。

在训练上述XGBoost模型之前，通常需要确定多个超参数，如eta、max_depth、subsample、colsample_bytree、num_round等等，为了便于描述，在下文中，将分别使用超参数a、b、c、d、e与其顺序对应。其中，例如，超参数a～c为连续型超参数，其分别具有预定取值范围，a:[0.1,0.3],b:[0.6,1],c:[0.6,1]，超参数d和e为离散型超参数，其初始可选值分别为，d:{4,5,6,7},e:{100,200,300}。各个超参数的取值范围构成了5维的取值空间，在该取值空间中的任意点即为XGBoost模型的一种可能的超参数组合，该超参数组合可以表示为维度为5的向量x，如x=[0.1,0.6,0.6,4,100]，通过用训练样本集训练具有该超参数组合x的XGBoost模型，并使用测试样本集对该训练的XGBoost模型进行测试，可获取该XGBoost模型的性能分数S。其中，所述性能分数S可以为多种参数的值，如准确率、精确率、召回率、AUC、各种参数的组合，等等，在此不作限定。从而在通过本说明书实施例的方案中，通过多次循环确定多个超参数组合（即向量）x₁,x₂…x_n，之后，可基于与各个超参数组合对应的各个XGBoost模型的性能分数S₁,S₂…S_n，进行对多个超参数组合的选取，从而最终确定XGBoost模型的较优的超参数组合（x_i）。

图1示出根据本说明书实施例的确定业务模型超参数的系统示意图。如图1所示，在所述系统中包括业务模型11、空间收缩模型12和预测模型13。在图1中，通过箭头对上述三个模型的连接，还示出了根据本说明书实施例的方法中的多次循环中的一次循环过程。其中，在该次循环中，在获取业务模型11的多个第一超参数组合之后，也即获取了图1中以重叠的三个框示意示出的与多个第一超参数组合分别对应的多个业务模型11。然后，可基于训练样本集（图1中未示出）和测试样本集（图1中未示出）获取与各个第一超参数组合分别对应的各个业务模型11的分数。在获取各个业务模型11的分数之后，将各个第一超参数组合和分数提供给空间收缩模型12，从而通过空间收缩模型12从业务模型11的超参数取值空间进行收缩,以获取该取值空间中的子空间，并通过预测模型13预测该子空间中的多个第二超参数组合的估计分数，以用于确定新的第一超参数组合，该新的第一超参数组合即为在下一次循环中处理的多个第一超参数组合中的一个第一超参数组合。在本说明书实施例中，将在每次循环初始获取的超参数组合称为第一超参数组合，将在子空间中获取的超参数组合称为第二超参数组合，以用于对其进行区分。

图2示出获取新的第一超参数组合的过程示意图。如图2中所示，图2中最外围的框内的区域表示由业务模型11的各个超参数的取值范围确定的超参数的取值空间。在对本说明书实施例的方法的首次循环中，在该取值空间中随机选取预定数目个超参数组合作为待处理的第一超参数组合，例如图2中以圆形示出的第一超参数组合x₁～x₆。在选取第一超参数组合x₁～x₆之后，通过如上文所述基于训练样本集和测试样本集可获取各个第一超参数组合的分数S₁～S₆。基于各个第一超参数组合的分数，可将其分别确定为高性能超参数组合或低性能超参数组合，例如，如图2中所示，白色圆对应于高性能超参数组合，黑色圆对应于低性能超参数组合。之后，通过空间收缩模型12，选取其中的一个高性能超参数组合，例如第一超参数组合x₂，然后基于第一超参数组合x₂和低性能超参数组合从所述超参数空间进行收缩以获取图2中的子空间，该子空间中包括第一超参数组合x₂而不包括低性能超参数组合。如图2所示，图2中大框内的每条直线对应于从超参数的取值空间的一次收缩。例如，右侧的竖线代表第1次空间收缩，通过该次空间收缩将低性能的第一超参数组合x₅移出子空间之外，左侧的横线代表第2次空间收缩，通过该次空间收缩将低性能的第一超参数组合x₃移出子空间之外，左侧的竖线代表第3次空间收缩，通过该次空间收缩将低性能的第一超参数组合x₁移出子空间之外，从而最终获取如图2中所示的子空间。可以理解，在图2中，将超参数取空间示意示出为二维空间，并且以直线表示从超参数取值空间的一次收缩，这仅仅是示意性的。实际中，超参数的取值空间是一个多维度的空间，对取值空间的划分将不是以直线划分，而是以取值空间中的面对空间进行划分。在该过程中，在超参数取值空间中以高性能超参数组合（即图2中以“x₂”标示的白色圆）为轴进行收缩，例如，在上述第1次空间收缩中，以第一超参数组合x₂的某个维度的值为轴，使得子空间在该维度上的取值逼近该轴，因此该过程也可以称为轴收缩。

在通过上述空间收缩过程获取图2中的子空间之后，由于该子空间中仅包括高性能超参数组合而不包括低性能超参数组合，因此，可认为该子空间对应于高性能的取值空间。之后，可从该子空间中随机获取预定数目个第二超参数组合，图2中以菱形示意示出四个新获取的第二超参数组合x₇～x₁₀。在获取第二超参数组合x₇～x₁₀之后，通过预测模型13，基于已有的多个第一超参数组合（即图2中以圆形示出的第一超参数组合x₁～x₆）各自的分数S₁～S₆，以及新获取的第二超参数组合与已有的每个第一超参数组合之间的相似度，计算每个新获取的第二超参数组合的估计分数

。从而可从第二超参数组合x₇～x₁₀中选取估计分数最高的第二超参数组合（例如第二超参数组合x₈，图2中以白色菱形示出）作为用于在下一次循环中处理的新的第一超参数组合。

在选取了第二超参数组合x₈作为新的第一超参数组合之后，可重新进行上述空间收缩过程，以确定新的子空间，并确定另一个新的第一超参数组合。在对该过程重复预定次数（例如6次）之后，可获取6个新的第一超参数组合。从而，可基于该6个新的第一超参数组合重新执行图1所示的全过程，即，开始一个新的循环。在进行多次循环之后，可将该多次循环中分数最高的第一超参数组合选择为业务模型11的最终使用的超参数组合。

图3示出根据本说明书实施例的预测模型13的更新过程示意图。参考上文的描述，预测模型13的更新过程包括阶段①和阶段②。其中，在阶段①，预测模型13基于待预测的第二超参数组合与当前第一超参数组合集合中各个第一超参数组合的相似度、及各个第一超参数组合的分数，来确定待预测的第二超参数组合的估计分数，并基于该估计分数确定将加入第一超参数组合集合中的新的第一超参数组合。在阶段②，由于第一超参数组合集合通过阶段①进行了更新，而预测模型13基于第一超参数组合集合进行预测，因此，第一超参数组合集合的更新也相应地更新了预测模型13。

可以理解，上文中虽然参考图1和图2对预测模型13的预测过程进行了描述，然而，所述预测模型13不限于与上述空间收缩模型12结合使用，所述预测模型13也可用于其它模型超参数搜索算法中。例如，在遗传算法中，在一次循环中，在通过遗传算法基于初始获取的多个超参数组合生成多个新的超参数组合之后，可获取新的超参数组合与各个已有的超参数组合的相似度及各个已有的超参数组合的分数，然后，预测模型13以各个所述相似度作为相应的已有的超参数组合的分数的权重，计算所述多个分数的加权和，作为所述新的超参数组合的估计分数，并基于该估计分数选择下一次循环中处理的超参数组合。下文中将对图1和图2所示过程进行详细描述作为示例。

图4示出根据本说明书实施例的一种评估业务模型超参数的方法流程图，所述方法包括：

在步骤S402，获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合；

在步骤S404，计算所述第二超参数组合与各个第一超参数组合的相似度；

在步骤S406，以各个所述相似度作为相应的第一超参数组合的分数的权重，计算所述多个分数的加权和，作为所述第二超参数组合的估计分数。

首先，在步骤S402，获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合。

如上文参考图2所述，在对所述方法的首次循环中，在业务模型11的超参数的取值空间中随机获取第一超参数组合x₁～x₆，之后，可通过训练样本集分别训练第一超参数组合x₁～x₆对应的业务模型11，并通过测试样本集测试经训练的各个业务模型11的性能分数，作为第一超参数组合x₁～x₆各自的分数S₁～S₆。另外，通过图2所示的过程，在确定所述子空间之后，可在子空间中随机获取第二超参数组合x₇～x₁₀，第二超参数组合x₇～x₁₀中的每个第二超参数组合都可以通过图4所示方法预测估计分数，下文中将以第二超参数组合x₈作为示例进行描述。

在步骤S404，计算所述第二超参数组合与各个第一超参数组合的相似度。

由于在该说明书实施例中，如上文所述，第一超参数组合和第二超参数组合都具有向量的形式，因为，可通过计算向量之间相似度的各种方法来计算第二超参数组合与各个第一超参数组合的相似度。如果业务模型11的各个超参数都为连续型超参数，则所述相似度可以为余弦相似度、基于欧式距离、曼哈顿距离等距离的相似度、皮尔逊相关系数等相似度。如果业务模型11的超参数中包括离散型超参数，则可以借鉴于上述各种用于连续型超参数的相似度计算方法计算超参数组合之间的相似度。

在一种实施方式中，以上述第一超参数组合x₁～x₆和第二超参数组合x₈为例，首先计算第二超参数组合x₈与第一超参数组合x₁～x₆中各个组合之间的距离。这里，也可以通过已有的各种计算向量之间距离的方法来计算。例如，可通过如下公式（1）计算第二超参数组合x₈与第一超参数组合x_i之间的距离dist(x₈,x_i),其中i为1～6中任意值：

(1)

其中，k为业务模型11中包括的超参数的数目，x_8j为第二超参数组合x₈包括的第j个超参数值，x_ij为第一超参数组合x_i包括的第j个超参数值，其中，

为第二超参数组合x₈的第j个超参数值与第一超参数组合x_i的第j个参数值之间的距离。

例如业务模型11为上述XGBoost模型，该模型中包括连续型超参数a～c和离散型超参数d和e，假设超参数a～e分别与超参数值x₈₁～x₈₅一一对应，对于连续型超参数a～c，即，j=1、2或3，可通过如下公式（2）计算

:

（2），

其中，

表示该超参数的最大可选值与最小可选值之间的差值，该项用于避免不同的超参数的不同取值范围对计算结果产生的影响，从而使得

的范围在0到1之间，即对应不同超参数对应的所述距离进行归一化。

对于离散型超参数d和e，即，j=4或5，可通过如下公式（3）计算

：

（3），

也就是说，对于离散型超参数，所述距离

也是离散的，非0即1。例如对于超参数d，如果第二超参数组合x₈的d值与第一超参数组合x_i的d值相等，即，其距离是最近的，即为0，如果第二超参数组合x₈的d值与第一超参数组合x_i的d值不相等，则其距离是最远的，即为1。

在计算第二超参数组合x₈与第一超参数组合x_i之间的距离dist(x₈,x_i)之后，可基于该距离计算第二超参数组合x₈与第一超参数组合x_i之间的相似度。例如，通过如下的公式（4）计算第二超参数组合x₈与第一超参数组合x_i之间的相似度sim（x₈,x_i）:

(4),

从该公式（4）可以看出，第二超参数组合x₈与第一超参数组合x_i之间的距离越大，第二超参数组合x₈与第一超参数组合x_i之间的相似度越小，反之亦然。

在步骤S406，以各个所述相似度作为相应的第一超参数组合的分数的权重，计算所述多个分数的加权和，作为所述第二超参数组合的估计分数。

在一种实施方式中，可通过如下公式（5）基于第二超参数组合x₈与第一超参数组合x_i之间的相似度计算第二超参数组合x₈的估计分数

：

（5）

其中，S_i为第一超参数组合x_i的分数。

可以理解，

可基于上述公式（4）进行计算，或者可基于其它相似度计算方法进行计算，另外，在公式（5）中，虽然仅仅以

作为S_i的权重计算各个S_i的加权和，本说明书实施例不限于此，例如，所述权重还可以包括归一化项，以用于对参与计算的多个S_i进行归一化处理。这是因为，对于不同的第二超参数组合计算估计分数时，所获取的多个第一超参数组合有可能是不同的，例如对于图2中的第二次循环中的子空间中的第二超参数组合，可用于计算其估计分数的第一超参数组合的数目要多于第一次循环中可获得的第一超参数组合的数目，因此，通过对多个S_i进行归一化处理，使得该估计分数更加准确。

图5示出根据本说明书实施例的一种评估业务模型超参数的方法流程图，如图5所示，所述方法包括以下步骤S502～S520。

首先，在步骤S502，获取n个第一超参数组合。

所述业务模型11例如为XGBoost模型，如上文所述，XGBoost模型的5个超参数a～e的取值范围分别为a:[0.1,0.3]、b:[0.6,1]、c:[0.6,1]、d:{4,5,6,7}、e:{100,200,300}，各个超参数的取值范围构成了5个超参数的取值空间。如图5所示，该方法循环多次进行，在执行该方法的第一次循环时，可从上述取值空间中获取例如n=6个超参数组合作为6个第一超参数组合。

在一种实施方式中，可从所述取值空间随机获取6个第一超参数组合。具体是，在获取其中一个第一超参数组合的过程中，对于每个超参数，可从其取值范围中随机获取一个值作为该超参数的值，从而随机获取5个超参数各自的值，以构成一个第一超参数组合。通过将该过程重复6次，从而可获取6个第一超参数组合x₁～x₆。例如，如果该超参数为连续参数，则从该超参数的取值范围中随机采样一个值作为该超参数的值，如果该超参数为离散参数，则从该参数的可选值中随机选择一个值作为该超参数的值。

在一种实施方式中，可将所述初始取值空间分为6个部分，并从每个部分中随机获取一个第一超参数组合。本实施例中对于获取第一超参数组合的方法不作限定。

在步骤S504，确定n个第一超参数组合各自的分数。

具体是，对于每个第一超参数组合x_i，使用预先准备的训练样本集训练与该第一超参数组合对应的业务模型11，并使用预先准备的测试样本集对该训练好的业务模型11进行测试，以获取该业务模型11的性能分数S_i，作为该第一超参数组合x_i的分数。

在步骤S506，判断是否结束对该方法的循环。

具体是，确定循环的次数是否到达预定次数，如果达到预定次数则结束对该方法的循环，或者确定该次循环中获取的第一超参数组合的分数是否达到预定分值，如果达到预定分值，则结束对该方法的循环。如果判断还需要进行下一次循环，则流程进入步骤S508。如果判断不需要进行下一次循环，则流程进入步骤S520。

在步骤S508，从n个第一超参数组合中确定一个高性能超参数组合和多个低性能超参数组合。

在获取各个第一超参数组合的分数之后，可基于其分数确定其中的高性能超参数组合和低性能超参数组合。例如，可将分数排序在前p位的第一超参数组合确定为高性能超参数组合，将分数排序在第p位之后的第一超参数组合确定为低性能超参数组合。其中，p可基于第一超参数组合的数目和各个第一超参数组合的分数预先确定，例如，当n=6时，可将p设定为3，可以理解，该设定仅仅是示意性地，以用于对该方法进行示例描述，而不用于限定该方法。

可参考图2，在基于图2中各个第一超参数组合的分数确定三个高性能的第一超参数组合x₂、x₄、x₆和三个低性能的第一超参数组合x₁、x₃、x₅之后，可从其中随机选取一个高性能的第一超参数组合x₂，以用于进行后续的步骤。

在步骤S510，确定子空间。

可将子空间的初始空间设定为所述业务模型11的超参数的取值空间（即图2中最大矩形框中的空间），然后，通过上述空间收缩模型12基于高性能的第一超参数组合x₂和低性能的第一超参数组合x₁、x₃、x₅将子空间从业务模型11的超参数的取值空间进行空间收缩，从而获取图2中的子空间。

如图2中所示，所述空间收缩过程包括三次空间收缩，在进行每次进行空间收缩之前，从当前子空间中包括的低性能超参数组合中随机选取一个以进行空间收缩。例如，如上文所述，在第一次空间收缩之前，在当前的子空间（即业务模型11的超参数的取值空间）中选取低性能的第一超参数组合x₅，也就是说，该第一次空间收缩用于将第一超参数组合x₅移出到子空间之外。下面详细描述其中的第一次空间收缩过程作为示例。

具体是，首先，从所述第一超参数组合x₂和第一超参数组合x₅各自的可选超参数中选取一个超参数，并基于第一超参数组合x₂和第一超参数组合x₅各自的该超参数的取值，对该超参数的取值范围进行收缩,将收缩后的超参数的取值空间作为子空间。其中，所述可选超参数即为取值范围包括两个以上取值的超参数。例如，在第一次空间压缩中，所述5个超参数的每个的取值范围都包括两个以上的值，因此，该多个超参数中的每个超参数都是可选超参数。

在一种实施方式中，所述选取的超参数例如为连续型超参数。例如，该超参数为上述5个超参数中的超参数a。下文中，将第一超参数组合x₂的超参数a的值表示为a₂，将第一超参数组合x₅的超参数a的值表示为a₅。如上文所述，超参数a的范围为[0.1,0.3]，在一种情况中，a₂<a₅,例如，a₂=0.18，a₅=0.24，从而可在a₂和a₅之间随机采样一个值，例如0.22，并将超参数a的取值范围收缩为[0.1,0.22]，以作为子空间的超参数a的取值范围。由于通过收缩超参数a的范围，使得超参数a的收缩的取值范围中不包括第一超参数组合x₅的a值，也即将第一超参数组合x₅移出到子空间外。在另一种情况中，a₂>a₅,例如，a₂=0.24，a₅=0.18，类似地，可在a₂和a₅之间随机采样一个值，例如0.22，并将超参数a的取值范围收缩为[0.22,0.3]作为子空间的超参数a的取值范围。

在一种实施方式中，所述选取的超参数例如为离散型超参数。例如，该超参数为上述5个超参数中的e。下文中，将第一超参数组合x₂的超参数e的值表示为e₂，将第一超参数组合x₅的超参数e的值表示为e₅。如上文所述，超参数e的可选值包括{100,200,300}，假设e₂=200，e₅=300，则将超参数e的可选值限定为e₂的值200，并将该超参数设定为不可选超参数，从可选超参数列表中移除，即，在后续空间压缩中，将不再对超参数e调整范围。通过该方式，同样地，将第一超参数组合x₅移出子空间。

在该空间压缩过程中，每进行一次空间压缩之后，判断当前的子空间中是否将全部低性能超参数组合排除在外。例如，如图2所示，在如右侧竖线所示进行第一次空间收缩之后，可判断子空间中还有低性能超参数组合，因此继续进行如图2所示的第二次和第三次空间收缩，直到空间收缩之后获取的子空间中仅包括第一超参数组合x₂而不包括任何低性能超参数组合，从而获取如图2所示的子空间。

在步骤S512，从子空间获取m个第二超参数组合。

该步骤中的在预定空间中对超参数组合的获取过程可参考上文对步骤S502的描述，在此不再赘述。所述m个第二超参数组合例如为图2中以菱形示出的四个第二超参数组合x₇～x₁₀。

在步骤S514，计算各个第二超参数组合的估计分数。

该步骤可由预测模型13执行图4所示方法，从而获取4个第二超参数组合x₇～x₁₀各自的估计分数

。

在步骤S516，确定新的第一超参数组合。

在获取各个第二超参数组合的估计分数之后，可基于所述估计分数对m个第二超参数组合进行排序，其中，第二超参数组合的排序越靠前，表示该第二超参数组合对应的业务模型11的估计性能越好。之后，将排序靠前的预定数目的第二超参数组合确定为新的第一超参数组合，以用于对该方法的下一次循环中。例如，可将图2中估计分数最高的第二超参数组合x₈确定为新的第一超参数组合，或者，也可以将图2中估计分数排在前两位的两个第二超参数组合确定为新的第一超参数组合，对此不作限定。

在步骤S518，判断是否已确定n个新的第一超参数组合。

在该步骤中，通过判断是否已确定n个新的第一超参数组合，从而确定是否进行下一次对新的第一超参数组合的获取过程。如果已确定n个新的第一超参数组合，则进入步骤S502，即，开始下一次循环，并将获取的n个新的第一超参数组合作为第二次循环中处理的n个第一超参数组合。如果尚未确定n个新的第一超参数组合，则回到步骤S508，在该次循环对应的n个第一超参数组合中重新确定一个高性能超参数组合和多个低性能超参数组合，以再次确定新的第一超参数组合。

在步骤S520，确定业务模型超参数。

当在步骤S506确定不再进行下一次循环时，进入步骤S520，在该步骤中，对已有的全部第一超参数组合基于其分数进行排序，并将分数最高的第一超参数组合中的各个超参数确定为业务模型11的超参数。

图6示出根据本说明书实施例的一种评估业务模型超参数的装置600，所述业务模型用于处理与以下任一对象相关的业务：用户、商户、商品、交易，所述业务模型包括多个超参数，所述装置600包括：

获取单元61，配置为，获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合，所述第一超参数组合和所述第二超参数组合分别包括所述多个超参数各自的值，所述第一超参数组合的分数为其对应的业务模型的性能分数；

第一计算单元62，配置为，计算所述第二超参数组合与各个第一超参数组合的相似度；

第二计算单元63，配置为，计算所述多个分数的加权和，作为所述第二超参数组合的估计分数，其中，各个所述第一超参数组合的分数的权重基于相应的所述相似度确定。

在一种实施方式中，所述第一计算单元62还配置为，计算所述第二超参数组合与各个第一超参数组合的距离，基于各个所述距离计算所述第二超参数组合与各个第一超参数组合的相似度。

在一种实施方式中，所述多个超参数中包括第一超参数，在所述第一超参数的取值范围为连续取值范围的情况中，所述第一计算单元62还配置为，计算所述第二超参数组合中的第一超参数的值与任一第一超参数组合中的第一超参数的值的差。

在一种实施方式中，在所述第一超参数的取值范围为离散取值范围的情况中，所述第一计算单元62还配置为，确定所述第二超参数组合中的第一超参数的值与任一第一超参数组合中的第一超参数的值是否相等。

图7示出根据本说明书实施例的一种确定业务模型超参数的装置700，所述业务模型包括多个超参数，所述装置700包括：

第一获取单元71，配置为，获取多个第一超参数组合，每个所述第一超参数组合包括所述多个超参数各自的值；

第二获取单元72，配置为，基于预先准备的训练样本集和测试样本集，获取与各个第一超参数组合对应的业务模型的性能分数，作为各个第一超参数组合的分数，其中所述训练样本集和测试样本集与网络平台中的以下任一对象相关：用户、商户、商品、交易；

第一确定单元73，配置为，基于各个第一超参数组合的分数，从所述多个第一超参数组合中确定第一高性能超参数组合和多个低性能超参数组合；

第二确定单元74，配置为，基于所述第一高性能超参数组合和多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间，所述第一取值子空间中包括所述第一高性能超参数组合、且不包括所述多个低性能超参数组合；

第三获取单元75，配置为，从所述第一取值子空间随机获取多个第二超参数组合；

预测单元76，配置为，通过上述评估业务模型超参数的装置，预测各个所述第二超参数组合的估计分数；

选取单元77，配置为，基于各个所述第二超参数组合的估计分数，选取预定数目个第二超参数组合，作为下一次执行所述方法时处理的第一超参数组合。

在一种实施方式中，所述第二确定单元74包括：

第一选取子单元741，配置为，从所述多个低性能超参数组合中选取第一低性能超参数组合；

第二选取子单元742，配置为，从多个超参数中的可选超参数中选取第一超参数，所述第一高性能超参数组合的第一超参数的值为第一值，所述第一低性能超参数组合的第一超参数的值为第二值，其中，所述可选超参数的取值范围中包括至少两个值；

第一收缩子单元743，配置为，在所述第一超参数的取值范围为连续取值范围的情况中，从第一值和第二值之间的取值范围中随机选取一个值，以用于收缩所述第一超参数的取值范围。

在一种实施方式中，所述第二确定单元74还包括：第二收缩子单元744，配置为，在所述第一超参数的取值范围包括多个离散值的情况中，将所述第一超参数的取值范围收缩为所述第一值。

本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。

本说明书另一方面提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。

在根据本说明书实施例的确定业务模型超参数的方案中，将超参数的可选择范围映射为空间中的区域，并通过模型学习合适的区域来对新的超参数进行推荐，从而可以对连续型超参数和离散型超参数均适用。进一步的，在学习模型的过程中，通过采用随机的方法对超参数取值空间进行收缩，避免了在拟合高斯算法中出现的维度爆炸的问题，同时又能保证学习到的空间足够好。另外，通过基于已有的超参数组合，预测待评估超参数组合的估计分数，使得基于估计分数选取的待评估超参数组合具有更好的表现，进而提升超参数搜索过程中的时间效率。

需要理解，本文中的“第一”，“第二”等描述，仅仅为了描述的简单而对相似概念进行区分，并不具有其他限定作用。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。其中，软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本说明书实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书实施例的具体实施方式而已，并不用于限定本说明书实施例的保护范围，凡在本说明书实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

Claims (16)

1.一种评估业务模型超参数的方法，所述业务模型用于处理与以下任一对象相关的业务：用户、商户、商品、交易，所述业务模型包括多个超参数，所述方法包括：

获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合，所述第一超参数组合和所述第二超参数组合分别包括所述多个超参数各自的值，所述第一超参数组合的分数为其对应的业务模型的性能分数；

计算所述第二超参数组合与各个第一超参数组合的相似度；

计算所述多个第一超参数组合各自的分数的加权和，作为所述第二超参数组合的估计分数，其中，各个所述第一超参数组合的分数的权重等于相应的所述相似度或者等于相应的所述相似度的归一化值。

2.根据权利要求1所述的方法，其中，计算所述第二超参数组合与各个第一超参数组合的相似度包括，计算所述第二超参数组合与各个第一超参数组合的距离，基于各个所述距离计算所述第二超参数组合与各个第一超参数组合的相似度。

3.根据权利要求2所述的方法，其中，所述多个超参数中包括第一超参数，在所述第一超参数的取值范围为连续取值范围的情况中，计算所述第二超参数组合与各个第一超参数组合的距离包括，计算所述第二超参数组合中的第一超参数的值与任一所述第一超参数组合中的第一超参数的值的差。

4.根据权利要求2所述的方法，在所述第一超参数的取值范围为离散取值范围的情况中，计算所述第二超参数组合与各个第一超参数组合的距离包括，确定所述第二超参数组合中的第一超参数的值与任一所述第一超参数组合中的第一超参数的值是否相等。

5.一种确定业务模型超参数的方法，所述业务模型包括多个超参数，所述方法包括：

获取多个第一超参数组合，每个所述第一超参数组合包括所述多个超参数各自的值；

基于预先准备的训练样本集和测试样本集，获取与各个第一超参数组合对应的业务模型的性能分数，作为各个第一超参数组合的分数，其中所述训练样本集和测试样本集与以下任一对象相关：用户、商户、商品、交易；

基于各个所述第一超参数组合的分数，从所述多个第一超参数组合中确定第一高性能超参数组合和多个低性能超参数组合；

基于所述第一高性能超参数组合和所述多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间，所述第一取值子空间中包括所述第一高性能超参数组合、且不包括所述多个低性能超参数组合；

从所述第一取值子空间随机获取多个第二超参数组合；

通过根据权利要求1-4中任一项所述的方法，预测各个所述第二超参数组合的估计分数；

基于各个所述第二超参数组合的估计分数，选取预定数目个第二超参数组合，作为下一次执行所述方法时处理的第一超参数组合。

6.根据权利要求5所述的方法，其中，基于所述第一高性能超参数组合和所述多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间包括：

从所述多个低性能超参数组合中选取第一低性能超参数组合；

从多个超参数中的可选超参数中选取第二超参数，所述第一高性能超参数组合的第二超参数的值为第一值，所述第一低性能超参数组合的第二超参数的值为第二值，其中，所述可选超参数的取值范围中包括至少两个值；

在所述第二超参数的取值范围为连续取值范围的情况中，从所述第一值和所述第二值之间的取值范围中随机选取一个值，以用于收缩所述第二超参数的取值范围。

7.根据权利要求6所述的方法，其中，基于所述第一高性能超参数组合和所述多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间还包括，在所述第二超参数的取值范围包括多个离散值的情况中，将所述第二超参数的取值范围收缩为所述第一值。

8.一种评估业务模型超参数的装置，所述业务模型用于处理与以下任一对象相关的业务：用户、商户、商品、交易，所述业务模型包括多个超参数，所述装置包括：

获取单元，配置为，获取业务模型的多个第一超参数组合及其各自的分数、和待评估的第二超参数组合，所述第一超参数组合和所述第二超参数组合分别包括所述多个超参数各自的值，所述第一超参数组合的分数为其对应的业务模型的性能分数；

第一计算单元，配置为，计算所述第二超参数组合与各个第一超参数组合的相似度；

第二计算单元，配置为，计算所述多个第一超参数组合各自的分数的加权和，作为所述第二超参数组合的估计分数，其中，各个所述第一超参数组合的分数的权重等于相应的所述相似度或者等于相应的所述相似度的归一化值。

9.根据权利要求8所述的装置，其中，所述第一计算单元还配置为，计算所述第二超参数组合与各个第一超参数组合的距离，基于各个所述距离计算所述第二超参数组合与各个第一超参数组合的相似度。

10.根据权利要求9所述的装置，其中，所述多个超参数中包括第一超参数，在所述第一超参数的取值范围为连续取值范围的情况中，所述第一计算单元还配置为，计算所述第二超参数组合中的第一超参数的值与任一所述第一超参数组合中的第一超参数的值的差。

11.根据权利要求9所述的装置，在所述第一超参数的取值范围为离散取值范围的情况中，所述第一计算单元还配置为，确定所述第二超参数组合中的第一超参数的值与任一所述第一超参数组合中的第一超参数的值是否相等。

12.一种确定业务模型超参数的装置，所述业务模型包括多个超参数，所述装置包括：

第一获取单元，配置为，获取多个第一超参数组合，每个所述第一超参数组合包括所述多个超参数各自的值；

第二获取单元，配置为，基于预先准备的训练样本集和测试样本集，获取与各个第一超参数组合对应的业务模型的性能分数，作为各个第一超参数组合的分数，其中所述训练样本集和测试样本集与以下任一对象相关：用户、商户、商品、交易；

第一确定单元，配置为，基于各个所述第一超参数组合的分数，从所述多个第一超参数组合中确定第一高性能超参数组合和多个低性能超参数组合；

第二确定单元，配置为，基于所述第一高性能超参数组合和所述多个低性能超参数组合各自的超参数值，确定所述多个超参数的第一取值子空间，所述第一取值子空间中包括所述第一高性能超参数组合、且不包括所述多个低性能超参数组合；

第三获取单元，配置为，从所述第一取值子空间随机获取多个第二超参数组合；

预测单元，配置为，通过根据权利要求8-11中任一项所述的装置，预测各个所述第二超参数组合的估计分数；

选取单元，配置为，基于各个所述第二超参数组合的估计分数，选取预定数目个第二超参数组合，作为下一次运行所述装置时处理的第一超参数组合。

13.根据权利要求12所述的装置，其中，所述第二确定单元包括：

第一选取子单元，配置为，从所述多个低性能超参数组合中选取第一低性能超参数组合；

第二选取子单元，配置为，从所述多个超参数中的可选超参数中选取第二超参数，所述第一高性能超参数组合的第二超参数的值为第一值，所述第一低性能超参数组合的第二超参数的值为第二值，其中，所述可选超参数的取值范围中包括至少两个值；

第一收缩子单元，配置为，在所述第二超参数的取值范围为连续取值范围的情况中，从所述第一值和所述第二值之间的取值范围中随机选取一个值，以用于收缩所述第二超参数的取值范围。

14.根据权利要求13所述的装置，所述第二确定单元还包括：第二收缩子单元，配置为，在所述第二超参数的取值范围包括多个离散值的情况中，将所述第二超参数的取值范围收缩为所述第一值。

15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。

16.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。

Images