【上海校区】stacking

python 未结 0 211
网络营销方案
网络营销方案 2021-06-22 14:19
悬赏:34
任务
【任务七-模型融合】用你目前评分最高的模型作为基准模型,和其他模型进行stacking融合,得到最终模型及评分。

Stacking
原理:Stacking模型本质上是一种分层的结构。

第一层

使用5-折交叉验证,5折交叉验证就是先拿出四折作为training data,另外一折作为testing data。

注意:在stacking中此部分数据会用到整个traing set。如:假设我们整个training set包含10000行数据,testing set包含2500行数据,那么每一次交叉验证其实就是对training set进行划分,在每一次的交叉验证中training data将会是8000行,testing data是2000行。

每一次的交叉验证包含两个过程,1. 基于training data训练模型;2. 基于training data训练生成的模型对testing data进行预测。在整个第一次的交叉验证完成之后我们将会得到关于当前testing data的预测值,这将会是一个一维2000行的数据,记为a1。注意!在这部分操作完成后,我们还要对数据集原来的整个testing set进行预测,这个过程会生成2500个预测值,这部分预测值将会作为下一层模型testing data的一部分,记为b1。因为我们进行的是5折交叉验证,所以以上提及的过程将会进行五次,最终会生成针对testing set数据预测的5列2000行的数据a1,a2,a3,a4,a5,对testing set的预测会是5列2500行数据b1,b2,b3,b4,b5。

在完成对Model1的整个步骤之后,我们可以发现a1,a2,a3,a4,a5其实就是对原来整个training set的预测值,将他们拼凑起来,会形成一个10000行一列的矩阵,记为A1。而对于b1,b2,b3,b4,b5这部分数据,我们将各部分相加取平均值,得到一个2500行一列的矩阵,记为B1。

第二层

以上就是stacking中一个模型的完整流程,stacking中同一层通常包含多个模型,假设还有Model2: LR,Model3:RF,Model4: GBDT,Model5:SVM,对于这四个模型,我们可以重复以上的步骤,在整个流程结束之后,我们可以得到新的A2,A3,A4,A5,B2,B3,B4,B5矩阵。

在此之后,我们把A1,A2,A3,A4,A5并列合并得到一个10000行五列的矩阵作为training data,B1,B2,B3,B4,B5并列合并得到一个2500行五列的矩阵作为testing data。让下一层的模型,基于他们进一步训练。

代码(调包)
#!/user/bin/env python
#-*- coding:utf-8 -*-
# @Time    : 2018/11/26 17:33
# @Author  : 刘
# @Site    :
# @File    : Stacking2.py
# @Software: PyCharm
import pickle
import numpy as np
from sklearn import datasets
from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import StackingClassifier
from sklearn.externals import joblib
import warnings
warnings.filterwarnings("ignore")
iris = datasets.load_iris()
path = "E:/mypython/moxingxuexi/"
"""=====================================================================================================================
1 读取特征
"""
print("0 读取特征")
f = open(path + "feature/V4.pkl", "rb")
train, test, y_train,y_test= pickle.load(f)
f.close()
X, y = train, y_train

"""=====================================================================================================================
2 读取模型
"""
print("1 读取模型")
SVM_linear = joblib.load( path + "model/SVM_linear1.pkl")
SVM_poly = joblib.load( path + "model/SVM_poly1.pkl")
SVM_rbf = joblib.load( path + "model/SVM_rbf1.pkl")
SVM_sigmoid = joblib.load( path + "model/SVM_sigmoid1.pkl")
lg_120 = joblib.load( path + "model/lg_1.pkl")
DT = joblib.load( path + "model/DT1.pkl")
xgb_sklearn = joblib.load( path + "model/xgb_sklearn1.pkl")
lgb_sklearn = joblib.load( path + "model/lgb_sklearn1.pkl")
xgb = joblib.load( path + "model/xgb1.pkl")
lgb = joblib.load( path + "model/lgb1.pkl")

clf1 =SVM_linear
clf2 = lg_120
clf3 = DT
clf4 = SVM_rbf
clf5 = lgb_sklearn
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3,clf4,clf5],meta_classifier=lgb_sklearn)

print("5-fold cross validation:\n")

for clf, label in zip([clf1, clf2, clf3,clf4,clf5 , sclf],
                      ["SVM_linear","lg_120","DT","SVM_rbf","lgb_sklearn","StackingClassifier"]):
    scores = model_selection.cross_val_score(clf, X, y,cv=5, scoring="accuracy")
    print("Accuracy: %s (+/- %0.9f) [%s]"
          % (scores.mean(), scores.std(), label))

---------------------
作者:lgy54321
来源:CSDN
原文:https://blog.csdn.net/lgy54321/article/details/84554185
版权声明:本文为博主原创文章,转载请附上博文链接!

相关标签:
回答
  • 消灭零回复
提交回复