集成学习(Ensemble Learning)是一种通过结合多个学习器来提升整体预测性能的技术。其核心思想是利用多个模型的优势,通过某种策略将它们组合起来,从而获得比单个模型更好的泛化能力。以下将结合...
树相关-XGBoost与LightGBM
前一篇树相关的文章挖了一个XGBoost的坑,在此篇里把坑填上。同时,对XGBoost的改进模型(替代模型)LightGBM作一个介绍。 对GBDT的一点补充 上一篇中提到GBDT整个算法的运行过程,...
树相关-从决策树到kaggle大杀器
决策树 决策树的最优分支选择 分类树 枚举所有可能的划分,每次计算一个代价值,取代价最低的分裂方法。 设定一个阈值,若超过,则分裂。 回归树 在一次分裂时,遍历所有划分方法(每次划分为两组,分别计算损...