Zhushilin Blog

Thinking will not overcome fear but action will.

GBDT用于特征交叉

github-MachineLearningTricks ​ 就是先用已有特征训练GBDT模型，然后利用GBDT模型学习到的树来构造新特征，最后把这些新特征加入原有特征一起训练模型。构造的新特征向量是取值0/1的，向量的每个元素对应于GBDT模型中树的叶子结点。当一个样本点通过某棵树最终落在这棵树的一个叶子结点上，那么在新特征向量中这个叶子结点对应的元素值为1，而这棵树的其他叶子结点对应的...

Posted by horizon-z40 on October 1, 2018

FTRL

参考：http://vividfree.github.io/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2015/12/05/understanding-FTRL-algorithm http://iyao.ren/?p=137 1. 引言 在工业界，越来越多的业务需要大规模机器学习，不单参与训练的数据量大，模型特征量的规模也大。例如点击率预估，训练数据量...

Posted by horizon-z40 on October 1, 2018

FM、FFM模型介绍

这个不错，还包含了工具包介绍：http://mufool.com/2017/11/20/fm/ FM有一个衍生算法FFM（Field-aware FM），大概思路是将特征进行分组，学习出更多的隐式向量V，FM可以看做FFM只有一个分组的特例。FFM复杂度比较高，比较适合高度稀疏数据；而FM可以应用于非稀疏数据，更加通用。 FM模型原理 二阶FM模型表达式：

Posted by horizon-z40 on October 1, 2018

FEATURED TAGS
机器学习 推荐系统 NLP
ABOUT ME

Goals determine what you going to be!

✉️ horizon-z40@foxmail.com

FRIENDS