当前位置:主页 > 产品展示 > 天平仪器系列 >

产品展示

Products Classification

2020腾讯广告算法大赛方案分享及代码(冠军)“博鱼官方”

  • 产品时间:2021-10-23 03:16
  • 价       格:

简要描述:效果与分析 2019年冠军选手乐成卫冕!!! 代码地址: https://github.com/guoday/Tencent2020_Rank1st 支持图输入的预训练模型 分阶段预训练缓解广告稀疏性问题并加速预训练速度 (4*V100 预训练12个小时) 详细地我们随机mask掉20%的tokenmask后的位置使用0向量来取代或者采样一个属性id来替换。...

详细介绍
本文摘要:效果与分析 2019年冠军选手乐成卫冕!!! 代码地址: https://github.com/guoday/Tencent2020_Rank1st 支持图输入的预训练模型 分阶段预训练缓解广告稀疏性问题并加速预训练速度 (4*V100 预训练12个小时) 详细地我们随机mask掉20%的tokenmask后的位置使用0向量来取代或者采样一个属性id来替换。

博鱼体育

效果与分析

2019年冠军选手乐成卫冕!!!

代码地址:https://github.com/guoday/Tencent2020_Rank1st

支持图输入的预训练模型

分阶段预训练缓解广告稀疏性问题并加速预训练速度 (4*V100 预训练12个小时)

详细地我们随机mask掉20%的tokenmask后的位置使用0向量来取代或者采样一个属性id来替换。使用革新的MLM预测这些广告的时候不仅可以使用最近点击的广告也可以用它的属性去预测使得差别属性的embedding能够在语义空间上对齐。

同时我们也接纳了一个很关键的计谋我们把词表缩小到10万(提取top10w其余为unk)这样使得bert能跑起来。对于原始的MLM我们也实验过虽然有提高但提高不是很大。

先来看下模型框架部门主要分为三个部门。

本届算法大赛的题目泉源于一个重要且有趣的问题。

众所周知像用户年事和性别这样的人口统计学特征是各种推荐系统的重要输入特征其中自然也包罗了广告平台。这背后的假设是用户对广告的偏好会随着其年事和性此外差别而有所区别。许多行业的实践者已经多次验证了这一假设。

然而大多数验证所接纳的方式都是以人口统计学属性作为输入来发生推荐效果然后离线或者在线地对比用与不用这些输入的情况下的推荐性能。本届大赛的题目实验从另一个偏向来验证这个假设即以用户在广告系统中的交互行为作为输入来预测用户的人口统计学属性。

2020-6-12: 模型融合

2020-6-03: 调整学习计谋使用warmup调整学习率学习率先增后减

博鱼体育官网入口

1.数据

2020-5-21: 使用BERT

2.目的

用户点击广告的总次数

3.评价指标

革新MLM预训练目的并从多维度学习广告及其属性的语义表现

预训练模型越大越好?

用户点击差别广告、产物、种别、素材、广告主的总数

1.统计特征

2020-6-22: 切换B榜

鉴于以上问题我们对Masked Language Modeling(MLM)举行革新原始的MLM是直接mask掉整个广告包罗属性但我们只mask广告的一部门(广告id或者属性)。

赛题先容

提出融合后验概率漫衍的方法及模型

2020-6-22: 切换B榜

鉴于以上问题我们对Masked Language Modeling(MLM)举行革新原始的MLM是直接mask掉整个广告包罗属性但我们只mask广告的一部门(广告id或者属性)。

赛题先容

提出融合后验概率漫衍的方法及模型

博鱼官方

2.概率漫衍特征

简朴的明白就是五折交织的target encoding 获得每个该广告实体对应的性别年事信息按用户点击广告实体举行聚合统计。在此次角逐中我们仅使用了这两组特征但在角逐历程中我们也举行了大量的特征工程实验好比tfidf+stacking、word2vec、deepwalk等特征或者各种聚合统计。

本文将给出冠军焦点方案全文内容架构将依托于答辩PPT希望这篇分享能够给予你更多的启发。

下面就让追随我一起探索这荣获最高夸奖的方案 !

 


产品咨询

留言框

  • 产品:

  • 留言内容:

  • 您的单位:

  • 您的姓名:

  • 联系电话:

  • 常用邮箱:

  • 详细地址:


推荐产品

Copyright © 2009-2021 www.gzjrcc.com. 博鱼体育科技 版权所有 备案号:ICP备18085945号-9

在线客服 联系方式 二维码

服务热线

088-204203464

扫一扫,关注我们