Angel推荐算法在游戏推荐中的应用

作者:神秘网友 发布时间:2021-01-12 20:18:54

Angel推荐算法在游戏推荐中的应用

Angel推荐算法在游戏推荐中的应用

文章作者:王培军?腾讯 高级工程师

整理编辑:李沛欣

出品平台:DataFunTalk、AI启蒙者

导读:Angel是腾讯自研的分布式高性能的机器学习平台,支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。本次分享为大家介绍Angel推荐算法在游戏推荐中的应用。主要内容包括:游戏平台上的游戏推荐、Tesla平台上的推荐算法、经典算法的线性特点、DeepFM算法的非线性特点、DeepFM应用过程。

01

游戏平台上的游戏推荐

Angel推荐算法在游戏推荐中的应用

这张图看到的是Steam平台上的一个游戏推荐的应用。Steam平台主要是使用标签的推荐方法,它的标签主要是基于用户选择去收集的信息。

Angel推荐算法在游戏推荐中的应用

Steam平台的特点在于游戏的内容比较多,深度也比较深一些。

如果item比较多,而且使用用户比较多,那就可以通过用户来选择一些标签,能够抽象出其实本来是需要协同过滤ALS的算法计算的因变量的特征向量。

也就是说,Steam是用人工选择的方式,用集体智慧的方式来抽象出特征向量。

Angel推荐算法在游戏推荐中的应用

这是Wegame平台上的一个活动。它的推荐算法并没有使用人工抽取标签的方式,而使用了CF算法,以及在用户行为数据的基础上使用Deep FM算法。

02

Tesla平台上的推荐算法

Angel推荐算法在游戏推荐中的应用

这个是特斯拉平台上的推荐算法。如果你要在外网试用,可以到下面的网址进行试用:

https://cloud.tencent.com

在试用的过程中,根据wiki文档生成相关的模型,定义相关的参数,就可以使用了。

Angel推荐算法在游戏推荐中的应用

特斯拉平台上也可以使用一些传统的算法,就像CF-ALS算法,可以把Rank、Lambda、Alpha这几个重要的参数,通过一个迭代的方式去选择合适的超参数,就可以使用了。

03

经典算法的线性特征

Angel推荐算法在游戏推荐中的应用

如果是基于内容的标签推荐,不用集体智慧的抽象,在很多情况下就是一个主观的先行判断。

另一种是协同过滤——或基于物品,或基于用户,或者是联合的协同过滤,会存在稀疏矩阵和长尾推荐的问题。

Angel推荐算法在游戏推荐中的应用

此时会出现一个问题:这是基于物品点击率比较高的协同过滤,但游戏大部分推荐的并不是都是热门物品。如果我们想在经典算法的基础上对一些点击比较少的物品进行推荐,也就是对这些长尾的物品进行推荐,如何去实现呢?

此时可以先做一个聚类,再应用一个协同过滤的算法。如果是经典的算法,有一个很大的核心的问题:怎么去结合用户画像,还有物品画像,参与到DeepFM的建立?

04

DeepFM的非线性特征

Angel推荐算法在游戏推荐中的应用

其实CF算法中输入的是Item Id和 User ID,但是Deep FM在输入UserID和Item Id之外,还可以输入用户或者物品特征。另外也可以对特征进行一个二次交叉:二次标签的特征组合,在本质上还是比较依赖于原来所采集的特征,而且特征组合也仅仅是二次的一个特征表达。

Angel推荐算法在游戏推荐中的应用

DeepFM的各种非线性特征,其实比较类似于CNN算法里面,在识别分类过程中所作的权重分解。上图是在CNN的过程中,做的一个热力图。其中CNN是对图像做了一个分类。这个分类依据,是Class之前所做的权重分布,从Deep FM的一部分的模型研发而来的一部分。

Angel推荐算法在游戏推荐中的应用

Deep FM模型的random部分有很多类别特征的。类别特征是用人工选择出来的categorical Features。而Deep FM在自动归类分群的过程中,有一个自动embedding 离散维度的推荐过程。一般我们可以根据误差的自动调整,来调整这个特征的维度组合。类似于推荐过程中自动聚类分群的过程,这就解决了传统算法的问题。如果只输入一个User ID或者是Item ID,就无法使用用户画像和物品画像,进行信息的分群,这样Deep FM就成为了一个可以根据误差进行自动调整,自动聚类分群的推荐工具。

05

DeepFM应用过程

Angel推荐算法在游戏推荐中的应用

在进行数据运营过程中,一般会使用到的工具是Vector assembler,将输入的字段组合成一个Vector,再对Vector进行标准化。

另一种情形则是在Deep FM的过程中进行编码,如果有单列的类别值,如何进行、转换成一个稀疏矩阵?一般来说可以使用手工编码,但这个方式比较低效。这时可以使用Feature Hasher,可以自动把几列类别值转换成一个技术矩阵,把稀疏矩阵和由连续值组成的vector和Hash feature组成vector,合成一个Vector,再把这个Vector作为一个Deep FM的输入,就可以比较方便进行数据计算了。

Angel推荐算法在游戏推荐中的应用

这里面有几个经验:

  • Validation AUC与点击率的对应关系:就是说在算法的训练的过程中,会输出一个Validation AUC,这个AUC很大情况下会和点击率有对应关系。在算法的模型训练过程中AUC比较低的话,点击率可能比较高,但是如果AUC比较高,其点击率一般情况下也比较高。
  • 特定场景下的target 数据产生的模型只能应用到特定场景下的点击率评估:你可能会需要使用到3个采集位置。这三个位置前面的Target数据就是用户在item下面点击数据,如果你运用3个模型,每一个模型应用在3个特定位置下,应该会得到一个更好的效果,而尽量不要把3个位置下的Target的数据合并为一个Target数据。因为这和Deep FM的特征的抽象能力相关,也就是说Deep FM有比较强的特征抽取能力,Target数据会反向传递到特征的采集过程中,会比较依赖于这个特征的场景。
  • Deep FM 的参数调整比较简单,因为一旦收敛,AUC 的提升跟训练数据集的大小最密切:因为增加更多的训练数据,AUC提升会比较明显一点。
  • 数据精排需要过滤已拥有,已玩过,并且根据业务需要重排数据,比如重点展示新游,热销等。
Angel推荐算法在游戏推荐中的应用
  • FM 需要输入 user_id 作为训练数据:Deep FM是从FM演化过来的,FM的训练和使用的过程中,一般会是要用User Id做一个输入,真正FM的User ID会在大数据情况下形成一个大的标签。
  • FM 的user_id 在大数据环境下会形成很大的标签数据,例如:如果有1000万用户,一台一个输入进去,在水平层这边特征就会比较大。
  • FM 的user_id 会形成冷启动的瓶颈,并且导致更新频率受到限制:传统的FM算法和CM算法,是一定要输入User ID的,那样就会产生一个冷启动的问题。也就是说,如果用户没有参与到每天的活动中,其实是没法在预测阶段做输入的。但是Deep FM则不同,如果对自己的特征比较自信,也就是说你的输入除了User ID之外,还有很多特征。因为Deep FM还会有比较强的特征抽取的能力,也就是自动特征组合能力。此时可以不输入User ID,只输入用户的特征或者是物品的特征,就会避免冷启动问题,而且更新频率会更快。
  • DeepFM 的特征输入可以替代user_id 的输入:比如在一个活动刚开始没多久,收集了一定数量的数据的情况下,特征是比较丰满的,就可以对用户和User ID,Item ID等没有接触到的数据进行一个预测。
Angel推荐算法在游戏推荐中的应用

最后感谢TEG的同学在tesla平台/智能钛平台上的辛勤工作,为业务提供了优秀的spark内存计算平台和前沿的机器学习算法!

以上就是今天的分享,谢谢大家。

嘉宾介绍:

Angel推荐算法在游戏推荐中的应用

王培军

腾讯?|?高级工程师

王培军,腾讯高级工程师,主要负责wegame平台的广告系统和深度学习与系统的结合探索。

Angel推荐算法在游戏推荐中的应用

扫码关注 | 即刻了解腾讯大数据技术动态

Angel推荐算法在游戏推荐中的应用 相关文章

  1. 23个需要了解的十分有用的nodejs库(推荐)

    相关推荐:《node js教程》 作为专业的开发人员,我们必须不断更新最新和最好的库,因为知道好的库,那么开发过程就可以依赖于它们,这会节省我们很多时间也有助于构建高质量的软件。 下面列表常见且好用的 NodeJS 库,反正我自己是已经收藏了,以备将来会用

  2. 为什么选择php语言作为网站开发语言

    推荐:《PHP实战培训》 在互联网快速发展的今天,PHP在IT行业中一直屹立不倒,这主要是因为它比Java和CC++简单的多,应用范围广,大多数大型网站都用PHP开发,PHP作为开源后端开发的语言一直也很火热,这也让PHP的薪资一直稳增不降。那么为什么选择php语言作

  3. 美团生活服务个性化推荐实践

    简介: 张彬(美团推荐算法高级研发工程师):2012年3月硕士毕业于北京邮电大学,有过两年的互联网广告工作经历,期间先后参与过user profile挖掘、实时竞价算法、ctr预估等多个核心项目,对RTB、DSP、DMP中的相关技术有较好的理解和认识,积累了丰富的经验。

  4. 详解Dreamweaver CS6破解安装的方法

    推荐:《dreamweaver安装教程》 Adobe Dreamweaver,简称“DW”,中文名称梦想编织者,是美国MACROMEDIA公司开发的集网页制作和管理网站于一身的所见即所得网页编辑器,DW是第一套针对专业网页设计师特别发展的视觉化网页开发工具,利用它可以轻而易举地制作

  5. 带你理解PHP中的Generator

    推荐:《PHP视频教程》 何为 Generator 从 PHP 5.5 开始,PHP 加入了一个新的特性,那就是 Generator ,中文译为 生成器 。生成器可以简单地用来实现对象的迭代,让我们先从官方的一个小例子说起。 xrange 在 PHP 中,我们都知道,有一个函数叫做 range ,用

  6. VSCode怎么使用Git来控制版本

    相关推荐:《vscode基础教程》 Visual Studio Code 使用Git进行版本控制 本来认为此类教程,肯定是满网飞了。今天首次使用VS Code的Git功能,翻遍了 所有中文教程,竟没有一个靠谱的。遂动笔写一篇。 请确保你安装了最新的VS Code.http://code.visualstudio.

  7. Node.js进行调试的几种方法介绍

    相关推荐:《nodejs 教程》 调试是解决程序问题的必备工具,在最早的时候 Node 的调试有些麻烦,社区也有不少工具包辅助,现在 Node 的调试已经比较简单,常用的有几种 Chrome DevTools Chrome 开发者工具交互通过 V8 Inspector Protoco 调试协议,使用 webs

  8. 了解Node.js中的模块系统

    相关推荐:《node js教程》 Node.js 的模块 JavaScript 做为一门为网页添加交互功能的简单脚本语言问世,在开始并不包含模块系统,随着 JavaScript 解决问题越来越复杂,把所有代码写在一个文件内,用 function 区分功能单元已经不能支撑复杂应用开发了,ES6

  9. 详解Jquery的扩展方法extend

    相关推荐:《jQuery教程》 Jquery的扩展方法extend是我们在写插件的过程中常用的方法,该方法有一些重载原型,在此,我们一起去了解了解。 一、Jquery的扩展方法原型是: extend(dest,src1,src2,src3...); 它的含义是将src1,src2,src3...合并到dest中,返回值

  10. 推荐10款GitHub中高价值的PHP项目(值得收藏)

    一:一款 GitHub 代码泄露监控系统 ,通过定期扫描 GitHub 发现代码泄露行为。 GitHub链接:https://github.com/4x99/code6 特性: 全可视化界面,操作部署简单 支持 GitHub 令牌管理及智能调度 扫描结果信息丰富,支持批量操作 任务配置灵活,可单独配置任

每天更新java,php,javaScript,go,python,nodejs,vue,android,mysql等相关技术教程,教程由网友分享而来,欢迎大家分享IT技术教程到本站,帮助自己同时也帮助他人!

Copyright 2020, All Rights Reserved. Powered by 跳墙网(www.tqwba.com)|网站地图|关键词