收藏页面     下单流程
分站加盟
首页>京东空包>正文

空包快递浅析:深度解析京东个性化推荐系统演进史

2020/1/10    来源:空包90    作者:admin    分享到:

  空包快递认为,随着网络时代的到来,互联网行业竞争日趋激烈,这对企业的各项发展要求也越来越高,因此一个企业的成功不仅是需要优秀的领导者、负责任并且具有高度企业忠诚性的员工、充足的周转资金,还需要不断更新公司的个性化系统。阿里巴巴和京东是电商领域的两大巨头,京东要想与阿里巴巴相抗衡的话,那么京东就必须在公司的个性化系统方面做出不菲的业绩,在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。京东的推荐是可以说是变化多彩,独树一帜。京东开始的推荐都是基于规则进行匹配的,但随着大数据时代的到来,如果不与大数据沾边的话,那么就显得水平规格不够,因此就必须革新推荐系统。
 
  个性化推荐系统架构图中不同的颜色代表不同的业务处理场景:数据处理部分(最底层绿色模块),包括离线数据预处理、机器学习模型训练,以及在线实时行为的接入、实时特征计算。推荐平台(蓝色模块),主要体现响应用户请求时推荐系统的各服务模块之间的交互关系。推荐系统核心模块:
 
  推荐网关。推荐服务的入口,负责推荐请求的合法性检查、请求分发、在线Debug以及组装请求响应的结果。
 
  调度引擎。负责推荐服务按策略调度及流量分发,主要根据配置中心的推荐产品的实验配置策略进行分流,支持按用户分流、随机分流和按关键参数分流。支持自定义埋点,收集实时数据;支持应急预案功能,处理紧急情况,秒级生效。
 
  个性化基础服务。目前主要个性化基础服务有用户画像、商品画像、用户行为、预测服务。用户画像包括用户的长期兴趣、短期兴趣、实时兴趣。兴趣主要有性别、品牌偏好、品类偏好、购买力等级、自营偏好、尺码颜色偏好、促销敏感度、家庭情况等。商品画像主要包括商品的产品词、修饰词、品牌词、质量分、价格等级、性别、年龄、标签等。用户行为主要获取用户近期行为,包括用户的搜索、点击、关注、加入购车、下单等。预测服务主要是基于用户的历史行为,使用机器学习训练模型,用于调整召回候选集的权重。
 
  特征服务平台。负责为个性服务提供特征数据和特征计算,特征服务平台主要针对特征数据,进行有效的声明、管理,进而达到特征资源的共享,快速支持针对不同的特征进行有效的声明、上线、测试以及A/B实验效果对比。
 
  个性化技术(橙色模块),个性化主要通过特征和算法训练模型来进行重排序,达到精准推荐的目的。特征服务平台主要用于提供大量多维度的特征信息,推荐场景回放技术是指通过用户实时场景特征信息反馈到推荐排序,在线学习(Online-Learning)和深度学习都是大规模特征计算的个性化服务。
 
  个性化推荐系统的主要优势体现为支持多类型推荐和多屏产品形态,支持算法模型A/B实验快速迭代,支持系统架构与算法解耦,支持存储资源与推荐引擎计算的解耦,支持预测召回与推荐引擎计算的解耦,支持自定义埋点功能;推荐特征数据服务平台化,支持推荐场景回放。
 
  三、数据平台
 
  京东拥有庞大的用户量和全品类的商品以及多种促销活动,可以根据用户在京东平台上的行为记录积累数据,如浏览、加购物车、关注、搜索、购买、评论等行为数据,以及商品本身的品牌、品类、描述、价格等属性数据的积累,活动、素材等资源的数据积累。这些数据是大规模机器学习的基础,也是更精确地进行个性化推荐的前提。
 
  3.1、数据收集
 
  用户行为数据收集流程一般是用户在京东平台(京东App、京东PC网站、微信手Q)上相关操作,都会触发埋点请求点击流系统(专门用于收集行为数据的平台系统)。点击流系统接到请求后,进行实时消息发送(用于实时计算业务消费)和落本地日志(用于离线模型计算),定时自动抽取行为日志到大数据平台中心。算法人员在数据集市上通过机器学习训练模型,这些算法模型应用于推荐服务,推荐服务辅助用户决策,进一步影响用户的购物行为,购物行为数据再发送到点击流,从而达到数据收集闭环。
 
  3.2、离线计算
 
  目前离线计算平台涉及的计算内容主要有离线模型、离线特征、用户画像、商品画像、用户行为,离线计算主要在Hadoop上运行MapReduce,也有部分在Spark平台上计算,计算的结果通过公共导数工具导入存储库。团队考虑到业务种类繁多、类型复杂以及存储类型多样,开发了插件化导数工具,降低离线数据开发及维护的成本。数据离线计算架构如图5所示。
 
  图5数据离线计算架构
 
  3.3、在线计算
 
  目前在线计算的范围主要有用户实时行为、用户实时画像、用户实时反馈、实时交互特征计算等。在线计算是根据业务需求,快速捕捉用户的兴趣和场景特征,从而实时反馈到用户的推荐结果及排序,给用户专属的个性化体验。在线计算的实现消息主要来源于Kafka集群的消息订阅和JMQ消息订阅,通过Storm集群或Spark集群实时消费,推送到Redis集群和HBase集群存储。数据在线计算框架如图6所示。
 
  图6数据在线计算架构
 
  四、关键技术
 
  推荐系统涉及的技术点比较多,考虑到篇幅有限,这里重点介绍个性化推荐中比较重要的部分。
 
  推荐引擎
 
  个性化推荐系统的核心是推荐引擎,推荐引擎的一般处理过程是召回候选集,进行规则过滤,使用算法模型打分,模型融合排序,推荐结果多样化展示。主要使用的技术是机器学习模型,结合知识图谱,挖掘商品间的关系,按用户场景,通过高维特征计算和海量召回,大规模排序模型,进行个性化推荐,提升排序效果,给用户极致的购物体验。
 
  空包快递认为,互联网行业的日趋激烈,京东电商必须要做出巨大的改变,才能够与与阿里巴巴相抗衡。为了摆脱传统模式的推荐系统,那么京东的团队就必须要设计新的推荐系统。随着业务的快速发展以及移动互联网的到来,多屏(京东App、京东PC商城、M站、微信手Q等)互通,推荐系统日益多样,高端便捷。随着业务范围的扩展,2016年京东推出了个性化的推荐系统,特别是团队研发的智能大卖场,不仅提高了流量的配置效率,而且降低了人工成本,获得了大大的收益。在未来京东也会逐渐进行更新升级,变得更加成熟稳定。在整个生产流通消费的过程中,推荐产品可谓是一个关键的节点。
 
  空包网 http://xtra-pub.com/
上一篇:顺丰快递空包单号购买:巨头混战后,为什么活下来的是美团和饿...    下一篇:一元空包网浅析:当“新零售”神秘光环褪去 数字化、场景革命...
空包网(xtra-pub.com)单号网提供空包90 今天起充值50送VIP价格,充值100送代理商价格 !最便宜最专业的空包单号网空包代发平台!