博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Angle和XBGoost以及Spark的性能对比
阅读量:2390 次
发布时间:2019-05-10

本文共 651 字,大约阅读时间需要 2 分钟。

性能优势


新版本的Angel,添加了诸多新功能,最终的目的,就是让算法工程师能更加从容地进行算法优化,融入更多的算法的Trick,让算法的性能,得到了一个飞跃的提升。


相关性能的细节数据,在Github的各个算法介绍文档都可以看到,欢迎点击文末“阅读原文”移步GitHub。



1.GBDT

众所周知,XGBoost的强项之一,就是GBDT算法,性能飞快,使用简单,在众多算法比赛中,是选手们的最爱。尽管如此,Angel的GBDT算法,却还是超越了它,这是一个非常不错的性能背书。


  • 性能比较

  • 数据:腾讯内部某性别预测数据集,3.3×10^5 特征,1.2×10^8 样本

  • 详细文档:GBDT on Angel



2.LDA

众所周知,LDA是一个非常消耗资源的主题模型算法,新一代的Angel,在LDA上的性能,不但超越了Spark,也已经超越了之前开源过的Petuum。(由于Petuum已经不开源多时,所以比对数据,这里就不再贴出了)

  • 数据:PubMED

  • 详细文档: LDA on Angel



3.GD-LR

LR是广告推荐中广泛应用的一个算法,Angel分别提供了利用Gradient Descent、ADMM两种优化方法计算的LR算法。这两种算法,无论是耗费的资源,还是性能、收敛速度,都远比原生的Spark实现优越。


  • GD-LR

  • 数据: 腾讯内部某推荐数据,5×10^7 特征,8×10^7 样本

  • 详细文档: LR on Angel


  • ADMM-LR

  • 数据:腾讯内部某推荐数据,5千万特征,1亿样本

转载地址:http://fzxab.baihongyu.com/

你可能感兴趣的文章
apache 防DDOS脚本
查看>>
使用syslog-ng 和stunnel 创建集中式安全日志服务器
查看>>
网友将电视剧潜伏当职场教科书 研究办公室政治
查看>>
graudit
查看>>
使用Hudson和FindBugs进行持续集成和代码检查
查看>>
New Tool: The PenTesters Framework (PTF) Released
查看>>
Detecting and Defending against PowerShell Shells
查看>>
NagVis实物监控工具
查看>>
nginx - low risk webdav destination bug
查看>>
Lessons Learned from Building and Running MHN, the World's Largest Crowdsourced Honeynet
查看>>
Logwatch Linux/Unix系统日志检测软件
查看>>
减少Linux下Squid服务器的TIME_WAIT套接字数量
查看>>
/etc/sudoers中的含义
查看>>
Five must-know open source SDN controllers
查看>>
Finding Bad Guys with 35 million Flows, 2 Analysts, 5 Minutes and 0 Dollars
查看>>
SANS FOR572 Logstash
查看>>
apt成熟度模型
查看>>
Digital Forensics Framework v0.4.3 available
查看>>
linux设置bond网卡绑定
查看>>
Is your .svn showing (like 3300 other sites)?
查看>>