wzhe06 / sparkctr Goto Github PK

View Code? Open in Web Editor NEW

897.0 54.0 259.0 35.88 MB

CTR prediction model based on spark(LR, GBDT, DNN)

Home Page: https://github.com/wzhe06/SparkCTR

License: Apache License 2.0

Scala 83.04% Java 16.96%

ctr-prediction machine-learning computational-advertising scala spark spark-mllib spark-ml

sparkctr's People

Contributors

Stargazers

Watchers

Forkers

luojiahuli rongyousu machinelearninghelen fengnote duhangnju yangrui1109 drtjordan 1202zhyl shanxuanfeng adangadang jimmy-walker zyq11223 wtzhang95 kangxz drbridge jiewu915 learningmoreorless mandyzore lxianwei003 babylls leempan excuses123 evans-m hengzy jufangshen jerrycatleung ethan199111 zpilgrim fhqplzj xuchenxue hulalazz neverorc romanbrickie colinbebrave ubear yespon sgaviner zhangruiskyline blueroutecn niufeifei limingmingli321 liuyong19892 xuhuapeng wengbenjue e-hu awesome-archive allensmile hivewang tomzhang gongqingyi-github ituco twostarxx sth4k chaoyue729 mathlf2015 xxqcheers gccrpm moxuetianya merlintang chenyao1234 tiffen hijuly atm1992 wanesta uranuszs batermj captainjk123 ahujack yifenzhong1920 nothinglz linlin994395 duanxian loseryao limingbei michaelldd wushicanasl chant00 zzqq0103 hengqujushi wbb123 buptygz kingleao bluesea2013 wguo123 turbo-w zhanghonglishanzai albertleers shaoqibnu cocoyan wangdq1989 liulj0507 hioneowner kang9779 haif-liu yangqiokay computerwan chenxingqiang lyydaisy hunterhawk brucehezhe

sparkctr's Issues

你好，我在使用fm模型时遇到一个问题始终搞不明白为何

对于我们的数据，在保持正负样本平衡的情况下，fm能够好于lr，但是在大量测试（意味着有大量没有见过的负样本）的情况下，lr反而超出fm几个点，请问您能否给出意见

话说现在用TensorFlow分布式训练CTR模型怎么搞速度快啊？

Parameter Server架构还是All Reduce架构？
CPU还是GPU？
有没有开源代码参考？
用不用改TensorFlow源码？
性价比最高的方案是？

gbtlr模型为什么要对用户特征和item特征做内积和外积呢

首先非常感谢将论文和模型整理的这么详细，正在研读中，如题，ctr一般不就是将用户特征向量item特征向量和上下文特征concat后输入模型的吗？

GBTLRclassifier 找不到 DefaultParamsReader Instrumentation这几个类

val instr = Instrumentation.create(this, oldDataset) instr.logParams(params: _*) instr.logNumFeatures(numFeatures) instr.logNumClasses(2)
spark 2.3.2,官方文档地址：http://spark.apache.org/docs/2.3.2/api/scala/index.html，并没有这几个类可以用

测试数据

从您公众号来,测试数据有吗?

这套框架能支持多大的模型

这套框架能支持多少特征，多大的模型？
谢谢。

打包完成后找不到class

你好，我用mvn install打包完成后，找不到class.
生成的jar文件只有4K，用反编译工具打开后，只有如下目录结果

-META-INF
--maven/com.ggstar/CTRmodel
---pom.properties
---pom.xml
--MANIFEST.MF

请问这是什么原因，谢谢。

话说CTR模型的交互类的特征是怎么做的和存储的？

比如有user有1000W，item有1000W，那么要有 1000W*1000W = 1000000亿的特征数据？

如何run example function?

您好，
我是scala spark的新手。刚git clone 下了CTRmodel的source code。我想要run 不同的example function(LR, GBDT, NN etc.)，看到README上面的usage是说"After dependencies are imported by maven automatically, you can simple run the example function"。请问这个具体怎么做？

谢谢

测试数据

请问测试数据是哪一份，之前没有搞过ctr，不知道对应什么经典数据集？

关于samples.snappy.orc文件

您好，请问能提供一下samples.snappy.orc文件吗，谢谢！

Comparison of different CTR models' performance

请问LZ能否展示一下9种不同CTR models的performance？就是基于当前的训练，测试集，PR curve 和 ROC curve 的AUC值？有没有哪种model会明显优于其他的models？

运行example显示错误

非常感谢如此全面而具体的实现，我在idea导入项目并安装完成依赖之后运行modelselectionExample显示如下错误，请问是什么问题

错误: 找不到或无法加载主类 com.ggstar.example.ModelSelection
原因: java.lang.ClassNotFoundException: com.ggstar.example.ModelSelection

Process finished with exit code 1