推荐算法评价指标

• 业务指标

信息流产品中更加关注用户点击率和平均阅读时长，点击率=总的点击次数/总展现次数，平均阅读时长=总阅读时长/点击次数
在电商类产品中更加关注转化率，转化率 = 总成交次数/总展现值

• Item推荐覆盖率

防止一味剥削用户点击率，防止“残尾”现象，通过发现算法保证产品覆盖率，覆盖率 = 展现itemid（去重）/库中itemid

offline评价方法

• 评测模型推荐结果在测试集上的表现

左侧是算法推荐结果，右侧测试集推荐结果，a和f为实际点击结果。
评估指标 = 算法推荐结果$\cap$实际点击结果/算法推荐结果$\cap$测试及推荐结果

Online评价方法

• 定义指标

信息流场景关注指标：点击率、平均阅读时长和覆盖率

• 生产环境ABtest

线上基线与线上推荐算法共同运行一段时间，对各个指标进行评价

总结

• 推荐引擎主题架构解析、工业界推荐系统落地场景
• 协同算法的落地实战
• 推荐系统在不同业务下的评价指标

实战

• Recall：矩阵分解，graph，content based，item2vec
• Rank：lr，gbdt，lr+gbdt，wd…