申请试用
HOT
登录
注册
 
图像技术在上亿规模的用户实拍图片中的应用 - 闲鱼
0 点赞
0 收藏
0下载
MobTech
/
发布于
/
40
人观看
展开查看详情

1.图像技术在上亿规模闲鱼图片中的应用 远悠

2.目录: 1. 闲鱼商品物料特点 2. 基础分类模型构建 3. 图像特征学习 4. 搜索和推荐中的应用 5. 总结

3.闲鱼商品物料特点-图片内容重复

4.闲鱼商品物料特点-图文内容不一致 相似款 同款

5. 闲鱼商品物料特点-非商品图片 case1 case2

6.闲鱼商品物料特点-图片质量参差不齐 4.局部类 5.标签 6.说明 1.渲染文字类 2.半透明包装 3.非透明包装 7.模糊

7.闲鱼商品物料特点 小结: 1. 图像内容重复: ◦ 图片去重 特征学习 2. 图文内容不一致: ◦ 同款、相似款识别 基于分类模型的图像比对特征学习 3. 非商品图: ◦ 商品、非商品识别 分类 4. 低质商品图: ◦ 低质图片识别

8. 基础分类模型构建-文本类目问题 超级仙女。爱了。美瞳日抛。各种颜 色都有。私聊我。 预测:美睫 丰田雅力士。感兴趣的话点“我想要私聊 预测:整车 七月熙JK,伦敦晚报 无定无吊,有小 物领带+10 预测:领结

9.基础分类模型构建-难点 1. 图片大部分是用户上传,图像质量偏低,增加识别难度; 2. 图片内容不限于商品类目本身,涵盖很多和商品不相关其他类别,整体类别定义困难; 3. 闲鱼商品的title是由用户自己填写的,结构化信息参差不齐,同时还包含很多口语化的 噪声; 4. 同类的商品包含的噪声图片很大,不能直接训练 5. 数据标注成本高,短时间内不能有效覆盖大部分数据

10.基础分类模型构建-方案 基础图像 线上点击 过滤冷门 反馈 样本 分类表示 特征 聚类类 目id 1 2 文本过滤 基于图像 特征距离 3 粗语义 聚类 类目 的文本类 内聚类 4 类目限制 挖掘文本类目 文本聚类 内具体图像表 示一致性的样 通用分类7400类 本

11.基础分类模型构建-方案 通用分类 聚类类 训练 模型 目id 1 2 标注 特征 建库 3 特定类 阈值过滤 阈值 候选样本 采样 检索引擎 检索 目 4 通用分类7400类 特定类目 票据,文字图,建筑物,人物等 模型

12.图像特征学习 1. 图像内容重复: ◦ 图片去重 特征学习 2. 图文内容不一致: ◦ 同款、相似款识别 基于分类模型的图像比对特征学习 3. 非商品图: ◦ 商品、非商品识别 分类 4. 低质商品图: 难点: ◦ 低质图片识别 1. 每个id类别存在变化较大的多张图片并不能直接使用所有图片 2. 每个id类目的样本稀少,直接训练很难收敛

13.图像特征学习-方案 Sku粒度 通用分类 点击 商品 预测 query 模型 过 泛 滤 意 图 过 滤 主要类目 ⚫ Arcfaceloss SIFT 几何校验 内容重复 ⚫ Margin Scale优选 query ⚫ 多轮迭代 召 回 商品sku粒 训练 deepid 阈值 同款商品 度样本

14.基础分类模型&比对特征 小结 1.构建基础分类模型: ◦ 基于类目约束的语义约束; ◦ 结合通用图像特征过滤的半自动样本挖掘; 2.训练同款模型: ◦ 基于query点击商品得到候选集合; ◦ 利用分类模型特征控制候选集合精度; 3.基于同款模型特征+SIFT识别同图内容: ◦ 基于同款特征的召回; ◦ 基于特征点的几何校验;

15. 搜索和推荐中的应用-搜索相关性问题 搜索相关性:图文本相关性不准引起召回不准, 文本相关性不能满足要求 ⚫相同商品文本语义有区别 ⚫不同商品可能有相似语义 Query=锐鲨 Query=詹姆斯7 Query=手绘

16. 搜索相关性-SearchCaseShow Query=锐鲨 线上基线 重排实验 Query=詹姆斯7 线上基线 重排实验

17. 搜索相关性-SearchCaseShow Query=手绘 线上 线上基线 实验 重排实验 Query=全职 线上 线上基线 实验 重排实验

18.搜索相关性-线上相关性指标 背景:利用图片语义类目 rerank 搜索结果,评估与线上基准桶的query 满意度效果; Top 热门query 400 very good (%) Good(%) Medium(%) Bad(%) 图像语义聚类重排 +1.3 -0.9 0 -1.2 随机query(pv>10000) 300 图像语义聚类重排 +12.7 +1.0 0 0 线上AB(1天) PVCTR rerank实验 +6.85%

19. 搜索和推荐中的应用-推荐多样性问题 多样性:相同商品但所属类目不同 ◦ 用户拍照随意性大,不同角度,包装内外 ◦ 单张图片判断不准 ◦ 类别众多难定义 item1 item2 item3 item4 item5

20.推荐多样性-方案 利用基础分类网络限制同页类目 Top3投票 人物和文字过滤 3110 77 Top1选取 共现类目 分类网络 类目1 类目2… 同类聚合

21.推荐多样性-线上效果 背景:feed推荐商品打散 人均点击 详情页停留 人均曝光 UCTR 人均类目点 时长 击数 提升 +4.8% +2.7% +10.3% +2.9% +21% 精细控制打散策略: ➢ 1.打散分档 ➢ 2.相似类目替代 ➢ 3.类目排序

22. 搜索和推荐中的应用-推荐质量问题 badcase: 主图与详情图不符骗取流量,文字类图片影响体验,人体局部影响体验 ◦ 利用文本语义无法解决这类问题, ◦ 直接用图片相似会引起不少badcase ◦ 用户拍摄角度大,非商品图 文字 图 主图详 情不符 人体 局部

23.推荐质量问题-方案 Badcase挖 掘 若为同款 不过滤 相同图检 多详情图片 同款判断 索引擎 文字图识 特定类目 通用分类 别 识别 主图与详情 不一致且非 图类目一致 同款 性

24.总结: 1. 闲鱼物料特点 ◦ 相同图片内容, 图文不一致, 非商品图, 低质商品图等 2.基于图像分类的图片比对特征学习 ◦ 半自动的分类样本挖掘 ◦ 基于分类模型的同款和相同模型特征学习 3.搜索和推荐中的应用 ◦ 改善搜索相关性 ◦ 改善推荐多样性, 推荐商品质量 4. 挑战: ◦ UGC 内容在审核,分发和结构化问题复杂 ◦ 单一技术方案作用有限 ◦ 时效性,数据生产流程

25. Q&A 阿里巴巴保密信息 / ALIBABA CONFIDENTIAL

0 点赞
0 收藏
0下载