基于 Elasticsearch 电商搜索

展开查看详情

1.基于 Elasticsearch 的搜索平台 曹林林华 沪江架构师

2.个⼈人介绍 • 前百度 ⾼高级开发⼯工程师 • 2016年年加⼊入沪江,多年年技术研发和系统架构经验 • ⽬目前负责沪江搜索平台、⽇日志平台、实验平台、分布式跟踪系统

3.搜索概况

4. 2016年年开始,1年年时间接⼊入7个业务 ⽀支撑了了千万级别搜索、亿级别索引,平均耗时25ms

5.⽬目录 • 产品介绍 • 搜索实践 • 监控保障 • 总结

6.产品介绍

7.⽂文章搜索

8.

9.⽤用户、群搜索

10.

11.课程搜索

12.

13.搜索遇到的问题

14.搜索效果不不好 中英⽇日⽂文搜索效果不不满意 跨库跨表⽆无法查询 数据量量变多,需要采取分库分表查询 业务需求变多 越来越多的部⻔门有接⼊入搜索的需求

15.搜索实践

16.

17.What

18. 全⽂文搜索 分布式⾼高可⽤用 RESTful API 近实时搜索与更更新 ⾯面向⽂文档 Schema free

19.Who

20.

21.整体架构

22. 业务线 主站 ⽹网校 IM CRM Index Search AB Test 搜索平台 监控 Elasticsearch 数据层 BI

23.增量量更更新

24. 业务线 推送 MQ Index consumer Index consumer Index consumer Elasticsearch

25.全量量更更新

26.5.分⻚页拉取 业务线 推送 3.停⽌止增量量更更新 3.停⽌止增量量更更新 MQ 3.停⽌止增量量更更新 Index consumer Index consumer Index consumer 2.暂停更更新状态 2.暂停更更新状态 2.暂停更更新状态 Zookeeper 1.获取分布式锁 4.开始全量量更更新 Elasticsearch

27.集群扩容

28.扩容前 扩容中 扩容后 NODE 1 NODE 1 NODE 1 NODE 2 NODE 2 NODE 2 Add Data Node Restart Master Node NODE 3 NODE 3 NODE 3 NODE 4 NODE 4 NODE 4 NODE 5 NODE 5 NODE 5

29.监控保障