MySQL数据同步Elasticsearch的技术方案选型-创新互联

• • • 1.同步双写
    • 2.异步双写
    • 3.定时任务
    • 4.数据订阅

• 优点：实现简单
• 缺点：
  业务耦合，商品的管理中耦合大量数据同步代码
  影响性能，写入两个存储，响应时间变长
  不便扩展：搜索可能有一些个性化需求，需要对数据进行聚合，这种方式不便实现

上架商品的时候, 先把商品数据丢入MQ, 为了解耦, 拆分一个搜索微服务, 搜搜微服务去订阅商品变动的信息, 完成同步

一些数据需要聚合处理成类似宽表的结构怎么办呢？例如商品库的商品品类、spu、sku表是分开的，但是查询是跨维度的，在ES里再聚合一次效率就低一些，最好就是把商品的数据给聚合起来，在ES里以类似大宽表的形式存储，这样一来查询效率就高一些。

• 优点：
  解耦合，商品服务无需关注数据同步
  实时性较好，使用MQ，正常情况下，同步完成在秒级
• 缺点：
  引入了新的组件和服务，增加了复杂度

定时任务, 频率不好选择, 频率高的话, 会引起业务的波峰, 使得Cpu, 内存的上升, 频率低的话, 时效性比较差

• 优点：实现比较简单
• 缺点：
  实时性难以保证
  对存储压力较大

MySQL通过binlog订阅实现主从同步，各路数据订阅框架比如canal就依据这个原理，将client组件伪装成从库，来实现数据订阅。

cancal通过cancal-adpter, 支持多种适配器, 包括ES适配器, 通过配置, 启动之后, 就把Mysql的数据同步到Es上了

但是cancal还必须回查, 这个时候需要自己实现cancal-client, 监听和聚合数据, 写入Es

相比于异步双写, 可以降低商品的耦合性, 时效性更好

• 优点：
  业务入侵较少
  实时性较好

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧