Pre

最终方案-----> Redis进阶-Stream多播的可持久化的消息队列

我们知道redis 5.x版本，作者提供了stream这种基于radix tree 基数树的数据结构，解决使用Redis实现MQ“百花齐放”的乱象。

这里我们来聊一聊使用Redis实现MQ的主要集中实现以及利弊

方案1 Pub/Sub

Redis-13Redis发布订阅

优点

1. Pub/Sub的消息是 Fan Out 多播模式 ，每个订阅了Channel的消费者都能从Channel中获取到同等的信息。

缺点

1. 消息没有持久化的机制。当消费者的连接断掉 后，再次重连，那么Channel中的消息对于该消费者而言将无法消费。

2. 消费消息的速度和消费者的数量成反比. 当消费者的数量达到一定规模时，服务器的性能将线性下降，因此每个消费者获取到消息的延迟也线性增长

3. 当生产者产生消息的速度远大于消费者的消费能力的时候，消费者会被强制断开连接，因此会造成消息的丢失

client-output-buffer-limit pubsub 32mb 8mb 60
当消费者的buffer积压超过32MB，或者在60s内消费者的buffer一直保持在8MB以上，那么该消费者就会被redis服务器给强制断开连接，可以修改这个配置，但无法预料修改后的会带来什么样的结果。

小结

Redis的Pub/Sub模型对于无法容忍数据丢失，消息可能积压的场景不太适合。

方案2 List

Redis进阶-List底层数据结构精讲

优点

1. 消息可以持久化。当consumer断开连接或者crash的时候，再次去消费，历史消息会得以保留，可以从最后一次消费的位置进行消费

2. 消息可以积压。当生产者产生消息的速度大于消费者的速度的时候，除了会耗费一些内存外，无其他影响

缺点

1. 一个消息最多只能被消费一次 。 一条消息被一个消费者消费之后，这条消息就被删除了，其他的消费者再无可能重复消费掉这条消息。也就是说List方案的消息不是发散的，同一条消息只能被一个消费者消费。

小结

List方案适合应用在消息最多被消费一次的场景 .

如果想要消息被重复消费，需要通过其他手段来解决，比如

• 一个消费者消费完消息之后，把它加入到另外一个队列的对尾，其他消费者从这个新建的队列中消费消息，这样就会造成多个消费者消费的顺序依赖，不能并行执行

• 在消费者消费之前，对消息进行处理，把该消息写入到若干个队列中，这样能支持多个消费者同时消费，但是数据却被拷贝了多次

方案3 ZSet

优点

在5.0的stream出现之前，zset是这几种之中最复杂的实现方案，但是它能有效地解决Pub/Sub和List方案的不足。

• ZSet支持消息持久化

• ZSet支持消息重复消费。 ZSet使用的获取消息操作ZRANGEBYSCORE（返回有序集合中指定分数区间的成员列表） ，该操作不会删除消息

缺点

使用zset要考虑一下几点

• 消息的顺序。 score至关重要，这关系到消息的先后顺序，比如使用timestamp+seq作为score能够保证消息的顺序。
• 重复消息的添加。zset重复的消息是不能够添加到集合中的， 当消息一样的时候，如何存放，需要考虑

小结

基于上述原因 ZSet方案的实现相比list和pub/sub 相对复杂。

方案4 stream

千呼万唤始出来， stream解决你的绝大部分苦恼 ~

Redis进阶-Stream多播的可持久化的消息队列