RabbitMQ防止重复消费的几种方案

// ❌ Bitmap无法直接处理
String messageId = "MSG-2024-01-15-ABC123";

// ✅ 布隆过滤器可以处理
bloomFilter.put(messageId);
boolean exists = bloomFilter.mightContain(messageId);

元素A: hash1(A)=3, hash2(A)=7, hash3(A)=12
元素B: hash1(B)=7, hash2(B)=15, hash3(B)=20

位图: [0,0,0,1,0,0,0,1,0,0,0,0,1,0,0,1,0,0,0,0,1]
      位置3,7,12,15,20被设置为1

如果删除A，不能简单地将位置3,7,12设为0，
因为位置7也被元素B使用！

内存计算：
1,000,000 bits ÷ 8 bits/byte ÷ 1024 bytes/KB ≈ 122KB

// 4位计数器示例
byte[] counters = new byte[size / 2]; // 每字节存储2个4位计数器

// 8位计数器示例
byte[] counters = new byte[size]; // 每字节存储1个8位计数器

// 4位计数器最大值为15
if (counter[index] == 15) {
    // 溢出处理：可能需要扩展为8位计数器
    throw new CounterOverflowException("Counter overflow at index: " + index);
}

// 正常情况
counter[index]++; // 添加元素
counter[index]--; // 删除元素

// 理想情况：连续ID
boolean[] bitmap = new boolean[101];
bitmap[5] = true; // 标记ID=5已存在
boolean exists = bitmap[5]; // O(1)查询

// ❌ 稀疏ID示例
int[] sparseIds = {5, 1000, 50000, 1000000};
boolean[] bitmap = new boolean[1000001]; // 浪费大量空间！

// ❌ 字符串ID示例
String messageId = "MSG-2024-01-15-ABC123";
// bitmap[messageId] = true; // 编译错误！无法直接映射

private static final int PARTITION_BITS = 10; // 分区数量为 2^10 = 1024
private static final int OFFSET_BITS = 22;    // 每个分区支持的偏移量数量为 2^22

/**
 * 将 bizPk 映射到指定的 bitmap key 和 offset。
 *
 * @param keyPrefix Redis键前缀
 * @param bizPk 业务类型主键
 * @return 包含 redisKey 和 offset 的数组，其中 redisKey 是分区标识符，offset 是在该分区中的位置
 */
public static String[] convertBizPkToBitmap(String keyPrefix, long bizPk) {
    CRC32 crc32 = new CRC32();
    crc32.update(Long.toString(bizPk).getBytes());
    long hash = crc32.getValue();

    // 分区计算：取哈希值的高10位
    int partition = (int) (hash >> OFFSET_BITS) & ((1  这个设计可以处理超过40亿个不同的业务ID！

######## 工作流程

1. 哈希计算
   使用CRC32算法将业务ID转换为32位哈希值，支持任意类型的ID，保证分布均匀。
2. 分区划分
   取哈希值的高10位作为分区号，确保IDs均匀分布，避免热点分区。
3. 偏移计算
   取哈希值的低22位作为偏移量，确定ID在分区内的具体位置。
4. 结果返回
   返回含有Redis键名和位偏移量的数组，键名由前缀和分区号组成，可直接用于Redis操作。

###### 方案优势分析

| 优势         | 说明                            |
|--------------|---------------------------------|
| 处理任意ID   | 通过哈希处理任意类型业务ID        |
| 空间优化     | 拆分分区避免稀疏存储浪费         |
| 分布式友好   | 适合Redis集群等分布式环境         |
| 内存高效     | 保持bitmap低内存消耗，O(1)访问  |

######## 处理任意ID

- 通过哈希转换，可处理任何类型的业务ID
- 支持字符串、UUID等复杂ID格式

```java
convertBizPkToBitmap("prefix:", 12345L);           // 数字ID
convertBizPkToBitmap("prefix:", "MSG-ABC-123");    // 字符串ID
convertBizPkToBitmap("prefix:", uuid.toString());  // UUID

Node1: queue_dedup_0, queue_dedup_1, ...
Node2: queue_dedup_512, queue_dedup_513, ...
Node3: queue_dedup_1000, queue_dedup_1001, ...

public class MessageDedupService {

    private Jedis jedis;

    public boolean isDuplicate(long messageId) {
        String[] bitInfo = convertBizPkToBitmap("queue_dedup:", messageId);

        // 检查位是否已设置
        boolean exists = jedis.getbit(bitInfo[0], Long.parseLong(bitInfo[1]));

        if (!exists) {
            // 设置位，标记ID已处理
            jedis.setbit(bitInfo[0], Long.parseLong(bitInfo[1]), true);

            // 设置过期时间（可选）
            jedis.expire(bitInfo[0], 86400); // 24小时过期

            return false; // 不是重复消息
        }

        return true; // 重复消息
    }

    public void processMessage(Message message) {
        if (!isDuplicate(message.getId())) {
            // 处理消息业务逻辑
            handleBusinessLogic(message);
        } else {
            // 记录重复消息日志
            log.warn("Duplicate message detected: {}", message.getId());
        }
    }
}