@@ -268,23 +268,21 @@ int version = uuid.version();// 4
268
268
269
269
Snowflake 是 Twitter 开源的分布式 ID 生成算法。Snowflake 由 64 bit 的二进制数字组成,这 64bit 的二进制被分成了几部分,每一部分存储的数据都有特定的含义:
270
270
271
- - ** 第 0 位** :符号位(标识正负),始终为 0,没有用,不用管。
272
- - ** 第 1~ 41 位** :一共 41 位,用来表示时间戳,单位是毫秒,可以支撑 2 ^41 毫秒(约 69 年)
273
- - ** 第 42~ 52 位** :一共 10 位,一般来说,前 5 位表示机房 ID,后 5 位表示机器 ID(实际项目中可以根据实际情况调整)。这样就可以区分不同集群/机房的节点。
274
- - ** 第 53~ 64 位** :一共 12 位,用来表示序列号。 序列号为自增值,代表单台机器每毫秒能够产生的最大 ID 数(2^12 = 4096),也就是说单台机器每毫秒最多可以生成 4096 个 唯一 ID。
271
+ ![ Snowflake 组成] ( https://oss.javaguide.cn/github/javaguide/system-design/distributed-system/snowflake-distributed-id-schematic-diagram.png )
275
272
276
- ![ Snowflake 示意图] ( https://oss.javaguide.cn/github/javaguide/system-design/distributed-system/snowflake-distributed-id-schematic-diagram.png )
273
+ - ** sign(1bit)** :符号位(标识正负),始终为 0,代表生成的 ID 为正数。
274
+ - ** timestamp (41 bits)** :一共 41 位,用来表示时间戳,单位是毫秒,可以支撑 2 ^41 毫秒(约 69 年)
275
+ - ** datacenter id + worker id (10 bits)** :一般来说,前 5 位表示机房 ID,后 5 位表示机器 ID(实际项目中可以根据实际情况调整)。这样就可以区分不同集群/机房的节点。
276
+ - ** sequence (12 bits)** :一共 12 位,用来表示序列号。 序列号为自增值,代表单台机器每毫秒能够产生的最大 ID 数(2^12 = 4096),也就是说单台机器每毫秒最多可以生成 4096 个 唯一 ID。
277
277
278
- 如果你想要使用 Snowflake 算法的话,一般不需要你自己再造轮子。有很多基于 Snowflake 算法的开源实现比如美团 的 Leaf、百度的 UidGenerator,并且这些开源实现对原有的 Snowflake 算法进行了优化。
279
-
280
- 另外,在实际项目中,我们一般也会对 Snowflake 算法进行改造,最常见的就是在 Snowflake 算法生成的 ID 中加入业务类型信息。
278
+ 在实际项目中,我们一般也会对 Snowflake 算法进行改造,最常见的就是在 Snowflake 算法生成的 ID 中加入业务类型信息。
281
279
282
280
我们再来看看 Snowflake 算法的优缺点:
283
281
284
282
- ** 优点** :生成速度比较快、生成的 ID 有序递增、比较灵活(可以对 Snowflake 算法进行简单的改造比如加入业务 ID)
285
283
- ** 缺点** :需要解决重复 ID 问题(ID 生成依赖时间,在获取时间的时候,可能会出现时间回拨的问题,也就是服务器上的时间突然倒退到之前的时间,进而导致会产生重复 ID)、依赖机器 ID 对分布式环境不友好(当需要自动启停或增减机器时,固定的机器 ID 可能不够灵活)。
286
284
287
- 针对雪花算法的时间回拨问题和依赖机器 ID 的问题,一些基于雪花算法的开源框架都有自己的解决方案,比如百度的 UIDGenerator 和 美团的 Leaf (后面会提到)。
285
+ 如果你想要使用 Snowflake 算法的话,一般不需要你自己再造轮子。有很多基于 Snowflake 算法的开源实现比如美团 的 Leaf、百度的 UidGenerator (后面会提到),并且这些开源实现对原有的 Snowflake 算法进行了优化,性能更优秀,还解决了 Snowflake 算法的时间回拨问题和依赖机器 ID 的问题 。
288
286
289
287
并且,Seata 还提出了“改良版雪花算法”,针对原版雪花算法进行了一定的优化改良,解决了时间回拨问题,大幅提高的 QPS。具体介绍和改进原理,可以参考下面这两篇文章:
290
288
@@ -297,11 +295,11 @@ Snowflake 是 Twitter 开源的分布式 ID 生成算法。Snowflake 由 64 bit
297
295
298
296
[ UidGenerator] ( https://github.com/baidu/uid-generator ) 是百度开源的一款基于 Snowflake(雪花算法)的唯一 ID 生成器。
299
297
300
- 不过,UidGenerator 对 Snowflake(雪花算法)进行了改进,生成的唯一 ID 组成如下。
298
+ 不过,UidGenerator 对 Snowflake(雪花算法)进行了改进,生成的唯一 ID 组成如下:
301
299
302
- ![ ] ( https://oss.javaguide.cn/github/javaguide/system-design/distributed-system/uidgenerator-distributed-id-schematic-diagram.png )
300
+ ![ UidGenerator 生成的 ID 组成 ] ( https://oss.javaguide.cn/github/javaguide/system-design/distributed-system/uidgenerator-distributed-id-schematic-diagram.png )
303
301
304
- - ** sign(1bit)** :符号位(标识正负),始终为 0,没有用,不用管 。
302
+ - ** sign(1bit)** :符号位(标识正负),始终为 0,代表生成的 ID 为正数 。
305
303
- ** delta seconds (28 bits)** :当前时间,相对于时间基点"2016-05-20"的增量值,单位:秒,最多可支持约 8.7 年
306
304
- ** worker id (22 bits)** : 机器 id,最多可支持约 420w 次机器启动。内置实现为在启动时由数据库分配,默认分配策略为用后即弃,后续可提供复用策略。
307
305
- ** sequence (13 bits)** : 每秒下的并发序列,13 bits 可支持每秒 8192 个并发。
@@ -316,7 +314,7 @@ UidGenerator 官方文档中的介绍如下:
316
314
317
315
#### Leaf(美团)
318
316
319
- ** [ Leaf] ( https://github.com/Meituan-Dianping/Leaf ) ** 是美团开源的一个分布式 ID 解决方案 。这个项目的名字 Leaf(树叶) 起源于德国哲学家、数学家莱布尼茨的一句话:“There are no two identical leaves in the world”(世界上没有两片相同的树叶) 。这名字起得真心挺不错的,有点文艺青年那味了!
317
+ [ Leaf] ( https://github.com/Meituan-Dianping/Leaf ) 是美团开源的一个分布式 ID 解决方案 。这个项目的名字 Leaf(树叶) 起源于德国哲学家、数学家莱布尼茨的一句话:“There are no two identical leaves in the world”(世界上没有两片相同的树叶) 。这名字起得真心挺不错的,有点文艺青年那味了!
320
318
321
319
Leaf 提供了 ** 号段模式** 和 ** Snowflake(雪花算法)** 这两种模式来生成分布式 ID。并且,它支持双号段,还解决了雪花 ID 系统时钟回拨问题。不过,时钟问题的解决需要弱依赖于 Zookeeper(使用 Zookeeper 作为注册中心,通过在特定路径下读取和创建子节点来管理 workId) 。
322
320
@@ -359,6 +357,29 @@ Tinyid 的原理比较简单,其架构如下图所示:
359
357
360
358
Tinyid 的优缺点这里就不分析了,结合数据库号段模式的优缺点和 Tinyid 的原理就能知道。
361
359
360
+ #### IdGenerator(个人)
361
+
362
+ 和 UidGenerator、Leaf 一样,[ IdGenerator] ( https://github.com/yitter/IdGenerator ) 也是一款基于 Snowflake(雪花算法)的唯一 ID 生成器。
363
+
364
+ IdGenerator 有如下特点:
365
+
366
+ - 生成的唯一 ID 更短;
367
+ - 兼容所有雪花算法(号段模式或经典模式,大厂或小厂);
368
+ - 原生支持 C#/Java/Go/C/Rust/Python/Node.js/PHP(C 扩展)/SQL/ 等语言,并提供多线程安全调用动态库(FFI);
369
+ - 解决了时间回拨问题,支持手工插入新 ID(当业务需要在历史时间生成新 ID 时,用本算法的预留位能生成 5000 个每秒);
370
+ - 不依赖外部存储系统;
371
+ - 默认配置下,ID 可用 71000 年不重复。
372
+
373
+ IdGenerator 生成的唯一 ID 组成如下:
374
+
375
+ ![ IdGenerator 生成的 ID 组成] ( https://oss.javaguide.cn/github/javaguide/system-design/distributed-system/idgenerator-distributed-id-schematic-diagram.png )
376
+
377
+ - ** timestamp (位数不固定)** ,时间差,是生成 ID 时的系统时间减去 BaseTime(基础时间,也称基点时间、原点时间、纪元时间,默认值为 2020 年) 的总时间差(毫秒单位)。初始为 5bits,随着运行时间而增加。如果觉得默认值太老,你可以重新设置,不过要注意,这个值以后最好不变。
378
+ - ** worker id (默认 6 bits)** : 机器 id,机器码,最重要参数,是区分不同机器或不同应用的唯一 ID,最大值由 ` WorkerIdBitLength ` (默认 6)限定。如果一台服务器部署多个独立服务,需要为每个服务指定不同的 WorkerId。
379
+ - ** sequence (默认 6 bits)** ,序列数,是每毫秒下的序列数,由参数中的 ` SeqBitLength ` (默认 6)限定。增加 ` SeqBitLength ` 会让性能更高,但生成的 ID 也会更长。
380
+
381
+ Java 语言使用示例:< https://github.com/yitter/idgenerator/tree/master/Java > 。
382
+
362
383
## 总结
363
384
364
385
通过这篇文章,我基本上已经把最常见的分布式 ID 生成方案都总结了一波。
0 commit comments