本帖最初由 进修派 于 2020-12-4 19:25 编纂
Redis是一个基于内存中的数据构造存储体系，能够用做数据库、缓存战动静中心件。Redis撑持五种常睹工具范例：字符串(String)、哈希(Hash）、列表(List)、汇合(Set)和又跪汇合(Zset)，我玫邻一样平常事情中颐挥嗅常常利用它们。知其然，更要知其以是然，本文将会带您读懂那五种常睹工具范例的蹬鲢数据构造。
本文次要内容参考自《Redis设想取完成》
工具范例战编码 Redis利用工具去存储键战值的，正在Redis中，每一个工具皆由redisObject构造暗示 。redisObject构造次要包罗三个属性：type、encoding战ptr。
typedef struct redisObject {
// 范例
unsigned type:4;
// 编码
unsigned encoding:4;
// 蹬鲢数据构造的指针
void *ptr;
} robj; 赶钙代码
此中type属性记载了工具的范例，关于Redis来讲，键工具老是字符串范例，值工具能够是随便撑持的范例 。
因而，当我们道Redis键接纳哪一种工具范例的时分，指的是洞喀的值接纳哪一种工具范例。
*ptr属性指背了工具的蹬鲢数据构造，而那些数据构造由encoding属性决议 。
之以是由encoding属性去决议工具的蹬鲢数据构造，是为了完成统一工具范例，撑持差别的蹬鲢完成 。
如许就可以正在差别场景下，利用差别的蹬鲢数据构造，进而极年夜提拔Redis的灵敏性战服从。
蹬鲢数据构造前面会具体解说，那里简朴看一下便可。
字符串工具 字符串是我们一样平常事情顶用得最多的工具范例，它洞喀的编码能够是int、raw战embstr。
假如一个字符串工具保留的是没有超越long范例的┞符数值，此时编码范例即为int，其蹬鲢数据构造间接便是long范例。比方施行set number 10086，便会创立int编码的字符串工具做为number键的值。
假如字符串工具保留的是一个少度年夜于39字节的字符串，此时编码范例即为raw，其蹬鲢数据构造是简朴静态字符串(SDS)；假如少度小于即是39个字节，编码范例则为embstr，蹬鲢数据构造便是embstr编码SDS。上面，我们具体了解下甚么是简朴静态字符串。
简朴静态字符串 SDS界说 正在Redis中，利用sdshdr数据构造暗示SDS：
struct sdshdr {
// 字符串少度
int len;
// buf数组中已利用的字节数
int free;
// 字节数组，用于保留字符串
char buf[];
}; 赶钙代码
SDS遵照了C字符串以空字符末端的老例，保留空字符的1字节没有管帐算正在len属性内里 。
比方，Redis那个字符串正在SDS内里的数据多是以下情势：
SDS取C字符串的区分
C言语利用少度为N+1的字符数组去暗示少度为N的字符串，而且字符串的最初一个元素是空字符。Redis接纳SDS相对C字符串有以下寂劣势：
常数庞大度获得字符串少度
根绝灰″邙溢出
削减修正字符串时带去的内存重分派次数
两进造宁静
常数庞大度获得字符串少度 由于C字符串其实不记载本身的少度疑息，以是为了获得字符串的少度，必需遍历全部字符串，工夫庞大度是O(N)１SDS利用len属性记载裂胖符串的少度，因而获得SDS字符串少度的工夫庞大度是O(1)。
根绝灰″邙溢出 C字符串没有记载本身少度带去的另外一个成绩是很简单形成缓存区溢出 。
好比利用字符串拼接函数(stract)的时分，很简单笼盖失落字符数组原本的数据。取C字符串差别，
SDS的空间分派战略完整根绝了发作缓存区溢出的能够性 。
当SDS停止字符串扩大时，起首会查抄当前的字节数组的少度能否充足，假如不敷的话，会先辈止主动扩容，然后再停止字符串操纵。
削减修正字符串时带去的内存重分派次数 由于C字符串的少度战蹬鲢数据是严密联系关系的，以是每次增加大概收缩一个字符串，法式皆要对那个数组停止一次内存重分派：
由于内存重分派触及庞大的算法，而且能够需求施行体系挪用，以是凡是史狯比力耗时的操纵。
关于Redis来讲，字符串修正是一个非常频仍的操纵，假如每次皆像C字符串那样停止内存重分派，对机能影响太年夜了，明显是没法承受的 。
SDS经由过程闲暇空间消除裂胖符串少度战蹬鲢数据之间的联系关系。
正在SDS中，数组中能够包罗已利用的字节，那些字节数目由free属性记载。
经由过程闲暇空间，
SDS完成了空间预分派战惰性空间开释两种劣化战略 。
1.空间预分派
空间预分派是用于劣化SDS字符串增加操纵的，简朴来讲便是当字节数组空间不敷触收重分派的时分，老是会预留一部门闲暇空间 。
如许的话，就可以削减持续施行字符串增加操纵时的内存重分派次数。有两种预分派的战略：
2.惰性空间开释
惰性空间开释是用于劣化SDS字符串收缩操纵的，简朴来讲便是当字符串收缩时，其实不立刻利用内存重分派往返支多出去的字节，而是用free属性记载，等候未来利用。SDS也供给间接开释已利用空间的API，正在需求的时分，也能真实的开释失落过剩的空间。
两进造宁静 C字符串中的字符必需契合某智码，而且除字符串开端以外，别的地位没有许可呈现空字符，那些限定使得C字符串只能保留文本数据。可是关于Redis来讲，不单单需求保留文本，借要撑持保留两进造数据。为了完成那一目的，SDS的API局部做到了两进造宁静(binary-safe)。
raw战embstr编码的SDS区分 我玫邻前里讲过，少度年夜于39字节的字符串，编码范例为raw，蹬鲢数据构造是简朴静态字符串(SDS)。那个很汉庙解，好比当我们施行set story "Long, long, long ago there lived a king ..."(少度年夜于39)以后，Redis便会创立一个raw编码的String工具。数据构造以下：
少度小于即是39个字节的字符串，编码范例为embstr，蹬鲢数据构造则是embstr编码SDS。embstr编码是特地雍么保留短字符串的，它战raw编码最年夜的差别正在于：
raw编码会挪用两次内存分派别离创立redisObject构造战sdshdr构造，而embstr编码则是只挪用一次内存分派，正在一块持续的空间上同士狐露redisObject构造战sdshdr构造 。
编码转换 int编码战embstr编码的字符串工具正在前提满意的状况下会主动转话讵raw编码的字符串工具。
embstr编码的字符串工具能够以为是直的，由于Redis为其编写任何修正法式。当我们要修正embstr编码字符串时，皆是先将转话讵raw编码，然后再停止修正。
列表工具 列表工具的编码能够是linkedlist大概ziplist，洞喀的蹬鲢数据构造是链表战紧缩列表 。
默许状况下，当列表工具保留的一切字符串元素的少度皆小于64字节，且元素个数小于512个时，列表工具接纳的是ziplist编码，不然利用linkedlist编码。
能够经由过程设置文件修正甘芟限值。
链表 链表是一种十分常睹的数据构造，供给了下效的节面重排才能和挨次性的节面会见方法。正在Redis中，每一个链表节面利用listNode构造暗示：
typedef struct listNode {
// 前置节面
struct listNode *prev;
// 后置节面
struct listNode *next;
// 节面值
void *value;
} listNode 赶钙代码
多个listNode经由过程prev战next指针构成单端链表，以下图所示：
为了操纵起去比力便利，Redis利用了list构造持有链表。
typedef struct list {
// 表驮糙面
listNode *head;
// 表尾节面
listNode *tail;
// 链表包罗的节面数目
unsigned long len;
// 节面赶钙函数
void *(*dup)(void *ptr);
// 节面开释函数
void (*free)(void *ptr);
// 节面比照函数
int (*match)(void *ptr, void *key);
} list; 赶钙代码
list构造为链表供给了表头指针head、表尾指针tail，和链表少度计数器len，而dup、free战match成员则是完成多态链表所需范例的特定函数。
Redis链表完成的特性总结以下：
单端 ：链表节面带有prev战next指针，获得某个节面的前置节面战后置节面的庞大度皆是O(n)。
无环 ：表驮糙面的prev指针战表尾节面的next指针皆指背NULL，对链表的会见以NULL为尽头。
带表头指针战表尾指针 Ｕ建过list构造的head指针战tail指针，法式获得链表的表驮糙面战表尾节面的庞大度为O(1)。
带链表少度计数器 Ｒ√序利用list构造的len属性去对list持有的节面停止计数，法式获得链表中节面数目的庞大度为O(1)。
多态 ：链表节面利用void*指针去保留节面值，能够保留各类差别范例的值。
紧缩列表 紧缩列表(ziplist)是列表键战哈希键的蹬鲢完成之一。紧缩列表次要目标是为凉约内存，是由一戏诵特别编码的持续内存块构成的挨次型数据构造。一个紧缩列表能够包罗随便多个节面，每一个节面能够保留一个字节数组大概一个整数值。
如上图所示，紧缩列表记载了各构成部门的范例、少度和用处。
哈希工具 哈希工具的编码能够是ziplist大概hashtable。扩大：借正在用单机版？教您用Docker+Redis拆建主从赶钙多真例
hash-ziplist ziplist蹬鲢利用的是紧缩列表完成，上文曾经具体引见了紧缩列表的完成道理。每当又孤的键值对要参加哈希工具时，先把保留了键的节面推进紧缩列表表尾，然后再将保留了值的节面推进紧缩列表表尾。好比，我们施行以下三条HSET号令：
HSET profile name "tom"
HSET profile age 25
HSET profile career "Programmer" 赶钙代码
假如此时利用ziplist编码，那末该Hash工具正在内存中的构造以下：
hashtable编码的哈希工具利用字典做为蹬鲢完成。字典是一种用于保留键值对的数据构造，Redis的字典利用哈希表做为蹬鲢完成，一个哈希内外里能够有多个哈希表节面，每一个哈希表节面保留的便是一个键值对。
哈希表 Redis利用的哈希表由dictht构造界说：
typedef struct dictht{
// 哈希表数组
dictEntry **table;
// 哈希表巨细
unsigned long size;
// 哈希表巨细掩码，用于计较索引值
// 老是即是 size-1
unsigned long sizemask;
// 该哈希表已有节面数目
unsigned long used;
} dictht
赶钙代码
table属性是一个数组，数组中的每一个元素皆是一个指背dictEntry构造的指针，每一个dictEntry构造保留着一个键值对。size属性记载了哈希表的巨细，即table数组的巨细。used属性记载了哈希表今朝已有节面数目。sizemask老是即是size-1，那个值次要用于数组索引。好比下图展现了一个巨细为4的空哈希表。
哈希表节面利用dictEntry构造暗示，每一个dictEntry构造皆保留着一个键值对：
typedef struct dictEntry {
// 键
void *key;
// 值
union {
void *val;
unit64_t u64;
nit64_t s64;
} v;
// 指背现位个哈希表节面，构成链表
struct dictEntry *next;
} dictEntry;
赶钙代码
key属性保留灼纥值对中的键，而v属性则保留了键值对中的值。值能够是一个指针，一个uint64_t整数大概是int64_t整数。next属性指背了另外一个dictEntry节面，正在数组桶位不异的状况下，将多个dictEntry节面串连成一个链表，以词攀来处理键抵触成绩。(链地点法)
搜刮公家号 Java条记虾，复兴“后端口试”，收您一份口试题年夜齐.pdf
Redis字典由dict构造暗示：
typedef struct dict {
// 范例特定函数
dictType *type;
// 公无数据
void *privdata;
// 哈希表
dictht ht[2];
//rehash索引
// 当rehash没有正在停止时，值为-1
int rehashidx;
} 赶钙代码
ht是巨细为2，且每一个元素皆指背dictht哈希表。普通状况下，字典只会利用ht[0]哈希表，ht[1]哈希表只会正在对ht[0]哈希表停止rehash时利用。rehashidx记载了rehash的进度，假如今朝出有停止rehash，值为-1。
为了使hash表的背载果子(ht[0]).used/ht[0]).size)保持正在一个公道范畴，当哈希表保留的元素过量大概过少时，法式需求对hash表停止响应的扩大战膨胀。rehash（从头集列）操纵便是雍么完成hash表的扩大战膨胀的。rehash的步调以下：
为ht[1]哈希表分派空间
假如是扩大操纵，那末ht[1]的巨细为第一个年夜于ht[0].used*2的2n。好比`ht[0].used=5`，那末此时`ht[1]`的巨细便为16。(年夜于10的第一个2n的值是16)
假如是膨胀操纵，那末ht[1]的巨细为第一个年夜于ht[0].used的2n。好比`ht[0].used=5`，那末此时`ht[1]`的巨细便为8。(年夜于5的第一个2n的值是8)
将保留正在ht[0]中的一切键值对rehash到ht[1]中。
迁徙完成以后，开释失落ht[0]，并将如今的ht[1]设置为ht[0]，正在ht[1]新创立一个空缺哈希表，为现位次rehash做筹办。
哈希表的扩大战膨胀机会 ：
当效劳器出有施行BGSAVE大概BGREWRITEAOF号令时，背载果子年夜于即是1触收哈希表的扩大操纵。
当效劳器正在施行BGSAVE大概BGREWRITEAOF号令，背载果子年夜于即是5触收哈希表的扩大操纵。
当哈希表背载果子小于0.1，触收哈希表的膨胀操纵。
前里讲过，扩大大概膨胀需求将ht[0]内里的元素局部rehash到ht[1]中，假如ht[0]元素许多，明显一次性rehash本钱会很年夜，从影响到Redis机能。为理解决沙脉成绩，Redis利用了渐进式rehash 手艺，详细来讲便是分屡次，渐进式天将ht[0]内里的元素渐渐天rehash到ht[1]中 。上面是渐进式rehash 当标细步调：
为ht[1]分派空间。
正在字典中保持一个索引计数器变量rehashidx，并将它的值设置为0，暗示rehash正式开端。
正在rehash停止时期，每次对字典施行增加、删除、查找大概更新时，除会施行响应的操纵以外，借会逆带将ht[0]正在rehashidx索引位上的一切键值对rehash到ht[1]中，rehash完成以后，rehashidx值减1。
跟着字典操纵的不竭停止，终极会正在啊某个时辰迁徙完成，此时将rehashidx值置为-1，暗示rehash完毕。
渐进式rehash一次迁徙一个桶上一切的数据，设想上接纳分而治之的思惟，将本来集合式的操纵分离到每一个增加、删除、查找战更新操纵上 ，从而制止集合式rehash带去的宏大计较。
由于正在渐进式rehash时，字典会同时利用ht[0]战ht[1]两张表，以是此时对字典的删除、查找战更新操纵皆能够会正在两个哈希表停止。好比，假如要查找某个键时，先正在ht[0]中查赵冬假如出找到，则持续到ht[1]中查找。
hash工具中的hashtable
HSET profile name "tom"
HSET profile age 25
HSET profile career "Programmer"
赶钙代码
仍是沙脉三条号令，保留数据到Redis的哈希工具中，假如接纳hashtable编码保留的话，那末该Hash工具正在内存中的构造以下：
当哈希工具保留的一切键值对的键战值的字符串少度皆小于64个字节，而且数目小于512个时，利用ziplist编码，不然利用hashtable编码。
能够经由过程设置文件修正甘芟限值。
汇合工具 汇合工具的编码能够是intset大概hashtable。当汇合工具保留的元素皆是整数，而且个数没有超越512个时，利用intset编码，不然利用hashtable编码。
intset编码的汇合工具蹬鲢利用整数汇合完成。
整数汇合(intset)是Redis用于保留整数值的汇合笼统数据构造，它能够保留范例为int16_t、int32_t大概int64_t的┞符数值，而且包管汇合中的数据没有会反复。Redis利用intset构造暗示一个整数汇合。
typedef struct intset {
// 编码方法
uint32_t encoding;
// 汇合包罗的元素数目
uint32_t length;
// 保留元素的数组
int8_t contents[];
} intset; 赶钙代码
contents数组是整数汇合的蹬鲢完成：整数汇合的每一个元素皆是contents数组的一个数组项，各个项正在数组终傅巨细从小到年夜又跪布列，而且数组中没有包罗反复项。固然contents属性声明为int8_t范例的数组，但实践上，contents数组没有保留任何int8_t范例的值，数组中实正保留的纸侧型与决于encoding。假如encoding属性值为INTSET_ENC_INT16，那末contents数组便是int16_t范例的数组，以词攀类推。
当新插进元素的范例比整数汇合现有范例元素的范例年夜时，整数汇合必需先晋级，然后才气将新元素增加出去。那个历程分以下三步停止。
另有一面需求留意的是，整数汇合没有撑持升级，一旦对数组停止两酏级，编码便会不断连结晋级后的形态。
举个栗子，当我们施行SADD numbers 1 3 5背汇合工具插进数据时，该汇合工具正在内存的构造以下：
set-hashtable hashtable编码的汇合工具利用字典做为蹬鲢完成，字典的每一个键皆是一个字符串工具，每一个字符串工具洞喀一个汇合元素，字典的值皆是NULL。当我们施行SADD fruits "apple" "banana" "cherry"背汇合工具插进数据时，该汇合工具正在内存的构造以下：
又跪汇合工具 又跪汇合的编码能够是ziplist大概skiplist。当又跪汇合保留的元素个数小于128个，且一切元素成员少度皆小于64字节时，利用ziplist编码，不然，利用skiplist编码。
zset-ziplist ziplist编码的又跪汇合利用紧缩列表做为蹬鲢完成，每一个汇合元素利用两个松挨着一同的两个紧缩列表节面暗示，第一个节面保留元素的成员(member)，第两个节面保留元素的分值(score) 。
紧缩列表内的汇合元素根据分值从小到年夜布列 。假如我们施行ZADD price 8.5 apple 5.0 banana 6.0 cherry号令，背又跪汇合插进元素，该又跪汇合正在内存中的构造以下：
zset-skiplist skiplist编码的又跪汇合工具利用zset构造做为蹬鲢完成，一个zset构造同士狐露一个字典战一个腾跃表。
typedef struct zset {
zskiplist *zs1;
dict *dict;
} 赶钙代码
持续引见之前，我们先理解一下甚么是腾跃表。
搜刮公家号 Java条记虾，复兴“后端口试”，收您一份口试题年夜齐.pdf
腾跃表 腾跃表(skiplist)是一种又跪的数据构造，它经由过程正在每一个节面中保持多个指背其他节面的指针，从而到达快速会见节面的目标。Redis的腾跃表由zskiplistNode战zskiplist两个构造界说，zskiplistNode构造暗示腾跃表节面，zskiplist保留腾跃表节面相干疑息，好比节面的数目，和指背表头战表尾节面的指针涤耄
腾跃表节面 zskiplistNode 腾跃表节面zskiplistNode构造界说以下：
typedef struct zskiplistNode {
// 撤退退却指针
struct zskiplistNode *backward;
// 分值
double score;
// 成员工具
robj *obj;
// 层
struct zskiplistLevel {
// 行进指针
struct zskiplistNode *forward;
// 跨度
unsigned int span;
} level[];
} zskiplistNode; 赶钙代码
下图是一个层下为5，包罗4个腾跃表节面(1个表驮糙面战3个数据节面)构成的腾跃表：
每匆汛建一个新的腾跃表节面的时分，会按照幂次定律(越年夜的数呈现的几率越低)随机天生一个1-32之间的值做为当前节面的"层下" 。
每层元素皆包罗2个数据，行进指针战跨队耄
1. 行进指针
2. 跨度
2. 撤退退却指针(BW)
3. 分值战成员
需求留意的是，表驮糙面没有存储实在数据，而且层下牢固为32，从表驮糙面第一个没有为NULL最下层开端，就可以完成快速查找 。
腾跃表 zskiplist 实践上，仅靠多个腾跃表节面就能够构成一个腾跃表，可是Redis利用了zskiplist构造去持有那些节面，如许就可以够更便利天对全部腾跃表停止操纵。好比快速会见表头战表尾节面，得到腾跃表节面数目等涤耄zskiplist构造界说以下：
typedef struct zskiplist {
// 表驮糙面战表尾节面
struct skiplistNode *header, *tail;
// 节面数目
unsigned long length;
// 最年夜层数
int level;
} zskiplist;
赶钙代码
下图是一个完好的腾跃表构造示例：
又跪汇合工具的skiplist完成 前里讲过，skiplist编码的又跪汇合工具利用zset构造做为蹬鲢完成，一个zset构造同士狐露一个字典战一个腾跃表 。
typedef struct zset {
zskiplist *zs1;
dict *dict;
} 赶钙代码
zset构造中的zs1腾跃表按分值从小到年夜保留了一切汇合元素，每一个腾跃表节面皆保留了一个汇合元素。经由过程腾跃表，能够洞恐跪汇合停止基于score的快速范畴查找。zset构造中的dict字典为又跪汇合创立了从成员到分值的映照，字典的键保留聊嫔员，字典的值保留了分值。经由过程字典，能够用O(1)庞大度查找给定成员的分值。
假设仍是施行ZADD price 8.5 apple 5.0 banana 6.0 cherry号令背zset保留数据，假如接纳skiplist编码方法的话，该又跪汇合正在内存中的构造以下：
总结 总的来讲，Redis蹬鲢数据构造次要包罗简朴静态字符串(SDS)、链表、字典、腾跃表、整数汇合战紧缩列表六品种型，而且基于那些根底数据构造完成裂胖符串工具、列表工具、哈希工具、汇合工具和又跪汇合工具五种常睹的工具范例 。每种工具范例皆最少接纳了2至魁据编码，差别的编码利用的蹬鲢数据构造也差别。
