Redis数据结构及命令

Published on 2017 - 06 - 02

字符串

Redis的字符串就是一个由字节组成的序列,它们和很多编程语言里面的字符串没有什么明显的不同,跟C或者C++风格的字符数组也相去不远。在Redis里面,字符串可以存储以下3种类型的值。

  • 字节串(byte string)。
  • 整数。
  • 浮点数。

用户可以通过给定一个任意的数值,对存储着整数或者浮点数的字符串执行自增(increment)或者自减(decrement)操作,在有需要的时候,Redis还会将整数转换成浮点数。整数的取值范围和系统的长整数(long integer)的取值范围相同(在32位系统上,整数就是32位有符号整数,在64位系统上,整数就是64位有符号整数),而浮点数的取值范围和精度则与IEEE 754标准的双精度浮点数(double)相同。Redis明确地区分字节串、整数和浮点数的做法是一种优势,比起只能够存储字节串的做法,Redis的做法在数据表现方面具有更大的灵活性。

本节将对Redis里面最简单的结构——字符串进行讨论,介绍基本的数值自增和自减操作,以及二进制位(bit)和子串(substring)处理命令,读者可能会惊讶地发现,Redis里面最简单的结构居然也有如此强大的作用。

表1展示了对Redis字符串执行自增和自减操作的命令。

命令 用例和描述
INCR INCR key-name——将键存储的值加上1
DECR DECR key-name——将键存储的值减去1
INCRBY INCRBY key-name amount——将键存储的值加上整数amount
DECRBY DECRBY key-name amount——将键存储的值减去整数amount
INCRBYFLOAT INCRBYFLOAT key-name amount——将键存储的值加上浮点数amount,这个命令在Redis 2.6或以上的版本可用

当用户将一个值存储到Redis字符串里面的时候,如果这个值可以被解释(interpret)为十进制整数或者浮点数,那么Redis会察觉到这一点,并允许用户对这个字符串执行各种INCR*DECR*操作。如果用户对一个不存在的键或者一个保存了空串的键执行自增或者自减操作,那么Redis在执行操作时会将这个键的值当作是0来处理。如果用户尝试对一个值无法被解释为整数或者浮点数的字符串键执行自增或者自减操作,那么Redis将向用户返回一个错误。代码清单1展示了对字符串执行自增操作和自减操作的一些例子。

>>> conn = redis.Redis()
>>> conn.get('key')             
>>> conn.incr('key')            
1                               
>>> conn.incr('key', 15)        
16                              
>>> conn.decr('key', 5)         
11                              
>>> conn.get('key')             
'11'                            
>>> conn.set('key', '13')       
True                            
>>> conn.incr('key')            
14                              

除了自增操作和自减操作之外,Redis还拥有对字节串的其中一部分内容进行读取或者写入的操作(这些操作也可以用于整数或者浮点数,但这种用法并不常见)。表2展示了用来处理字符串子串和二进制位的命令。

命令 用例和描述
APPEND APPEND key-name value——将值value追加到给定键key-name当前存储的值的末尾
GETRANGE GETRANGE key-name start end——获取一个由偏移量start至偏移量end范围内所有字符组成的子串,包括start和end在内
SETRANGE SETRANGE key-name offset value——将从start偏移量开始的子串设置为给定值
GETBIT GETBIT key-name offset——将字节串看作是二进制位串(bit string),并返回位串中偏移量为offset的二进制位的值
SETBIT SETBIT key-name offset value——将字节串看作是二进制位串,并将位串中偏移量为offset的二进制位的值设置为value
BITCOUNT BITCOUNT key-name [start end]——统计二进制位串里面值为1的二进制位的数量,如果给定了可选的start偏移量和end偏移量,那么只对偏移量指定范围内的二进制位进行统计
BITOP BITOP operation dest-key key-name [key-name ...]——对一个或多个二进制位串执行包括并(AND)、或(OR)、异或(XOR)、非(NOT)在内的任意一种按位运算操作(bitwise operation),并将计算得出的结果保存在dest-key键里面

GETRANGE和SUBSTR Redis现在的GETRANGE命令是由以前的SUBSTR命令改名而来的,因此,Python客户端至今仍然可以使用substr()方法来获取子串,但如果读者使用的是2.6或以上版本的Redis,那么最好还是使用getrange()方法来获取子串。

在使用SETRANGE或者SETBIT命令对字符串进行写入的时候,如果字符串当前的长度不能满足写入的要求,那么Redis会自动地使用空字节(null)来将字符串扩展至所需的长度,然后才执行写入或者更新操作。在使用GETRANGE读取字符串的时候,超出字符串末尾的数据会被视为是空串,而在使用GETBIT读取二进制位串的时候,超出字符串末尾的二进制位会被视为是0。代码清单2展示了一些字符串处理命令的使用示例。

>>> conn.append('new-string-key', 'hello ')     #A
6L                                              #B
>>> conn.append('new-string-key', 'world!')
12L                                             #B
>>> conn.substr('new-string-key', 3, 7)         #C
'lo wo'                                         #D
>>> conn.setrange('new-string-key', 0, 'H')     #E
12                                              #F
>>> conn.setrange('new-string-key', 6, 'W')
12
>>> conn.get('new-string-key')                  #G
'Hello World!'                                  #H
>>> conn.setrange('new-string-key', 11, ', how are you?')   #I
25
>>> conn.get('new-string-key')
'Hello World, how are you?'                     #J
>>> conn.setbit('another-key', 2, 1)            #K
0                                               #L
>>> conn.setbit('another-key', 7, 1)            #M
0                                               #M
>>> conn.get('another-key')                     #M
'!'                                             #N
#A Let's append the string 'hello ' to the previously non-existent key 'new-string-key'
#B When appending a value, Redis returns the length of the string so far
#C Redis uses 0-indexing, and when accessing ranges, is inclusive of the endpoints by default
#D The string 'lo wo' is from the middle of 'hello world!'
#E Let's set a couple string ranges
#F When setting a range inside a string, Redis also returns the total length of the string
#G Let's see what we have now!
#H Yep, we capitalized our 'H' and 'W'
#I With setrange we can replace anywhere inside the string, and we can make the string longer
#J We replaced the exclamation point and added more to the end of the string
#K If you write to a bit beyond the size of the string, it is filled with nulls
#L Setting bits also returns the value of the bit before it was set
#M If you are going to try to interpret the bits stored in Redis, remember that offsets into bits are from the highest-order to the lowest-order
#N We set bits 2 and 7 to 1, which gave us '!', or character 33

很多键值数据库只能将数据存储为普通的字符串,并且不提供任何字符串处理操作,有一些键值数据库允许用户将字节追加到字符串的前面或者后面,但是却没办法像Redis一样对字符串的子串进行读写。从很多方面来讲,即使Redis只支持字符串结构,并且只支持本节列出的字符串处理命令,Redis也比很多别的数据库要强大得多;通过使用子串操作和二进制位操作,配合WATCH命令、MULTI命令和EXEC命令,用户甚至可以自己动手去构建任何他们想要的数据结构。

列表

Redis的列表允许用户从序列的两端推入或者弹出元素,获取列表元素,以及执行各种常见的列表操作。除此之外,列表还可以用来存储任务信息、最近浏览过的文章或者常用联系人信息。

本节将对列表这个由多个字符串值组成的有序序列结构进行介绍,并展示一些最常用的列表处理命令,阅读本节可以让读者学会如何使用这些命令来处理列表。表3展示了其中一部分最常用的列表命令。

命令 用例和描述
RPUSH RPUSH key-name value [value ...]——将一个或多个值推入列表的右端
LPUSH LPUSH key-name value [value ...]——将一个或多个值推入列表的左端
RPOP RPOP key-name——移除并返回列表最右端的元素
LPOP LPOP key-name——移除并返回列表最左端的元素
LINDEX LINDEX key-name offset——返回列表中偏移量为offset的元素
LRANGE LRANGE key-name start end——返回列表从start偏移量到end偏移量范围内的所有元素,其中偏移量为start和偏移量为end的元素也会包含在被返回的元素之内
LTRIM LTRIM key-name start end——对列表进行修剪,只保留从start偏移量到end偏移量范围内的元素,其中偏移量为start和偏移量为end的元素也会被保留

代码清单3展示了这些操作的用法。

>>> conn.rpush('list-key', 'last')          
1L                                          
>>> conn.lpush('list-key', 'first')         
2L
>>> conn.rpush('list-key', 'new last')
3L
>>> conn.lrange('list-key', 0, -1)          
['first', 'last', 'new last']               
>>> conn.lpop('list-key')                   
'first'                                     
>>> conn.lpop('list-key')                   
'last'                                      
>>> conn.lrange('list-key', 0, -1)
['new last']
>>> conn.rpush('list-key', 'a', 'b', 'c')   
4L
>>> conn.lrange('list-key', 0, -1)
['new last', 'a', 'b', 'c']
>>> conn.ltrim('list-key', 2, -1)           
True                                        
>>> conn.lrange('list-key', 0, -1)          
['b', 'c']                                  

这个示例里面第一次用到了LTRIM命令,组合使用 LTRIM 和 LRANGE 可以构建出一个在功能上类似于 LPOP 或 RPOP ,但是却能够一次返回并弹出多个元素的操作。

有几个列表命令可以将元素从一个列表移动到另一个列表,或者阻塞(block)执行命令的客户端直到有其他客户端给列表添加元素为止,表4列出了这些阻塞弹出命令和元素移动命令。

命令 用例和描述
BLPOP BLPOP key-name [key-name ...] timeout——从第一个非空列表中弹出位于最左端的元素,或者在timeout秒之内阻塞并等待可弹出的元素出现
BRPOP BRPOP key-name [key-name ...] timeout——从第一个非空列表中弹出位于最右端的元素,或者在timeout秒之内阻塞并等待可弹出的元素出现
RPOPLPUSH RPOPLPUSH source-key dest-key——从source-key列表中弹出位于最右端的元素,然后将这个元素推入dest-key列表的最左端,并向用户返回这个元素
BRPOPLPUSH BRPOPLPUSH source-key dest-key timeout——从source-key列表中弹出位于最右端的元素,然后将这个元素推入dest-key列表的最左端,并向用户返回这个元素;如果source-key为空,那么在timeout秒之内阻塞并等待可弹出的元素出现

代码清单4展示了几个使用BRPOPLPUSH移动列表元素的例子以及使用BLPOP从列表里面弹出多个元素的例子。

>>> conn.rpush('list', 'item1')             
1                                           
>>> conn.rpush('list', 'item2')             
2                                           
>>> conn.rpush('list2', 'item3')            
1                                           
>>> conn.brpoplpush('list2', 'list', 1)     
'item3'                                     
>>> conn.brpoplpush('list2', 'list', 1)     
>>> conn.lrange('list', 0, -1)              
['item3', 'item1', 'item2']                 
>>> conn.brpoplpush('list', 'list2', 1)
'item2'
>>> conn.blpop(['list', 'list2'], 1)        
('list', 'item3')                           
>>> conn.blpop(['list', 'list2'], 1)        
('list', 'item1')                           
>>> conn.blpop(['list', 'list2'], 1)        
('list2', 'item2')                          
>>> conn.blpop(['list', 'list2'], 1)        
>>>

对于阻塞弹出命令和弹出并推入命令,最常见的用例就是消息传递(messaging)和任务队列(task queue)。

集合

Redis的集合以无序的方式来存储多个各不相同的元素,用户可以快速地对集合执行添加元素操作、移除元素操作以及检查一个元素是否存在于集合里。

本节将对最常用的集合命令进行介绍,包括插入命令、移除命令、将元素从一个集合移动到另一个集合的命令,以及对多个集合执行交集运算、并集运算和差集运算的命令。

表5展示了其中一部分最常用的集合命令。

命令 用例和描述
SADD SADD key-name item [item ...]——将一个或多个元素添加到集合里面,并返回被添加元素当中原本并不存在于集合里面的元素数量
SREM SREM key-name item [item ...]——从集合里面移除一个或多个元素,并返回被移除元素的数量
SISMEMBER SISMEMBER key-name item——检查元素item是否存在于集合key-name 里
SCARD SCARD key-name——返回集合包含的元素的数量
SMEMBERS SMEMBERS key-name——返回集合包含的所有元素
SRANDMEMBER SRANDMEMBER key-name [count]——从集合里面随机地返回一个或多个元素。当count为正数时,命令返回的随机元素不会重复;当count为负数时,命令返回的随机元素可能会出现重复
SPOP SPOP key-name——随机地移除集合中的一个元素,并返回被移除的元素
SMOVE SMOVE source-key dest-key item——如果集合source-key包含元素item,那么从集合source-key里面移除元素item,并将元素item添加到集合dest-key中;如果item被成功移除,那么命令返回1,否则返回0

代码清单5展示了这些命令的使用示例。

>>> conn.sadd('set-key', 'a', 'b', 'c')         
3                                               
>>> conn.srem('set-key', 'c', 'd')              
True                                            
>>> conn.srem('set-key', 'c', 'd')              
False                                           
>>> conn.scard('set-key')                       
2                                               
>>> conn.smembers('set-key')                    
set(['a', 'b'])                                 
>>> conn.smove('set-key', 'set-key2', 'a')      
True                                            
>>> conn.smove('set-key', 'set-key2', 'c')      
False                                           
>>> conn.smembers('set-key2')                   
set(['a'])                                      

通过使用上面展示的命令,我们可以将各不相同的多个元素添加到集合里面,集合真正厉害的地方在于组合和关联多个集合,表6展示了相关的命令。

命令 用例和描述
SDIFF SDIFF key-name [key-name ...]——返回那些存在于第一个集合、但不存在于其他集合中的元素(数学上的差集运算)
SDIFFSTORE SDIFFSTORE dest-key key-name [key-name ...]——将那些存在于第一个集合但并不存在于其他集合中的元素(数学上的差集运算)存储到dest-key键里面
SINTER SINTER key-name [key-name ...]——返回那些同时存在于所有集合中的元素(数学上的交集运算)
SINTERSTORE SINTERSTORE dest-key key-name [key-name ...]——将那些同时存在于所有集合的元素(数学上的交集运算)存储到dest-key键里面
SUNION SUNION key-name [key-name ...]——返回那些至少存在于一个集合中的元素(数学上的并集计算)
SUNIONSTORE SUNIONSTORE dest-key key-name [key-name ...]——将那些至少存在于一个集合中的元素(数学上的并集计算)存储到dest-key键里面

这些命令分别是并集运算、交集运算和差集运算这3个基本集合操作的“返回结果”版本和“存储结果”版本,代码清单6展示了这些命令的使用示例。

>>> conn.sadd('skey1', 'a', 'b', 'c', 'd')  
4                                           
>>> conn.sadd('skey2', 'c', 'd', 'e', 'f')  
4                                           
>>> conn.sdiff('skey1', 'skey2')            
set(['a', 'b'])                             
>>> conn.sinter('skey1', 'skey2')           
set(['c', 'd'])                             
>>> conn.sunion('skey1', 'skey2')           
set(['a', 'c', 'b', 'e', 'd', 'f'])         

和Python的集合相比,Redis的集合除了可以被多个客户端远程地进行访问之外,其他的语义和功能基本都是相同的。

散列

Redis的散列可以让用户将多个键值对存储到一个Redis键里面。从功能上来说,Redis为散列值提供了一些与字符串值相同的特性,使得散列非常适用于将一些相关的数据存储在一起。我们可以把这种数据聚集看作是关系数据库中的行,或者文档数据库中的文档。

本节将对最常用的散列命令进行介绍:其中包括添加和删除键值对的命令、获取所有键值对的命令,以及对键值对的值进行自增或者自减操作的命令。阅读这一节可以让读者学习到如何将数据存储到散列里面,以及这样做的好处是什么。表7展示了一部分常用的散列命令。

命令 用例和描述
HMGET HMGET key-name key [key ...]——从散列里面获取一个或多个键的值
HMSET HMSET key-name key value [key value ...]——为散列里面的一个或多个键设置值
HDEL HDEL key-name key [key ...]——删除散列里面的一个或多个键值对,返回成功找到并删除的键值对数量
HLEN HLEN key-name——返回散列包含的键值对数量

在表7列出的命令当中,像HMGET和HMSET这种批量处理多个键的命令既可以给用户带来方便,又可以通过减少命令的调用次数以及客户端与Redis之间的通信往返次数来提升Redis的性能。代码清单7展示了这些命令的使用方法。

>>> conn.hmset('hash-key', {'k1':'v1', 'k2':'v2', 'k3':'v3'})   
True                                                            
>>> conn.hmget('hash-key', ['k2', 'k3'])                        
['v2', 'v3']                                                    
>>> conn.hlen('hash-key')                                       
3                                                               
>>> conn.hdel('hash-key', 'k1', 'k3')                           
True                                                            

HGET命令和HSET命令分别是HMGET命令和HMSET命令的单参数版本,这些命令的唯一区别在于单参数版本每次执行只能处理一个键值对,而多参数版本每次执行可以处理多个键值对。

表8列出了散列的其他几个批量操作命令,以及一些和字符串操作类似的散列命令。

命令 用例和描述
HEXISTS HEXISTS key-name key——检查给定键是否存在于散列中
HKEYS HKEYS key-name——获取散列包含的所有键
HVALS HVALS key-name——获取散列包含的所有值
HGETALL HGETALL key-name——获取散列包含的所有键值对
HINCRBY HINCRBY key-name key increment——将键key存储的值加上整数increment
HINCRBYFLOAT HINCRBYFLOAT key-name key increment——将键key存储的值加上浮点数increment

尽管有HGETALL存在,但HKEYS和HVALS也是非常有用的:如果散列包含的值非常大,那么用户可以先使用HKEYS取出散列包含的所有键,然后再使用HGET一个接一个地取出键的值,从而避免因为一次获取多个大体积的值而导致服务器阻塞。

HINCRBY和HINCRBYFLOAT可能会让读者回想起用于处理字符串的INCRBY和INCRBYFLOAT,这两对命令拥有相同的语义,它们的不同在于HINCRBY和HINCRBYFLOAT处理的是散列,而不是字符串。代码清单8展示了这些命令的使用方法。

>>> conn.hmset('hash-key2', {'short':'hello', 'long':1000*'1'}) 
True                                                            
>>> conn.hkeys('hash-key2')                                     
['long', 'short']                                               
>>> conn.hexists('hash-key2', 'num')                            
False                                                           
>>> conn.hincrby('hash-key2', 'num')                            
1L                                                              
>>> conn.hexists('hash-key2', 'num')                            
True                                                            

正如前面所说,在对散列进行处理的时候,如果键值对的值的体积非常庞大,那么用户可以先使用HKEYS获取散列的所有键,然后通过只获取必要的值来减少需要传输的数据量。除此之外,用户还可以像使用SISMEMBER检查一个元素是否存在于集合里面一样,使用HEXISTS检查一个键是否存在于散列里面。

有序集合

和散列存储着键与值之间的映射类似,有序集合也存储着成员与分值之间的映射,并且提供了分值处理命令,以及根据分值大小有序地获取(fetch)或扫描(scan)成员和分值的命令。

本节将对操作有序集合的命令进行介绍,其中包括向有序集合添加新元素的命令、更新已有元素的命令,以及对有序集合进行交集运算和并集运算的命令。

表9展示了一部分常用的有序集合命令。

命令 用例和描述
ZADD ZADD key-name score member [score member ...]——将带有给定分值的成员添加到有序集合里面
ZREM ZREM key-name member [member ...]——从有序集合里面移除给定的成员,并返回被移除成员的数量
ZCARD ZCARD key-name——返回有序集合包含的成员数量
ZINCRBY ZINCRBY key-name increment member——将member成员的分值加上increment
ZCOUNT ZCOUNT key-name min max——返回分值介于min和max之间的成员数量
ZRANK ZRANK key-name member——返回成员member在有序集合中的排名
ZSCORE ZSCORE key-name member——返回成员member的分值
ZRANGE ZRANGE key-name start stop [WITHSCORES]——返回有序集合中排名介于start和stop之间的成员,如果给定了可选的WITHSCORES选项,那么命令会将成员的分值也一并返回

代码清单9展示了这些命令的用法。

>>> conn.zadd('zset-key', 'a', 3, 'b', 2, 'c', 1)   
3                                                   
>>> conn.zcard('zset-key')                          
3                                                   
>>> conn.zincrby('zset-key', 'c', 3)                
4.0                                                 
>>> conn.zscore('zset-key', 'b')                    
2.0                                                 
>>> conn.zrank('zset-key', 'c')                     
2                                                   
>>> conn.zcount('zset-key', 0, 3)                   
2L                                                  
>>> conn.zrem('zset-key', 'b')                      
True                                                
>>> conn.zrange('zset-key', 0, -1, withscores=True) 
[('a', 3.0), ('c', 4.0)]                            

ZCOUNT命令和其他命令不太相同,它主要用于计算分值在给定范围内的成员数量。

表10展示了另外一些非常有用的有序集合命令。

命令 用例和描述
ZREVRANK ZREVRANK key-name member——返回有序集合里成员member的排名,成员按照分值从大到小排列
ZREVRANGE ZREVRANGE key-name start stop [WITHSCORES]——返回有序集合给定排名范围内的成员,成员按照分值从大到小排列
ZRANGEBYSCORE ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT offset count]——返回有序集合中,分值介于min和max之间的所有成员
ZREVRANGEBYSCORE ZREVRANGEBYSCORE key max min [WITHSCORES] [LIMIT offset count]——获取有序集合中分值介于min和max之间的所有成员,并按照分值从大到小的顺序来返回它们
ZREMRANGEBYRANK ZREMRANGEBYRANK key-name start stop——移除有序集合中排名介于start和stop之间的所有成员
ZREMRANGEBYSCORE ZREMRANGEBYSCORE key-name min max——移除有序集合中分值介于min和max之间的所有成员
ZINTERSTORE ZINTERSTORE dest-key key-count key [key ...] [WEIGHTS weight [weight ...]] [AGGREGATE SUM
ZUNIONSTORE ZUNIONSTORE dest-key key-count key [key ...] [WEIGHTS weight [weight ...]] [AGGREGATE SUM

在表10展示的命令里面,有几个是之前没介绍过的新命令。除了使用逆序来处理有序集合之外,ZREV*命令的工作方式和相对应的非逆序命令的工作方式完全一样(逆序就是指元素按照分值从大到小地排列)。代码清单10展示了ZINTERSTORE和ZUNIONSTORE的用法。

>>> conn.zadd('zset-1', 'a', 1, 'b', 2, 'c', 3)                         #A
3                                                                       #A
>>> conn.zadd('zset-2', 'b', 4, 'c', 1, 'd', 0)                         #A
3                                                                       #A
>>> conn.zinterstore('zset-i', ['zset-1', 'zset-2'])                    #B
2L                                                                      #B
>>> conn.zrange('zset-i', 0, -1, withscores=True)                       #B
[('c', 4.0), ('b', 6.0)]                                                #B
>>> conn.zunionstore('zset-u', ['zset-1', 'zset-2'], aggregate='min')   #C
4L                                                                      #C
>>> conn.zrange('zset-u', 0, -1, withscores=True)                       #C
[('d', 0.0), ('a', 1.0), ('c', 1.0), ('b', 2.0)]                        #C
>>> conn.sadd('set-1', 'a', 'd')                                        #D
2                                                                       #D
>>> conn.zunionstore('zset-u2', ['zset-1', 'zset-2', 'set-1'])          #D
4L                                                                      #D
>>> conn.zrange('zset-u2', 0, -1, withscores=True)                      #D
[('d', 1.0), ('a', 2.0), ('c', 4.0), ('b', 6.0)]                        #D
#A We'll start out by creating a couple ZSETs
#B When performing ZINTERSTORE or ZUNIONSTORE, our default aggregate is sum, so scores of items that are in multiple ZSETs are added
#C It is easy to provide different aggregates, though we are limited to sum, min, and max
#D You can also pass SETs as inputs to ZINTERSTORE and ZUNIONSTORE, they behave as though they were ZSETs with all scores equal to 1

有序集合的并集运算和交集运算在刚开始接触时可能会比较难懂,所以本节将使用图片来展示交集运算和并集运算的执行过程。图1展示了对两个输入有序集合执行交集运算并得到输出有序集合的过程,这次交集运算使用的是默认的聚合函数sum,所以输出有序集合成员的分值都是通过加法计算得出的。

图1 执行conn.zinterstore('zset-i', ['zset-1', 'zset-2'])将使得同时存在于zset-1和zset-2里面的元素被添加到zset-i里面
并集运算和交集运算不同,只要某个成员存在于至少一个输入有序集合里面,那么这个成员就会被包含在输出有序集合里面。图2展示了使用聚合函数min执行并集运算的过程,min函数在多个输入有序集合都包含同一个成员的情况下,会将最小的那个分值设置为这个成员在输出有序集合的分值。

图2 执行conn.zunionstore('zset-u', ['zset-1', 'zset-2'], aggregate='min')会将存在于zset-1或者zset-2里面的元素通过min函数组合到zset-u里面

图3展示了如何使用ZUNIONSTORE命令来将两个有序集合和一个集合组合成一个有序集合。

图3 执行conn.zunionstore('zset-u2', ['zset-1', 'zset-2', 'set-1'])将使得所有存在于zset-1、zset-2或者set-1里面的元素都被添加到zset-u2里面

发布与订阅

一般来说,发布与订阅(又称pub/sub)的特点是订阅者(listener)负责订阅频道(channel),发送者(publisher)负责向频道发送二进制字符串消息(binary string message)。每当有消息被发送至给定频道时,频道的所有订阅者都会收到消息。我们也可以把频道看作是电台,其中订阅者可以同时收听多个电台,而发送者则可以在任何电台发送消息。

本节将对发布与订阅的相关操作进行介绍,阅读这一节可以让读者学会怎样使用发布与订阅的相关命令,并了解到为什么本书在之后的章节里面会使用其他相似的解决方案来代替Redis提供的发布与订阅。

表11展示了Redis提供的5个发布与订阅命令。

命令 用例和描述
SUBSCRIBE SUBSCRIBE channel [channel ...]——订阅给定的一个或多个频道
UNSUBSCRIBE UNSUBSCRIBE [channel [channel ...]]——退订给定的一个或多个频道,如果执行时没有给定任何频道,那么退订所有频道
PUBLISH PUBLISH channel message——向给定频道发送消息
PSUBSCRIBE PSUBSCRIBE pattern [pattern ...]——订阅与给定模式相匹配的所有频道
PUNSUBSCRIBE PUNSUBSCRIBE [pattern [pattern ...]]——退订给定的模式,如果执行时没有给定任何模式,那么退订所有模式

考虑到PUBLISH命令和SUBSCRIBE命令在Python客户端的实现方式,一个比较简单的演示发布与订阅的方法,就是像代码清单11那样使用辅助线程(helper thread)来执行PUBLISH命令。

>>> def publisher(n):
...     time.sleep(1)                                                   
...     for i in xrange(n):
...         conn.publish('channel', i)                                  
...         time.sleep(1)                                               
...
>>> def run_pubsub():
...     threading.Thread(target=publisher, args=(3,)).start()           
...     pubsub = conn.pubsub()                                          
...     pubsub.subscribe(['channel'])                                   
...     count = 0
...     for item in pubsub.listen():                                    
...         print item                                                  
...         count += 1                                                  
...         if count == 4:                                              
...             pubsub.unsubscribe()                                    
...         if count == 5:                                              
...             break                                                   
...
>>> run_pubsub()                                                        
{'pattern': None, 'type': 'subscribe', 'channel': 'channel', 'data': 1L}
{'pattern': None, 'type': 'message', 'channel': 'channel', 'data': '0'} 
{'pattern': None, 'type': 'message', 'channel': 'channel', 'data': '1'} 
{'pattern': None, 'type': 'message', 'channel': 'channel', 'data': '2'} 
{'pattern': None, 'type': 'unsubscribe', 'channel': 'channel', 'data':  0L}                                                                     

虽然Redis的发布与订阅模式非常有用,但这个模式使用并不多见,这样做的原因有以下两个。

第一个原因和Redis系统的稳定性有关。对于旧版Redis来说,如果一个客户端订阅了某个或某些频道,但它读取消息的速度却不够快的话,那么不断积压的消息就会使得Redis输出缓冲区的体积变得越来越大,这可能会导致Redis的速度变慢,甚至直接崩溃。也可能会导致Redis被操作系统强制杀死,甚至导致操作系统本身不可用。新版的Redis不会出现这种问题,因为它会自动断开不符合client-output-buffer-limit pubsub配置选项要求的订阅客户端。

第二个原因和数据传输的可靠性有关。任何网络系统在执行操作时都可能会遇上断线情况,而断线产生的连接错误通常会使得网络连接两端中的其中一端进行重新连接。本书使用的Python语言的Redis客户端会在连接失效时自动进行重新连接,也会自动处理连接池(connection pool),诸如此类。但是,如果客户端在执行订阅操作的过程中断线,那么客户端将丢失在断线期间发送的所有消息,因此依靠频道来接收消息的用户可能会对Redis提供的PUBLISH命令和SUBSCRIBE命令的语义感到失望。

如果你喜欢简单易用的PUBLISH命令和SUBSCRIBE命令,并且能够承担可能会丢失一小部分数据的风险,那么你也可以继续使用Redis提供的发布与订阅特性,只要记得先把client-output-buffer-limit pubsub选项设置好就行了。

其他命令

到目前为止,本文介绍了Redis提供的5种结构以及Redis的发布与订阅模式。本节将要介绍的命令则可以用于处理多种类型的数据:首先要介绍的是可以同时处理字符串、集合、列表和散列的SORT命令;之后要介绍是用于实现基本事务特性的MULTI命令和EXEC命令,这两个命令可以让用户将多个命令当作一个命令来执行;最后要介绍的是几个不同的自动过期命令,它们可以自动删除无用数据。

阅读本节有助于读者更好地理解如何同时组合和操作多种数据类型。

排序

Redis的排序操作和其他编程语言的排序操作一样,都可以根据某种比较规则对一系列元素进行有序的排列。负责执行排序操作的SORT命令可以根据字符串、列表、集合、有序集合、散列这5种键里面存储着的数据,对列表、集合以及有序集合进行排序。如果读者之前曾经使用过关系数据库的话,那么可以将SORT命令看作是SQL语言里的order by子句。表12展示了SORT命令的定义。

命令 用例和描述
SORT SORT source-key [BY pattern] [LIMIT offset count] [GET pattern [GET pattern ...]] [ASC

使用SORT命令提供的选项可以实现以下功能:根据降序而不是默认的升序来排序元素;将元素看作是数字来进行排序,或者将元素看作是二进制字符串来进行排序(比如排序字符串'110'和'12'的结果就跟排序数字110和12的结果不一样);使用被排序元素之外的其他值作为权重来进行排序,甚至还可以从输入的列表、集合、有序集合以外的其他地方进行取值。

代码清单12展示了一些SORT命令的使用示例。其中,最开头的几行代码设置了一些初始数据,然后对这些数据进行了数值排序和字符串排序,最后的代码演示了如何通过SORT命令的特殊语法来将散列存储的数据作为权重进行排序,以及怎样获取并返回散列存储的数据。

>>> conn.rpush('sort-input', 23, 15, 110, 7)                    
4                                                               
>>> conn.sort('sort-input')                                     #B
['7', '15', '23', '110']                                        #B
>>> conn.sort('sort-input', alpha=True)                         
['110', '15', '23', '7']                                        
>>> conn.hset('d-7', 'field', 5)                                
1L                                                              
>>> conn.hset('d-15', 'field', 1)                               
1L                                                              
>>> conn.hset('d-23', 'field', 9)                               
1L                                                              
>>> conn.hset('d-110', 'field', 3)                              
1L                                                              
>>> conn.sort('sort-input', by='d-*->field')                    #E
['15', '110', '7', '23']                                        #E
>>> conn.sort('sort-input', by='d-*->field', get='d-*->field')  #F
['1', '3', '5', '9']                                            #F
#B We can sort the items numerically
#E We can sort our data by fields of HASHes
#F And we can even fetch that data and return it instead of or in addition to our input data

SORT命令不仅可以对列表进行排序,还可以对集合进行排序,然后返回一个列表形式的排序结果。代码清单12除了展示如何使用alpha关键字参数对元素进行字符串排序之外,还展示了如何基于外部数据对元素进行排序,以及如何获取并返回外部数据。

尽管SORT是Redis中唯一一个可以同时处理3种不同类型的数据的命令,但基本的Redis事务同样可以让我们在一连串不间断执行的命令里面操作多种不同类型的数据。

基本的Redis事务

有时候为了同时处理多个结构,我们需要向Redis发送多个命令。尽管Redis有几个可以在两个键之间复制或者移动元素的命令,但却没有那种可以在两个不同类型之间移动元素的命令(虽然可以使用ZUNIONSTORE命令将元素从一个集合复制到一个有序集合)。为了对相同或者不同类型的多个键执行操作,Redis有5个命令可以让用户在不被打断(interruption)的情况下对多个键执行操作,它们分别是WATCH、MULTI、EXEC、UNWATCH和DISCARD。

这一节只介绍最基本的 Redis 事务用法,其中只会用到 MULTI 命令和 EXEC 命令。

要在Redis里面执行事务,我们首先需要执行MULTI命令,然后输入那些我们想要在事务里面执行的命令,最后再执行EXEC命令。当Redis从一个客户端那里接收到MULTI命令时,Redis会将这个客户端之后发送的所有命令都放入到一个队列里面,直到这个客户端发送EXEC命令为止,然后Redis就会在不被打断的情况下,一个接一个地执行存储在队列里面的命令。从语义上来说,Redis事务在Python客户端上面是由流水线(pipeline)实现的:对连接对象调用piepline()方法将创建一个事务,在一切正常的情况下,客户端会自动地使用MULTI和EXEC包裹起用户输入的多个命令。此外,为了减少Redis与客户端之间的通信往返次数,提升执行多个命令时的性能,Python的Redis客户端会存储起事务包含的多个命令,然后在事务执行时一次性地将所有命令都发送给Redis。

跟介绍PUBLISH命令和SUBSCRIBE命令时的情况一样,要展示事务执行结果,最简单的方法就是将事务放到线程里面执行。代码清单13展示了在没有使用事务的情况下,执行并行(parallel)自增操作的结果。

>>> def notrans():
...     print conn.incr('notrans:')                     
...     time.sleep(.1)                                  
...     conn.incr('notrans:', -1)                       
...
>>> if 1:
...     for i in xrange(3):                             
...         threading.Thread(target=notrans).start()    
...     time.sleep(.5)                                  
...
1                                                       
2                                                       
3                                                       

因为没有使用事务,所以3个线程都可以在执行自减操作之前,对notrans:计数器执行自增操作。虽然代码清单里面通过休眠100毫秒的方式来放大了潜在的问题,但如果我们确实需要在不受其他命令干扰的情况下,对计数器执行自增操作和自减操作,那么我们就不得不解决这个潜在的问题。代码清单14展示了如何使用事务来执行相同的操作。

>>> def trans():
...     pipeline = conn.pipeline()                      
...     pipeline.incr('trans:')                         
...     time.sleep(.1)                                  
...     pipeline.incr('trans:', -1)                     
...     print pipeline.execute()[0]                     #E
...
>>> if 1:
...     for i in xrange(3):                             #F
...         threading.Thread(target=trans).start()      #F
...     time.sleep(.5)                                  #G
...
1                                                       #H
1                                                       #H
1                                                       #H
#E Execute both commands and print the result of the increment operation
#F Start three of the transactional increment/sleep/decrement calls
#G Wait half a second for everything to be done
#H Because each increment/sleep/decrement pair is executed inside a transaction, no other commands can be interleaved, which gets us a result of 1 for all of our results

可以看到,尽管自增操作和自减操作之间有一段延迟时间,但通过使用事务,各个线程都可以在不被其他线程打断的情况下,执行各自队列里面的命令。记住,Redis要在接收到EXEC命令之后,才会执行那些位于MULTI和EXEC之间的入队命令。

在使用Redis存储数据的时候,有些数据仅在一段很短的时间内有用,虽然我们可以在数据的有效期过了之后手动删除无用的数据,但更好的办法是使用Redis提供的键过期操作来自动删除无用数据。

键的过期时间

在使用Redis存储数据的时候,有些数据可能在某个时间点之后就不再有用了,用户可以使用DEL命令显式地删除这些无用数据,也可以通过Redis的过期时间(expiration)特性来让一个键在给定的时限(timeout)之后自动被删除。当我们说一个键“带有生存时间(time to live)”或者一个键“会在特定时间之后过期(expire)”时,我们指的是Redis会在这个键的过期时间到达时自动删除该键。

虽然过期时间特性对于清理缓存数据非常有用,只有少数几个命令可以原子地为键设置过期时间,并且对于列表、集合、散列和有序集合这样的容器(container)来说,键过期命令只能为整个键设置过期时间,而没办法为键里面的单个元素设置过期时间。

本节将对那些可以在给定时限或者给定时间之后,自动删除过期键的 Redis 命令进行介绍。通过阅读本节,读者将学会如何使用过期操作来自动地删除过期数据并降低 Redis 的内存占用。

表13列出了Redis提供的用于为键设置过期时间的命令,以及查看键的过期时间的命令。

命令 示例和描述
PERSIST PERSIST key-name——移除键的过期时间
TTL TTL key-name——查看给定键距离过期还有多少秒
EXPIRE EXPIRE key-name seconds——让给定键在指定的秒数之后过期
EXPIREAT EXPIREAT key-name timestamp——将给定键的过期时间设置为给定的UNIX时间戳
PTTL PTTL key-name——查看给定键距离过期时间还有多少毫秒,这个命令在Redis 2.6或以上版本可用
PEXPIRE PEXPIRE key-name milliseconds——让给定键在指定的毫秒数之后过期,这个命令在Redis 2.6或以上版本可用
PEXPIREAT PEXPIREAT key-name timestamp-milliseconds——将一个毫秒级精度的UNIX时间戳设置为给定键的过期时间,这个命令在Redis 2.6或以上版本可用

代码清单15展示了几个对键执行过期时间操作的例子。

>>> conn.set('key', 'value')                    
True                                            
>>> conn.get('key')                             
'value'                                         
>>> conn.expire('key', 2)                       #B
True                                            #B
>>> time.sleep(2)                               #B
>>> conn.get('key')                             #B
>>> conn.set('key', 'value2')
True
>>> conn.expire('key', 100); conn.ttl('key')    #C
True                                            #C
100                                             #C
#B If we set a key to expire in the future, and we wait long enough for the key to expire, when we try to fetch the key, it has already been deleted
#C We can also easily find out how long it will be before a key will expire

参考文档