读书笔记之《Redis开发与运维》—— 一

2020/04/17

前言

    读书笔记系列主要记录自己看的书籍中的知识点,算是一个归纳整理吧。Redis在我们的日常开发中可以说是很常用了,《Redis开发与运维》 这本书讲解了Redis开发和运维的方方面面,很系统、全面,关键是实用。特来撸撸它,记录一番。全书分为14章,下面将记录个人认为每章中重要的知识点。

一、Redis初识

    Redis是一种基于键值对(key-value)的NoSQL数据库,Redis中的值可以是由string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、 Bitmaps(位图)、HyperLogLog、GEO(地理信息定位)等多种数据结构和算法构成,可以满足很多的应用场景。因为Redis会将所有数据都放在内存里,所以它的读写 性能非常好。Redis还可以将内存的数据利用快照和日志的形式保存到硬盘上,这样发生断电或者机器故障,内存中的数据就不会丢失。当然Redis还提供了其他很多附加功能。

1、Redis特性

(1)速度快

Redis的所有数据都是放在内存里的,这是速度快的最主要原因;
Redis是用C语言实现的,“距离”操作系统更近,执行速度相对会更快;
Redis采用单线程架构,预防了多线程可能产生的竞争问题;

(2)基于键值对的数据结构

Redis中的值不仅可以是字符串,还可以是具体的数据结构,方面在不同应用场景的开发。Redis主要提供五种数据结构:字符串、哈希、列表、集合、有序列表,并且在字符 串的基础上演变出来了位图(Bitmaps)和HyperLogLog俩种“数据结构”。Redis3.2版本加入了GEO(地理信息定位)的功能。

(3)丰富的功能

除了5种数据结构,还有其他额外的许多功能:

键过期功能,用来实现缓存;
发布订阅功能,用来实现消息系统;
Lua脚本功能,利用Lua脚本创造出新的Redis命令;
简单的事务功能,在一定程度上保证事务特性;
流水线(Pipeline)功能,客户端能将一批命令一次性传到Redis,减少网络开销。

(4)简单稳定

代码少,单线程,服务端、客户端处理简单,redis不依赖操作系统中的类库,自己实现了事件处理的相关功能。

(5)客户端语言多

redis提供了简单的TCP通信协议,很多编程语言可以很方便的接入到redis。

(6)持久化

redis提供了两种持久化方式:RDB和AOF。可以用这两种策略将内存的数据保存在硬盘中,保证了数据的可持久性。

(7)主从复制

redis提供了复制功能,实现了多个相同数据的redis副本,复制功能是分布式redis的基础。

(8)高可用和分布式

redis提供了高可用实现Redis Sentinel(哨兵),能够保证redis节点的故障发现和故障自动转移。并且3.0版本提供了分布式实现Redis Cluster(集群), 这是redis真正的分布式实现,提供了高可用、读写和容量的扩展性。

2、Redis使用场景

缓存、排行榜系统、计数器应用(redis天然支持计数功能,且计数性能很好)、社交网络(粉丝、共同喜好、推送等,社交网站的访问量比较大,传统 的关系型数据库不太适合保存这种类型的数据,可用redis实现)、消息队列系统(消息队列具有业务解耦、非实时业务削峰等特性,redis可以满足一般 的消息队列功能,不过一般项目中还是使用专业的消息队列,更加强大)。

redis也有不适合它解决的问题场景,站在数据规模和数据冷热角度来分析的话:数据规模角度,数据可分为大规模数据和小规模数据,redis的数据是 放在内存里的,如果数据规模非常大,不适合使用redis存储;站在数据冷热角度,数据分为热数据和冷数据,热数据是指需要频繁操作的数据,如果将 冷数据放在redis中,浪费内存。

二、API的理解和使用

1、全局命令

(1)查看所有键:keys *

(2)键总数:dbsize

注意:dbsize命令在计算总数时候不会遍历所有键,而是直接获取redis内部的键总数变量,时间复杂度O(1);而keys命令会遍历所有键,时间复杂度O(n), 如果redis保存了大量键时,线上环境禁止使用。

(3)检查键是否存在(键存在返回1,不存在返回0):exists key

(4)删除键(返回的结果是成功删除的个数,删除一个不存在的键,返回0):del key [key …]

注意:del key表示删除一个,del key1 key2 key3表示删除3个

(5)键过期:expire key seconds

注意:redis支持对键添加过期时间,超过过期时间后,会自动删除键;ttl key 命令会返回键的剩余过期时间,返回值>=0表示键的剩余过期时间,返回值 -1表示键没有设置过期时间,返回值-2表示键不存在。

(6)键的数据结构类型:type key

注意:如果键是字符串类型,返回string,如果键是列表类型,返回list,其他几种类似。如果键不存在,返回none。

2、数据结构的内部编码

每种数据结构都有自己底层的内部编码实现,而且是多种实现,redis会在合适的场景选择合适的内部编码。比如zset包含skiplist和ziplist两种内部编码。 这样设计的好处是:可以改进内部编码,而对外的数据结构和命令没有影响;多种内部编码实现可以在不同场景下发挥各自的优势,比如ziplist比较节省内存, 但是在列表元素比较多的情况下,性能会有所下降,这个时候redis会根据配置选项将列表类型的内部实现转换为linkedlist。

3、单线程架构

redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据库服务。一条命令从客户端达到服务端不会立刻执行,所有命令都会进入到一个队列中, 然后逐个被执行。不会有两条命令被同时执行。redis使用了I/O多路复用技术来解决I/O的问题。

redis使用单线程模式那么快的原因:纯内存访问,这个最重要;非阻塞I/O,redis使用epoll作为I/O多路复用技术的实现,并且redis加上自身的事件处理 模型将epoll中的连接、读写、关闭都转换为事件,不在网络I/O上浪费过多的时间;单线程避免了线程切换和竞争产生的消耗。

注意:单线程会有一个问题,对于每个命令的执行时间是有要求的,如果执行时间过长,会造成其他命令的阻塞,对于redis来说是致命的,所以redis是面向 快速执行场景的数据库。

4、字符串

(1)设置值:set key value [ex seconds] [px milliseconds] [nx xx]

注意:nx 键必须不存在,才可以设置成功,用于添加; xx 键必须存在,才可以设置成功,用于更新

(2)获取值:get key

批量设置值:mset key value [key value …]

批量获取值:mget key [key …]

注意:批量操作可以减少网络时间(n次网络时间+n次命令时间 —> 1次网络时间+n次命令时间),但是每次批量操作所发送的命令不是无节制的,如果 数量过多可能造成redis阻塞或者网络阻塞。

(3)计数:incr key

incr命令用于对值做自增操作,如果值不是整数,返回错误;如果值是整数,返回自增后的结果;如果键不存在,按照值为0自增,返回结果1。

很多存储系统和编程语言内部使用CAS机制实现计数功能,会有一定的CPU开销,但redis中不存在这个问题,因为redis单线程架构,任何命令到了redis 服务端都要顺序执行。

(4)内部编码(redis会根据当前值的类型和长度决定使用哪种内部编码实现)

int(8个字节的长整形) embstr(小于等于39个字节的字符串) raw(大于39个字节的字符串)

(5)典型应用场景

缓存功能、计数、共享session、限速

5、哈希

(1)设置值

hset key field value

(2)获取值

hget key field

(3)批量设置或获取field-value

hmget key field [field …] hmset key field value [field value …]

(4)内部编码(ziplist、hashtable)

当哈希类型的field个数小于512,并且所有的value小于64字节,使用ziplist作为哈希的内部实现,否则使用hashtable。512和64是默认的,可以配置。

(5)应用场景

比如:用户信息

6、列表

列表是用来存储多个有序的字符串,可以对列表两端插入和弹出。列表类型有两个特点:(1)列表中的元素是有序的;(2)列表中的元素可以是重复的。

(1)从右端插入、从左端插入

rpush key value [value …] lpush key value [value …]

lrange 0 -1 表示从左到右获取列表的所有元素

(2)内部编码(ziplist、linkedlist、quicklist)

当列表的元素个数小于512个,并且列表的每个元素值都小于64字节,redis会选用ziplist来作为列表的内部实现,否则选用linkedlist。Redis3.2版本 提供了quicklist内部编码,它是以一个ziplist为节点的linkedlist,结合了ziplist和linkedlist两者的优势。

(3)使用场景

例如:消息队列、文章列表

7、集合

集合中不允许有重复元素,并且集合中的元素是无序的。

(1)添加元素

sadd key elements [elements …]

(2)删除元素

srem key elements [elements …]

(3)内部编码(intset、hashtable)

当集合中的元素都是整数且元素个数小于512(默认值,可配置),redis选用intset作为集合内部实现,否则选用hashtable。

(4)使用场景

标签、社交等,比如一个用户对可乐、体育感兴趣,另一个用户对历史、新闻感兴趣,这些兴趣点就是标签。

8、有序集合

不能有重复成员,元素可以排序,每个元素设置一个分数(score)作为排序的依据。有序集合的元素不能重复,但是分数可以重复。

(1)添加成员

zadd key score member [score member …]

(2)内部编码(ziplist、skiplist)

当有序集合的元素个数小于128个,并且每个元素的值都小于64字节,Redis使用ziplist作为有序集合的内部实现。否则使用skiplist。

(3)使用场景

排行榜系统

9、健管理

(1)单个健管理

返回键类型、键重命名、键过期、迁移键等。

注意:迁移键有三种方式:move、dump+restore、migrate。move命令用于redis内部进行数据迁移,从一个数据库迁移到另一个数据库, 不建议生产环境使用redis多数据库功能;dump+restore可以实现在不同redis实例之间进行数据迁移,分为dump和restore两步,其中 在源redis上dump会将键值序列化,采用RDB格式,在目标redis上,restore会将上面序列化的值复原;migrate命令用于redis实例之间 进行数据迁移,实际上migrate是将dump、restore、del三个命令进行了整合。migrate命令的数据传输直接在源redis和目标redis上完成。

move命令作用于redis实例内部,是原子性的,不支持多个键;dump+restore作用于redis实例之间,不是原子性,不支持多个键;migrate 作用于redis实例之间,是原子性的,支持多个键。

(2)遍历键(keys和scan)

keys会全量遍历所有键,可能造成redis阻塞。scan可以想象成只扫描字典中的一部分键,直到将字典中的所有键遍历完毕。scan可以有效解决 keys命令可能产生的阻塞问题,但是scan的过程中,如果有键的变化(增加、删除、修改),就可能新键没有遍历到或者遍历了重复的健。所以scan 不能保证完整的遍历出来所有的健。

(3)数据库管理

select dbIndex 切换数据库

flushdb/flushall 清除数据库,flushdb只清除当前数据库,flushall清除所有数据库。

Post Directory