Redis持久化,如何避免宕机导致的数据丢失?

auto 开发&源码 DB C++来源:infoQ - C++后台开发评论932字数 3784阅读12分36秒阅读模式

前言

如果有人问你:"你会把 Redis 用在什么业务场景下?"

我想你大概率会说:"我会把它当作缓存使用,因为它把后端数据库中的数据存储在内存中,然后直接从内存中读取数据,响应速度会非常快。"文章源自IT老刘-https://wp.itlao6.com/10580.html

没错,这确实是 Redis 的一个普遍使用场景,但是,这里也有一个绝对不能忽略的问题:一旦服务器宕机,内存中的数据将全部丢失文章源自IT老刘-https://wp.itlao6.com/10580.html

目前,Redis 的持久化主要有两大机制,即 AOF(Append Only File)日志和 RDB(Redis DataBase) 快照文章源自IT老刘-https://wp.itlao6.com/10580.html

AOF

说到日志,我们比较熟悉的是数据库的写前日志(Write Ahead Log, WAL),在实际写数据前,先把修改的数据记到日志文件中,以便故障时进行恢复。不过,AOF 日志正好相反,它是写后日志,"写后"的意思是 Redis 是先执行命令,把数据写入内存,然后才记录日志。文章源自IT老刘-https://wp.itlao6.com/10580.html

Redis持久化,如何避免宕机导致的数据丢失?

​AOF 里记录的是 Redis 收到的每一条命令,这些命令是以文本形式保存的。文章源自IT老刘-https://wp.itlao6.com/10580.html

我们以 Redis 收到“set testkey testvalue”命令后记录的日志为例,看看 AOF 日志的内容。其中,“*3”表示当前命令有三个部分,每部分都是由“$+数字”开头,后面紧跟着具体的命令、键或值。这里,“数字”表示这部分中的命令、键或值一共有多少字节。例如,“$3 set”表示这部分有 3 个字节,也就是“set”命令。文章源自IT老刘-https://wp.itlao6.com/10580.html

Redis持久化,如何避免宕机导致的数据丢失?

​写后日志的优势与风险

为了避免额外的检查开销,Redis 在向 AOF 里面记录日志的时候,并不会先去对这些命令进行语法检查文章源自IT老刘-https://wp.itlao6.com/10580.html

如果先记日志再执行命令的话,日志中就有可能记录了错误的命令,Redis 在使用日志恢复数据时,就可能会出错。而写后日志这种方式,就是先让系统执行命令,只有命令能执行成功,才会被记录到日志中,否则,系统就会直接向客户端报错。文章源自IT老刘-https://wp.itlao6.com/10580.html

所以,Redis 使用写后日志这一方式的一大好处是,可以避免出现记录错误命令的情况。文章源自IT老刘-https://wp.itlao6.com/10580.html

除此之外,写后日志一个好处:它是在命令执行后才记录日志,不会阻塞当前的写操作文章源自IT老刘-https://wp.itlao6.com/10580.html

AOF 也有两个潜在的风险:文章源自IT老刘-https://wp.itlao6.com/10580.html

  • 风险一:如果刚执行完一个命令,还没有来得及记日志就宕机了,那么这个命令和相应的数据就有丢失的风险。文章源自IT老刘-https://wp.itlao6.com/10580.html

  • 如果此时 Redis 是用作缓存,还可以从后端数据库重新读入数据进行恢复。文章源自IT老刘-https://wp.itlao6.com/10580.html

  • 如果 Redis 是直接用作数据库的话,此时,因为命令没有记入日志,所以就无法用日志进行恢复了。文章源自IT老刘-https://wp.itlao6.com/10580.html

  • 风险二:AOF 虽然避免了对当前命令的阻塞,但可能会给下一个操作带来阻塞风险。文章源自IT老刘-https://wp.itlao6.com/10580.html

  • AOF 日志也是在主线程中执行(写回策略为 always 时),如果在把日志文件写入磁盘时,磁盘写压力大,就会导致写盘很慢,进而导致后续的操作也无法执行了。文章源自IT老刘-https://wp.itlao6.com/10580.html

这两个风险都是和 AOF 写回磁盘的时机相关的。这也就意味着,如果我们能够控制一个写命令执行完后 AOF 日志写回磁盘的时机,这两个风险就解除了。文章源自IT老刘-https://wp.itlao6.com/10580.html

日志的写回策略

AOF 机制一共有三种写回策略,也就是 AOF 配置项 appendfsync 的三个可选值。文章源自IT老刘-https://wp.itlao6.com/10580.html

  • Always 同步写回:每个写命令执行完,立马同步地将日志写回磁盘;文章源自IT老刘-https://wp.itlao6.com/10580.html

  • Everysec 每秒写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;文章源自IT老刘-https://wp.itlao6.com/10580.html

  • No 操作系统控制的写回:每个写命令执行完,只是先把日志写到 AOF 文件的内存缓冲区,由操作系统决定何时将缓冲区内容写回磁盘。

针对避免主线程阻塞和减少数据丢失问题,这三种写回策略都无法做到两全其美。

Redis持久化,如何避免宕机导致的数据丢失?

​我们就可以根据系统对高性能和高可靠性的要求,来选择使用哪种写回策略了。

  • 想要获得高性能,就选择 No 策略;

  • 想要得到高可靠性保证,就选择 Always 策略;

  • 允许数据有一点丢失,又希望性能别受太大影响的话,那么就选择 Everysec 策略。

​日志的重写

重写的作用

AOF 是以文件的形式在记录接收到的所有写命令。随着接收的写命令越来越多,AOF 文件会越来越大。这也就意味着,我们一定要小心 AOF 文件过大带来的性能问题,主要在于以下三个方面:

  • 一是,文件系统本身对文件大小有限制,无法保存过大的文件;

  • 二是,如果文件太大,之后再往里面追加命令记录的话,效率也会变低;

  • 三是,如果发生宕机,AOF 中记录的命令要一个个被重新执行,用于故障恢复,如果日志文件太大,整个恢复过程就会非常缓慢,这就会影响到 Redis 的正常使用。

AOF 重写机制就是在重写时,Redis 根据数据库的现状创建一个新的 AOF 文件,也就是说,读取数据库中的所有键值对,然后对每一个键值对用一条命令记录它的写入。重写机制具有“多变一”功能。所谓的“多变一”,也就是说,旧日志文件中的多条命令,在重写后的新日志中变成了一条命令。

Redis持久化,如何避免宕机导致的数据丢失?

​重写的过程

AOF 日志由主线程写回不同,重写过程是由后台子进程 bgrewriteaof 来完成的,这也是为了避免阻塞主线程,导致数据库性能下降。

我把重写的过程总结为“一个拷贝,两处日志”。

“一个拷贝”就是指,每次执行重写时,主线程 fork 出后台的 bgrewriteaof 子进程。此时,fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程,这里面就包含了数据库的最新数据。然后,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数据写成操作,记入重写日志。

第一处日志,指的是因为主线程未阻塞,仍然可以处理新来的操作,Redis 会把这个操作写到它的缓冲区。这样一来,即使宕机了,这个 AOF 日志的操作仍然是齐全的,可以用于恢复。

第二处日志,就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这样,重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后,重写日志记录的这些最新操作也会写入新的 AOF 文件,以保证数据库最新状态的记录。

此时,我们就可以用新的 AOF 文件替代旧文件了。

Redis持久化,如何避免宕机导致的数据丢失?

​总结来说,每次 AOF 重写时,Redis 会先执行一个内存拷贝,用于重写;然后,使用两个日志保证在重写过程中,新写入的数据不会丢失。而且,因为 Redis 采用子进程进行日志重写,所以,这个过程并不会阻塞主线程

正因为记录的是操作命令,而不是实际的数据,所以,用 AOF 方法进行故障恢复的时候,需要逐一把操作日志都执行一遍。如果操作日志非常多,Redis 就会恢复得很缓慢,影响到正常使用。这当然不是理想的结果。那么,还有没有既可以保证可靠性,还能在宕机时实现快速恢复的其他方法呢?

RDB

对 Redis 来说,它实现类似照片记录效果的方式,把某一时刻的状态以文件的形式写到磁盘上,也就是快照(RDB 文件)。这样一来,即使宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。

和 AOF 相比,RDB 记录的是某一时刻的数据,并不是操作,所以,在做数据恢复时,我们可以直接把 RDB 文件读入内存,很快地完成恢复。

快照的原理

Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave。

  • save:在主线程中执行,会导致阻塞;

  • bgsave:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的阻塞,这也是 Redis RDB 文件生成的默认配置。

我们可以通过 bgsave 命令来执行全量快照,这既提供了数据的可靠性保证,也避免了对 Redis 的性能影响。

在执行快照的同时,Redis 就会借助操作系统提供的写时复制技术(Copy-On-Write, COW),正常处理写操作。bgsave 子进程是由主线程 fork 生成的,可以共享主线程的所有内存数据。bgsave 子进程运行后,开始读取主线程的内存数据,并把它们写入 RDB 文件。

如果主线程对这些数据也都是读操作(例如图中的键值对 A),那么,主线程和 bgsave 子进程相互不影响。但是,如果主线程要修改一块数据(例如图中的键值对 C),那么,这块数据就会被复制一份,生成该数据的副本(键值对 C’)。然后,主线程在这个数据副本上进行修改。同时,bgsave 子进程可以继续把原来的数据(键值对 C)写入 RDB 文件。

Redis持久化,如何避免宕机导致的数据丢失?

这样既保证了快照的完整性,也允许主线程同时对数据进行修改,避免了对正常业务的影响。

混合 AOF/RDB

虽然 bgsave 执行时不阻塞主线程,但是,如果频繁地执行全量快照,也会带来两方面的开销。

一方面,频繁将全量数据写入磁盘,会给磁盘带来很大压力,多个快照竞争有限的磁盘带宽,前一个快照还没有做完,后一个又开始做了,容易造成恶性循环(所以,在 Redis 中如果有一个 bgsave 在运行,就不会再启动第二个 bgsave 子进程)。

另一方面,bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然,子进程在创建后不会再阻塞主线程,但是,fork 这个创建过程本身会阻塞主线程,而且主线程的内存越大,阻塞时间越长。

Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说,内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作。这样一来,快照不用很频繁地执行,这就避免了频繁 fork 对主线程的影响。而且,AOF 日志也只用记录两次快照间的操作,也就是说,不需要记录所有操作了,因此,就不会出现文件过大的情况了,也可以避免重写开销。

Redis持久化,如何避免宕机导致的数据丢失?

​总结

最后,关于 AOF 和 RDB 的选择问题,我想再给你提三点建议:

    • 数据不能丢失时,内存快照和 AOF 的混合使用是一个很好的选择;

    • 如果允许分钟级别的数据丢失,可以只使用 RDB;

    • 如果只用 AOF,优先使用 everysec 的配置选项,因为它在可靠性和性能之间取了一个平衡。

原文链接:

继续阅读
weinxin
我的微信公众号
微信扫一扫关注公众号,不定时更新
auto
  • 版权声明 本文源自 infoQ - C++后台开发 整理 发表于 2023年 2月 4日 19:23:54
  • 转载请务必保留本文链接:https://wp.itlao6.com/10580.html