详解 Redis 迁移工具 redis-shark4.0.3-码上建站

当前位置：首页 >数据库 >详解 Redis 迁移工具 redis-shark4.0.3

详解 Redis 迁移工具 redis-shark4.0.3

发布时间：2025-11-05 13:05:13 来源：码上建站作者：域名

作者 | 吴守阳

审校 | 重楼

简介

RedisShake 是详解一个用于处理和迁移 Redis 数据的工具，它提供以下特性：

阿里云-云数据库 Redis 版阿里云-云原生内存数据库Tair AWS - ElastiCache AWS - MemoryDB

迁移模式介绍

目前，详解 RedisShake 有三种迁移模式：PSync、移工RDB 和 SCAN，详解分别对应 sync_reader、rdb_reader 和 scan_reader。

IT技术网

当源端 Redis 以 cluster 架构部署时，可以使用 sync_reader 或者 scan_reader。两者配置项中均有开关支持开启 cluster 模式，会通过 cluster nodes 命令自动获取集群中的所有节点，并建立连接。

当源端 Redis 以 sentinel 架构部署且 RedisShake 使用 sync_reader 连接主库时，会被主库当做 slave，从而有可能被 sentinel 选举为新的 master。

为了避免这种情况，应选择备库作为源端。

主流云厂商都提供了 Redis 服务，不过有几个原因导致在这些服务上使用 RedisShake 较为复杂：

服务器托管

下文会结合实践经验，介绍一些特殊场景下的 RedisShake 使用方案。

「云数据库 Redis」与「云原生内存数据库Tair」都支持 PSync 协议，推荐使用 sync_reader。用户需要创建一个具有复制权限的账号（可以执行 PSync 命令），RedisShake 使用该账号进行数据同步，具体创建步骤见创建与管理账号。

例外情况：

在不支持 PSync 协议的场景下，可以使用 scan_reader。需要注意的是，scan_reader 会对源库造成较大的压力。云服务器

优选 sync_reader, AWS ElastiCache and MemoryDB 默认情况下没有开启 PSync 协议，但是可以通过提交工单的方式请求开启 PSync 协议。AWS 会在工单中给出一份重命名的 PSync 命令，比如 xhma21yfkssync 和 nmfu2bl5osync。此命令效果等同于 psync 命令，只是名字不一样。用户修改 RedisShake 配置文件中的 aws_psync 配置项即可。对于单实例只写一对 ip:port@cmd 即可，对于集群实例，需要写上所有的 ip:port@cmd，以逗号分隔。

不方便提交工单时，可以使用 scan_reader。需要注意的是，scan_reader 会对源库造成较大的压力。

安装

迁移配置

执行：

恢复/opt/bakredis-shake.bak/local_dump.0文件

恢复/opt/bakredis-shake.bak/local_dump.1文件

恢复/opt/bakredis-shake.bak/local_dump.2文件

scan_reader 通过 SCAN 命令遍历源端数据库中的所有 Key，并使用 DUMP 与 RESTORE 命令来读取与写入 Key 的内容。

注意：

Redis 的 SCAN 命令只保证 SCAN 的开始与结束之前均存在的 Key 一定会被返回，但是新写入的 Key 有可能会被遗漏，期间删除的 Key 也可能已经被写入目的端。这可以通过 ksn 配置解决。

SCAN 命令与 DUMP 命令会占用源端数据库较多的 CPU 资源。

其中：

cluster：源端是否为集群。

address：源端地址，当源端为集群时，address 为集群中的任意一个节点即可。

鉴权：

当源端使用 ACL 账号时，配置 username 和 password。

当源端使用传统账号时，仅配置 password。

当源端无鉴权时，不配置 username 和 password。

tls：源端是否开启 TLS/SSL，不需要配置证书。因为 RedisShake 没有校验服务器证书。

ksn：开启 ksn 参数后， RedisShake 会在 SCAN 之前使用 Redis keyspace notifications 能力来订阅 Key 的变化。当 Key 发生变化时，RedisShake 会使用 DUMP 与 RESTORE 命令来从源端读取 Key 的内容，并写入目标端。

dbs：源端为非集群模式时，支持指定DB库。

WARNING

Redis keyspace notifications 不会感知到 FLUSHALL 与 FLUSHDB 命令，因此在使用 ksn 参数时，需要确保源端数据库不会执行这两个命令。

function模式

RedisShake 通过提供 function 功能，实现了的 ETL(提取-转换-加载) 中的 transform 能力。通过利用 function 可以实现类似功能：

...

要使用 function 功能，只需编写一份 lua 脚本。RedisShake 在从源端获取数据后，会将数据转换为 Redis 命令。然后，它会处理这些命令，从中解析出 KEYS、ARGV、SLOTS、GROUP 等信息，并将这些信息传递给 lua 脚本。lua 脚本会处理这些数据，并返回处理后的命令。最后，RedisShake 会将处理后的数据写入到目标端。

以下是一个具体的例子：

DB 是 RedisShake 提供的信息，表示当前数据所属的 db。shake.log 用于打印日志，shake.call 用于调用 Redis 命令。上述脚本的目的是丢弃源端 db 0 的数据，将其他 db 的数据写入到目标端。

除了 DB，还有其他信息如 KEYS、ARGV、SLOTS、GROUP 等，可供调用的函数有 shake.log 和 shake.call，具体请参考 function API。

function API

因为有些命令中含有多个 key，比如 mset 等命令。所以，KEYS、KEY_INDEXES、SLOTS 这三个变量都是数组类型。如果确认命令只有一个 key，可以直接使用 KEYS[1]、KEY_INDEXES[1]、SLOTS[1]。

最佳实践

效果是只将 key 以 user: 开头的源数据写入到目标端。没有考虑 mset 等多 key 命令的情况。

效果是丢弃源端 db 0 的数据，将其他 db 的数据写入到目标端。

可以通过 GROUP 变量来判断数据结构类型，支持的数据结构类型有：STRING、LIST、SET、ZSET、HASH、SCRIPTING 等。

过滤 Hash 类型数据

效果是丢弃源端的 hash 类型数据，将其他数据写入到目标端。

效果是丢弃源端的 lua 脚本，将其他数据写入到目标端。常见于主从同步至集群时，存在集群不支持的 LUA 脚本。

效果是将源端的 key prefix_old_key 写入到目标端的 key prefix_new_key。

效果是将源端的 db 1 写入到目标端的 db 2，将源端的 db 2 写入到目标端的 db 1, 其他 db 不变。

注意事项

作者简介

吴守阳，51CTO社区编辑，拥有8年DBA工作经验，熟练管理MySQL、Redis、MongoDB等开源数据库。精通性能优化、备份恢复和高可用性架构设计。善于故障排除和自动化运维，保障系统稳定可靠。具备良好的团队合作和沟通能力，致力于为企业提供高效可靠的数据库解决方案。

随便看看