RDS数据归档与恢复

[TOC]
# 背景需求
由于资源优化，将对一些大数据RDS实例进行优化，需要将其数据进行长期留存，OSS归档存储价格低廉，十分合适。

[OSS各类存储说明](https://help.aliyun.com/document_detail/51374.html "OSS各类存储说明")
[OSS各类存储价格](https://cn.aliyun.com/price/detail/oss "OSS各类存储价格")

根据文件的修改时间进行存储类型的转换，后续将转换为价格最低的冷归档存储类型。

## ECS配置
本次ECS的配置选的是2c4g500g。
ECS选型磁盘空间要大于解压前的RDS磁盘使用空间。
本次大数据的RDS磁盘使用空间是340G左右，加上xb包的88G，你的磁盘空间应该要购买500G左右的才行。

# 从RDS下载xb备份文件
![title](/api/file/getImage?fileId=6278daf52f0f82000b000255)
![title](/api/file/getImage?fileId=6278db272f0f82000b000256)
本次操作用的是内网地址`（从内网下载流量免费）`，从阿里云ECS发起`GET`请求：
> 以下是xxx的备份内网地址，为避免泄露将屏蔽一部分内容，具体可在上图中找到具体连接。

```
wget -c -t 0 "https://rdsbak-hz-v3.oss-cn-hangzhou-internal.aliyuncs.com/xxx_qp.xb?Expires=xxx&OSSAccessKeyId=xxx%3D&Region=cn-hangzhou&security-token=xxxx" -O ./xxx_qp.xb
```
# 上传xb文件到oss
> 上传文件也将在内网进行，速度比公网要快很多

[ossutil64下载及说明文档](https://help.aliyun.com/document_detail/120075.htm?spm=a2c4g.11186623.0.0.36381770qv5Qag#concept-303829 "ossutil64下载及说明文档")

## Linux系统下载ossutil64
```
wget https://gosspublic.alicdn.com/ossutil/1.7.11/ossutil64
```
## ossconfig
> 运行`ossutil64 config`会出现交互式的界面，完成填写后就会在当前用户的家目录中生成此配置文件。
注意`endpoint`用`内网`的，已在下列配置中体现。

```
[root@xxx]$ cat ~/.ossutilconfig
[Credentials]
language=EN
endpoint=https://oss-cn-hangzhou-internal.aliyuncs.com
accessKeyID=xxx
accessKeySecret=xxx
```

## 后台上传文件到OSS指定路径下
> 从ECS上通过内网上传到OSS中，实测88G左右的文件只用了15分钟左右。

```
nohup ossutil64 cp ./xxxx_qp.xb oss://rdsdata-backup/bigdata-guangdian-data/ &
```
![title](/api/file/getImage?fileId=6278db712f0f82000b000257)

# 模拟将数据恢复到自建mysql
## mysql 5.x 安装
参考：https://developer.aliyun.com/article/637827

## 将数据从OSS中拷贝到ECS实例
后续将bucket重建并选择了归档存储，这种类型的bucket下面的文件，都要解冻才能操作，解冻时间大约1分钟，解冻后文件可操作时间为1天。
![title](/api/file/getImage?fileId=6278dbab2f0f82000b000258)
![title](/api/file/getImage?fileId=6278dbd32f0f82000b000259)
![title](/api/file/getImage?fileId=6278dbf22f0f82000b00025a)
![title](/api/file/getImage?fileId=6278dc092f0f82000b00025b)

文件解冻后，从OSS拷贝文件到ECS
ossutil64配置可参考前面。
```
nohup ossutil64 cp oss://rdsdata-backup/bigdata-guangdian-data/xxxx_qp.xb ./ &
```
## 恢复的步骤具体操作可参考aliyun官方文档
> 本次测试都是基于mysql 5.x

https://help.aliyun.com/document_detail/41817.html

# 比对数据
通过DMS可将自建的ECS mysql直接加入进去，然后与源RDS实例的数据进行比对。

# 恢复到新的RDS
这个未作实验，可以用阿里的DTS的数据迁移，进行自建源到目标RDS的恢复，本文不做讨论。

导航

最近发表

友情链接