使用 mc 将数据迁移到 AWS Snowball 或从中迁移数据

随着数据的增长，与移动数据相关的挑战也随之增长。确实，将PB数据从AWS迁移出来所需要的带宽成本，比将其保留多年的成本还要高。尽管如此，客户仍然经常需要以一定的频率转移大量的数据（从TB的100TB到PB）。

亚马逊知道这一点，并以其高度关注客户的方式在亚马逊Snowball中提出了一个聪明的解决方案。Snowball价格合理，可以移动大量数据。他们的“常见问题”页面中的此便捷表格提供了一些上下文。在这些速度下，FedEx和UPS是更好的选择。

但是，有一个问题值得注意，那就是Amazon的CLI（用于提取数据）非常有限。将数据移出Snowball之前，需要一个等效容量的暂存区域，然后才能将其移至另一个对象存储系统。暂存区域必须是NAS或文件系统。

为了方便将数据从AWS的Snowball直接直接移动到另一个与S3兼容的对象存储，我们使用了流行的MinIO Client（MC）工具。

Snowball会说S3，但我们注意到它仅以有限的方式这样做。

通过增强mc以将Snowball识别为S3兼容对象存储服务器，可以获取所有mc命令来管理Snowball上的数据。通过添加我们的网关（如Azure，HDFS，NAS，GCS，阿里巴巴），用户甚至可以将数据从Snowball迁移到不兼容的S3对象存储，或从不兼容的S3对象存储迁移。

随意镜像，迁移和移动。

最新版本提供了此增强功能，对于数据/开发人员/基础架构专业人员而言，将大量数据移入和移出AWS确实非常简单。

下载最新的MC：

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

虽然这肯定会加快那些希望将其部分或全部数据返还的人们的工作，但如果客户需要的话，它也将使将数据轻松存储到AWS S3上变得更加容易。

以下是为AWS Snowball配置mc的说明。如前所述，Amazon Snowball实现了受限制的S3 API。

最新版本的mc将自动检测到Snowball并相应地运行。

在开始之前，用户必须按此处所述获取AWS Snowball凭证。

有两种移动数据的方法，安全的和不安全的。尽管我们建议使用安全方法，但我们在此处详细介绍了两者。

安全（推荐）

在将mc配置为使用HTTPs终结点之前，请确保获取本文档之后的当前Snowball Edge证书。

获得证书后，其外观应类似于以下证书：

~ mkdir -p ${HOME}/.mc/certs/CAs
~ snowballEdge get-certificate --certificate-arn arn:aws:snowball-device:::certificate/78EXAMPLE516EXAMPLEf538EXAMPLEa7 > ${HOME}/.mc/certs/CAs/snowball.pem

保存证书。下一步是使用获得的凭据创建别名，如下所示：

~ mc config host add mysnowball https://:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY

无抵押

Snowball还暴露了一个不安全的端点，没有证书。

~ mc config host add mysnowball https://:8443 YOUR-SNOWBALL-ACCESS-KEY YOUR-SNOWBALL-SECRET-KEY

完成后，我们现在将注意力转向MinIO端点。

开始镜

假设您已将MinIO服务器配置为“ myminio”，请启动镜像以将Amazon Snowball上的所有存储桶和所有对象复制到MinIO。

~ mc mirror mysnowball/ myminio/

瞧！

现在，从mc的角度来看，您的Snowball是一流的对象存储服务器。

如果您有任何特定问题，请给我们sales@minio.org.cn或加入Slack上的对话。我们在这里为您提供帮助。