从 Hitachi Content Platform 到 MinIO 的自动迁移

我们编写了 HCP-to-MinIO 工具来帮助我们的客户将数据从 HCP 对象存储迁移到 MinIO。该工具可以从其GitHub 存储库免费下载。

我们开发这个工具是为了让许多在从 HCP 对象存储环境过渡到我们这里的客户的生活更轻松。原因多种多样。大多数情况下，它是迁移到软件定义的平台以及云和 Kubernetes 原生平台。这些是我们客户使用的现代应用程序堆栈的要求。第二个最常见的原因是提高混合对象大小（非常小和非常大）的性能。我们的客户告诉我们的反映了市场上更大的趋势——随着企业采用软件定义的 S3 兼容对象存储以获得更大的灵活性和云中立性，专用存储设备被大量淘汰。

HCP 到 MinIO 迁移

迁移过程中，建议不要写入HCP，只写入MinIO。客户通常会立即开始将 MinIO 视为主要对象存储。当对象被迁移到 MinIO 时，getobject首先调用 MinIO，如果 MinIO 中不存在该对象，则从 HCP 对象存储中读取该对象。一旦所有对象都被复制到 MinIO，这个回退选项就可以从代码中删除。在复制对象时，该工具会像在 HCP 中一样维护对象的修改时间戳。

该工具首先用于制作存储在 HCP 对象存储中的对象列表。然后，该列表用于从 HCP 对象存储下载对象并复制到 MinIO。该工具有两个命令（list和migrate）来完成此操作。

该list命令生成存储在 HCP 中的对象列表，并将其写入本地驱动器上的文件。然后将列表文件拆分为多个较小的列表文件，然后从多台客户端计算机执行 HCP-to-MinIO 工具。这种方式使用多个节点从 HCP 下载对象并将数据迁移到 MinIO，允许客户在最短的时间内使网络饱和并迁移尽可能多的数据。

迁移完成后，应用程序将使用与 S3 兼容的 API 与 MinIO 通信。数据现在可用于云原生分析和 AI/ML 框架。

下面给出了list和命令的用法。migrate将 HCP-to-MinIO 工具下载到您的工作站，然后运行list，然后运行migrate。

list: 列出 HCP 命名空间中的对象并下载到磁盘

NAME:
  hcp-to-minio list - List objects in HCP namespace and download to disk

USAGE:
  hcp-to-minio list --auth-token --namespace-url --host-header --dir

FLAGS:
  --auth-token value, -a value     authorization token for HCP
  --namespace-url value, -n value  namespace URL path, e.g https://namespace-name.tenant-name.hcp-domain-name/rest
  --host-header value              host header for HCP
  --data-dir value, -d value       path to work directory for tool
  --insecure, -i                   disable TLS certificate verification
  --log, -l                        enable logging
  --debug                          enable debugging
  --help, -h                       show help
  

EXAMPLES:
1. List objects in HCP namespace https://hcp-vip.example.com and download list to /tmp/data
     $ hcp-to-minio list --a "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" \
                  --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"

migrate- 将对象从 HCP 对象存储迁移到 MinIO

NAME:
  hcp-to-minio migrate - Migrate objects from HCP object store to MinIO

USAGE:
  hcp-to-minio migrate --auth-token --namespace-url --host-header --data-dir

FLAGS:
  --auth-token value, -a value     authorization token for HCP
  --namespace-url value, -n value  namespace URL path, e.g https://namespace-name.tenant-name.hcp-domain-name/rest
  --host-header value              host header for HCP
  --data-dir value, -d value       path to work directory for tool
  --bucket                         bucket name on HCP
  --input-file                     file that contains the list of objects to be migrated from HCP to MinIO
  --insecure, -i                   disable TLS certificate verification
  --log, -l                        enable logging
  --debug                          enable debugging
  --help, -h                       show help

您可以在开始迁移之前设置以下配置：

$ export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key> 
$ export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key> 
$ export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000
$ export MINIO_BUCKET=newbucket 
# optional, if unspecified HCP bucket name is used

创建临时目录来存放列表：

$ mkdir /tmp/data 
# temporary dir where output of listing is stored.

开始迁移：

$ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com
--auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d"
--host-header "s3testbucket.sandbox.hcp.example.com"
--data-dir /mnt/data
--bucket s3testbucket
--input-file /tmp/data/to-migrate.txt

立即迁移到 MinIO

升级您的基础架构和应用程序堆栈可能具有挑战性。我们创建了 HCP-to-MinIO 迁移工具，使您和您的组织更容易接受推动云向前发展的技术——S3 API 和 Kubernetes。是时候摆脱本地存储设备的束缚，体验地球上速度最快、可扩展性最强的对象存储了。

下载MinIO和HCP-to-MinIO 工具，立即开始使用。一如既往，如果您需要帮助规划或有其他问题，请发送电子邮件至sales@minio.org.cn。