如何在 AWS EC2 上以分布式模式安装 MinIO

admin admin Matt Sarrel

on 性能 2023-03-31 14:31:05

AWS 拥有超过 100 万个 MinIO 公共云部署中的大部分。这是我们在 AWS Marketplace 中构建托管应用程序的原因之一，只需单击几下即可部署。

将 MinIO 作为托管应用程序运行不仅提供了简化的部署，还通过自动化和与其他 AWS 组件的透明集成来卸载操作。这是开始开发由 MinIO 支持的应用程序的一种快速、简单的方法。

作为开发人员，我们也知道开发人员喜欢按照自己的方式灵活地做事。本着真正的 MinIO 精神，我们希望您能够根据自己的喜好进行定制，因此我们确保您拥有实现这一目标所需的一切。

如果您想了解如何根据您的规范快速轻松地在 AWS 上部署 MinIO，请继续阅读。

这是关于如何在 AWS EC2 上部署 MinIO 的指南。在本指南中，我们使用 EBS 卷设置了一个 16 TiB 实例。

在https://aws.amazon.com/console/创建 4 个 AWS 实例
首先登录您的帐户：“登录控制台”
提供您的账户 ID、IAM 用户名和密码
点击“登录”
登录后转到“EC2”链接
并通过单击“启动实例”来启动实例

7. 选择也称为 AMI 的 Amazon Machine Image。在这种情况下，我们将从顶部使用具有 x86 架构的 Amazon Linux AMI。

8. 然后，选择您要测试或使用的实例类型。请记住，随着硬件容量的增加，它们可能会变得非常昂贵。您可以使用AWS 计算器根据使用时间估算您将支付的价格。对于此示例，我们将使用c6i.metal实例类型。

9. 然后点击“Next: Configure Instance Details”，这样你就可以选择要用于MinIO的机器数量。然后选择其中的4个。

Screen Shot 2022-02-03 at 1.46.47 PM.png

10. 选择 4 后，单击“下一步：添加存储”并添加 4 个额外的卷以在分布式模式下运行 MinIO。有几件事要记住。首先注意，因为我们使用的是EBS类型的存储，那么你配置哪个设备号其实并不重要，只要后面连续映射就行。尺寸由您决定，取决于您的需要。寻找最佳性价比并设置您的配置。请记住在实例终止后删除或移除磁盘，以免产生额外费用。

一旦完成并且您对此感到满意，就可以添加标签。这取决于您的组织以及您计划如何使用 AWS。至少，拥有一些标签可以让您更轻松地查找和终止实例是有用的：

function get_running_instances_by_tag() {
# To get all running instance by tag
aws ec2 describe-instances \
--filters Name=tag-key,Values=$1 Name=instance-state-name,Values=running \
--query 'Reservations[*].Instances[*].InstanceId' \
--output text
}

function terminate_instances() {
# To terminate all instances by id
echo "terminating instance id: ${instance_id}"
aws ec2 terminate-instances --instance-ids $@
}

11.接下来，让我们配置安全组。这对您通过 SSH 连接并允许通过 TCP 上的端口 9000 访问 MinIO 进行管理很重要。

12. 现在您可以查看并启动实例，作为最后一步，添加密钥对，以便您可以使用 .pem 文件轻松地通过 ssh 连接到您的主机。

Screen Shot 2022-02-03 at 2.19.31 PM.png

13.等待实例处于运行状态，以便您可以连接并配置每个主机以安装MinIO。

Screen Shot 2022-02-03 at 2.22.11 PM.png

14. 在等待期间，您可以使用 AWS CLI 自动检查状态：

printHeader 2 "Check the status of the instances to be running state"
counter=$NUMBER_OF_MACHINES
while [ $counter -gt 0 ]
do
counter=$NUMBER_OF_MACHINES
for instance_id in "${INSTANCES[@]}"
do
state=$(aws ec2 describe-instance-status \
--instance-ids $instance_id \
| jq ".InstanceStatuses[0].InstanceState.Name")
echo "instance: ${instance_id}, state: ${state}"
if [ "$state" = '"running"' ]; then
counter=$(( $counter - 1 ))
fi
done
sleep 5
done

15. 实例运行后，您现在可以继续通过 SSH 连接到每个主机。我们要做的第一件事是更改 /etc/hosts 文件以允许机器之间的安全通信：

ssh -i "celis.pem" ec2-user@ec2-3-239-64-1.compute-1.amazonaws.com
ssh -i "celis.pem" ec2-user@ec2-3-235-86-144.compute-1.amazonaws.com
ssh -i "celis.pem" ec2-user@ec2-3-236-38-32.compute-1.amazonaws.com
ssh -i "celis.pem" ec2-user@ec2-35-170-62-128.compute-1.amazonaws.com

16. 并将此部分添加到每个实例的 /etc/hosts 文件中：

172.31.77.115 host1
172.31.79.85 host2
172.31.74.75 host3
172.31.65.97 host4

请注意，我们使用的是实例的私有 IP 地址。您将需要改用实例的 IP 地址。

17. 接下来，让我们创建我们将在其中映射设备的目录。同样，您必须为每个 AWS 实例执行此操作：

mkdir /mnt/data1
mkdir /mnt/data2
mkdir /mnt/data3
mkdir /mnt/data4

mount /dev/sdb1 /mnt/data1
mount /dev/sdc1 /mnt/data2
mount /dev/sdd1 /mnt/data3
mount /dev/sde1 /mnt/data4

18. 我们现在到了最后阶段。在每个节点上下载、安装并运行minio：

wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
MINIO_ROOT_USER=admin
MINIO_ROOT_PASSWORD=password
./minio server http://host{1...4}/mnt/data{1...4}

Screen Shot 2022-02-03 at 3.11.44 PM.png

19. 安装 MinIO Client (mc) 来管理集群。下载应用程序，将其设置为可执行文件并配置凭据。为了快速设置和验证，我们在与 MinIO 服务器相同的实例上运行 mc。您可以按照我们的示例或在另一个实例上安装 mc，或者在您希望的任何地方然后远程访问您的 MinIO 实例。

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
MINIO_ROOT_USER=admin
MINIO_ROOT_PASSWORD=password

20.设置别名，方便你通过mc登录和管理MinIO。

[root@ip-172-31-77-115 ec2-user]# ./mc alias set myminio http://localhost:9000 minioadmin minioadmin
mc: Configuration written to `/root/.mc/config.json`. Please update your access credentials.
mc: Successfully created `/root/.mc/share`.
mc: Initialized share uploads `/root/.mc/share/uploads.json` file.
mc: Initialized share downloads `/root/.mc/share/downloads.json` file.Added `myminio` successfully.

21. 最后，让我们用我们的新功能SpeedTest来测量 MinIO 的速度。这将运行一系列简短的自动化测试，以快速验证您的部署是否正常运行。

[root@ip-172-31-77-115 ec2-user]# ./mc admin speedtest myminio

THROUGHPUT IOPS
PUT 2.4 GiB/s 38 objs/s
GET 4.6 GiB/s 73 objs/s

Speedtest: MinIO 2022-02-01T18:00:14Z, 4 servers, 16 drives, 64 MiB objects, 72 threads
[root@ip-172-31-77-115 ec2-user]#

今天在 AWS EC2 上部署 MinIO

感谢您阅读本教程。您现在已经安装了 MinIO 并验证了性能。现在您可以使用 MinIO 控制台、mc 或 API 来创建存储桶并进一步配置您的部署。如果您有任何疑问，请通过 sales@minio.org.cn 联系我们或加入Slack 社区。

S3 选择人工智能/机器学习现代数据湖 Apache Presto 安全数据库性能 S3 品牌/设计 Golang 编程 Kubernetes SFD 基准开源集成多云云计算微服务 Apache Hadoop Docker AWS Azure GCP 建筑师指南奖项可观察性 Apache Spark 操作指南安全咨询 AGPLv3 子网分析 Splunk 英特尔边缘计算 Veeam Sidekick R 安全设计 H20 开发运维 Apache Hudi Apache Nifi YouTube摘要不变性软件定义的存储 Apache Arrow VMware 混合云云原生红帽OpenShift 可扩展性 Cloud Field Day Apache Kafka EKS 弹性负载均衡器持续集成对象存储遵守 Opentelemetry BC/DR 存储通讯预测最佳实践

今天在 AWS EC2 上部署 MinIO

获取报价

选择方案

选择容量