存储组件之MFS详解

MFS：MooseFS是一个具有冗余容错功能的分布式网络文件系统，具有高可靠性，高可扩展性，高可容错性和高数据一致性
应用场景：
1、大规模高并发的线上数据存储及访问（不论大文件还是小文件）
2、大规模的数据处理，如日志分析、小文件强调性能不用HDFS

二、组件

管理服务器 managing server，简称master：它是管理整个mfs文件系统的主服务器，出了分发用户请求外，还用来存储整个文件系统的metadata信息，包括目录、socket管道、块设备等的大小、属性、文件路径等内容
元数据备份服务器 metadata backup server，简称metalogger：此组件作用是备份管理服务器master的metadata信息日志文件，文件类型为changelog_ml.*.mfs，用于在管理服务器出现问题时，可以经过简单的操作让新的主服务器进行工作
数据存储服务器 data server(chunk server)，简称data：该组件是存放数据文件的实体服务器，可以由多台不同的物理服务器或不同的磁盘充当，当配置数据的副本多余一份时，或数据写入到另一台数据服务器后，会根据算法在其他数据服务器进行同步备份
客户机服务器组 client server，简称client：此组件是用于挂载使用mfs文件系统的客户端，当读写文件时，客户端会连接到主管理服务器获取数据的metadata信息，然后根据得到的元数据信息访问数据服务器读取或写入文件实体，mfs客户端通过fuse机制实现挂载mfs文件系统的目的。因此，只要系统支持fuse，就可以作为客户端访问mfs整个文件系统

三、安装使用

实验环境：
|IP|备注|
|–|--|
| 192.168.43.200 | master节点 |
| 192.168.43.201 | Metalogger节点 |
| 192.168.43.202 | chunk server节点1 |
| 192.168.43.203 | chunk server节点2 |
| 192.168.43.204 | client节点 |

1. 前期准备
   准备yum源，以centos7为例

   curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
   curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

   2.

   Master主节点

   安装主程序

   yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

   修改解析/etc/hosts

   192.168.43.200 mfsmaster

   启动服务

    

   systemctl start moosefs-master
   systemctl start moosefs-cgiserv

   1. 访问http://192.168.43.20:9425，出现则表示主节点部署完成

   2. 元数据节点Metaloger Server部署
      安装软件 yum install -y moosefs-metalogger
      修改解析/etc/hosts

      192.168.43.200   mfsmaster

      启动服务

      systemctl start moosefs-metalogger

      1. 存储服务器chunk server部署
         存储节点1：
         安装软件包yum install -y moosefs-chunkserver
         修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
         配置数据目录
         bash mkdir /mnt/chunk1 chown mfs.mfs /mnt/chunk1 #存储是mfs的块文件 echo '/mnt/chunk1'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
         启动服务
         bash systemctl start moosefs-chunkserver
         存储节点2：
         安装软件包yum install -y moosefs-chunkserver
         修改解析/etc/hosts
bash 192.168.43.200 mfsmaster
         配置数据目录
         bash mkdir /mnt/chunk2 chown mfs.mfs /mnt/chunk2 #存储是mfs的块文件 echo '/mnt/chunk2'>> /etc/mfs/mfshdd.cfg #定义mfs共享点
         启动服务
         bash systemctl start moosefs-chunkserver
         验证
         
         

      2. client客户端部署
         安装软件包yum install -y moosefs-client
         修改解析/etc/hosts

         192.168.43.200   mfsmaster

         定义客户端默认挂载vi /etc/mfs/mfsmount.cfg

         mfsmaster=mfsmaster # 挂载地址
         /mnt/mfs # 挂载目录