Skip to main content

Glusterfs rpm 설치

Centos환경에서 GlusterFS설치 및 운용

  1. 다운로드 : http://download.gluster.org/pub/gluster/glusterfs/3.3/3.3.1/CentOS/
  2. 설치
    $> yum install -y fuse
    $> rpm -ivh glusterfs-3.3.1-1.el5.i386.rpm
    $> rpm -ivh glusterfs-fuse-3.3.1-1.el5.i386.rpm
    $> rpm -ivh glusterfs-devel-3.3.1-1.el5.i386.rpm
    $> rpm -ivh glusterfs-server-3.3.1-1.el5.i386.rpm
  3. gluster 데몬 실행으로 설정
    $> /etc/rc.d/init.d/glusterd start
    $> chkconfig glusterd on
    # 관련경로
    # /etc/glusterfs/, /var/lib/glusterd/
  4. 서버에 fuse 모듈 적용 및 확인하기
    modprobe fuse
    echo "modprobe fuse" >> /etc/rc.local
    dmesg | grep -i fuse

    fuse init (API version 7.10) <-- 해당 내용이 없으면 fuse 모듈 적재가 안된 부분임.
  5. Storage Pool 구성
    1. 1. Management 서버에서 스토리지로 연결할 서버 등록(자신은 등록하지 않아도 됨)
      gluster peer probe 서버IP
      ef) gluster peer probe 192.168.150.19
  6. Pool 확인
    [root@localhost ]# gluster peer status
    Number of Peers: 1
    Hostname: 192.168.150.19
    Uuid: 0bb2e93b-1ab1-4420-91c0-e5bcf203586b
    State: Peer in Cluster (Connected)
  7. Storage pool 제거
    gluster peer detach 서버IP
    # ef) gluster peer detach 192.168.150.19
  8. Volume 구성정보
    1. Volume 구성방식은 Distributed(분산저장, 기본)
      • 데이터가 들어오면 Brick중 한군데 서버에 저장이 됨
      • Distributed 모드에서 어느 하나 Brick이 중단될 경우, 중단된 Brick이 가지고 있는 데이터는 보이지 않게 됨.
    2. replicated(분산저장, replication 수 만큼 파일복사)
      • 데이터가 들어오면 Brick이 모두 데이터를 가지게 됨, 가장 안정적. 
    3. stripe(단독저장) 로 구성가능
      1. 데이터가 들어오면 한 데이터를 Brick에 분산 저장됨
      2. Stripe 모드에서 어느 하나 Brick이 중단될 경우, 데이터가 깨짐
  9. volume 생성 (Distributed 방식)
    gluster volume create 볼륨이름 vmlnx001:/data vmlnx002:/data vmlnx003:/data vmlnx004:/data
    \\ef) gluster volume create data 192.168.150.18:/data 192.168.150.19:/data
    \\\\gluster> volume status data
    Status of volume: data
    Gluster process                                         Port    Online  Pid
    \\------------------------------------------------------------------------------
    \\Brick 192.168.150.18:/data                              24011   Y       3245
    Brick 192.168.150.19:/data                              24011   Y       2481
    NFS Server on localhost                                 38467   Y       3251
    NFS Server on 192.168.150.19                            38467   Y       2487
    \\gluster> volume info data
    Volume Name: data
    Type: Distribute
    Volume ID: 556d6065-f888-4198-8782-65bc03979a0b
    Status: Started
    Number of Bricks: 3
    Transport-type: tcp
    Bricks:
    Brick1: 192.168.150.18:/data
    Brick2: 192.168.150.19:/data
    Brick3: 192.168.150.16:/data
  10. volume 생성 (Replicate 방식)
    gluster> volume create data replica 2 192.168.150.18:/data 192.168.150.19:/data
    \\생성한 volume 확인
    gluster> volume info all
    Volume Name: data
    Type: Replicate
    Volume ID: c2ecd1b8-708e-47d4-8f15-adcd1b081987
    Status: Started
    Number of Bricks: 1 x 2 = 2
    Transport-type: tcp
    Bricks:
    Brick1: 192.168.150.19:/data
    Brick2: 192.168.150.18:/data
  11. volume 생성 (stripe 방식)
    gluster volume create data stripe 2 transport tcp 192.168.150.18:/data 192.168.150.19:/data
  12. volume 생성시 기존에 생성된 volume일 경우, 생성이 실패 한다

    ef) gluster volume create data replica 3 192.168.150.18:/data 192.168.150.19:/data 192.168.150.16:/data
    \\/data or a prefix of it is already part of a volume
    • 이 경우, 등록한 노드 폴더에 들어가면, .glusterfs라는 폴더가 존재한다.
      root@localhost data]# ls -al
      합계 44
      drwxr-xr-x  4 root root  4096 12월  6 16:00 .
      drwxr-xr-x 24 root root  4096 12월  6 16:01 ..
      drw-------  7 root root  4096 12월  6 15:17 .glusterfs
      drwx------  2 root root 16384 12월  5 13:48 lost+found



      해결책은 해당 폴더 권한 수정 후 폴더 삭제하면 된다.
      setfattr -x trusted.glusterfs.volume-id /data/
      setfattr -x trusted.gfid /data/
      rm -rf .glusterfs

  13. 생성할 볼륨 활성화
    gluster> volume start data
  14. 생성한 볼륨 접근 허가 대역 지정
    gluster volume set <volume_name> auth.allow <허가IP대역>
    ef) gluster> volume set data  auth.allow 192.168.150.*
  15. Volume 삭제 방법
    gluster volume stop <volume_name>
    gluster volume delete <volume_name>
    # ef)
    # gluster volume stop data
    # gluster volume delete data
  16. 생성한 Volume 마운트
    mount -t glusterfs <server_name>:<volume_name> <mount point>
    mount -t glusterfs 192.168.150.18:/data /test/
    \\[root@localhost ]# df -h
    Filesystem            Size  Used Avail Use% Mounted on
    /dev/sda2             4.9G  1.5G  3.2G  31% /
    /dev/sda5             9.6G  151M  9.0G   2% /data
    /dev/sda1              99M   12M   83M  13% /boot
    tmpfs                1014M     0 1014M   0% /dev/shm
    glusterfs#192.168.150.18:/data
                         9.6G  151M  9.0G   2% /test
  17. 자동으로 마운트시 /etc/fstab에 내용 추가
    192.168.150.18:/data    /mnt                    glusterfs defaults,_netdev      0 0
    1*. 이 경우, netfs 서비스가 활성화 되어있어야 재부팅 해도 마운트를 한다.
  18. Volume 확장
    용량 부족시 증설가능 (replicate모드는 최초 설정한 Brick만큼 추가 해 주어야 한다.)
    \\gluster volume add-brick dist_vol 172.27.0.9:/data
    ef) gluster volume add-brick data 192.168.150.16:/data
    Brick추가 후 volume 상태
    \\추가 전)
    gluster> volume status data
    Status of volume: data
    Gluster process                                         Port    Online  Pid
    ------------------------------------------------------------------------------
    Brick 192.168.150.18:/data                              24011   Y       3245
    Brick 192.168.150.19:/data                              24011   Y       2481
    NFS Server on localhost                                 38467   Y       3251
    NFS Server on 192.168.150.16                            38467   Y       4216
    NFS Server on 192.168.150.19                            38467   Y       2487
    \\추가 후)
    gluster> volume status data
    Status of volume: data
    Gluster process                                         Port    Online  Pid
    ------------------------------------------------------------------------------
    Brick 192.168.150.18:/data                              24011   Y       3245
    Brick 192.168.150.19:/data                              24011   Y       2481
    Brick 192.168.150.16:/data                              24011   Y       4384
    NFS Server on localhost                                 38467   Y       3268
    NFS Server on 192.168.150.16                            38467   Y       4390
    NFS Server on 192.168.150.19                            38467   Y       2501
  19. 성능튜닝
    gluster> volume set data performance.write-behind-window-size 1024MB
    gluster> volume set data  performance.cache-size 512MB