05. Proxmox 설치준비
Proxmox VE 설치 전 설계
Proxmox VE 설치 자체는 어렵지 않습니다. ISO로 부팅해 설치 디스크와 관리 IP를 지정하면 기본 웹 UI에 접속할 수 있습니다.
하지만 운영 가능한 가상화 플랫폼을 만드는 일은 설치보다 설계가 중요합니다. 운영 VM이 늘어난 뒤에는 스토리지 구조, 관리 IP, VLAN, 클러스터 통신망, 백업 저장소를 변경하는 비용이 커질 수 있습니다.
설치 전에 최소한 다음을 결정해야 합니다.
- 단일 노드인지, 다중 노드 클러스터인지
- VM·컨테이너 수와 1~2년 후 예상 규모
- CPU, 메모리, 디스크 I/O, 네트워크 요구사항
- Local-LVM, ZFS, NFS, iSCSI, Ceph 중 스토리지 전략
- 백업 저장소, RPO, RTO, 복구 테스트 방식
- 관리망, 서비스망, 스토리지망, Corosync망 분리 정책
- HA, Quorum, N+1 용량 계획 필요 여부
- 폐쇄망의 패키지·ISO·템플릿·인증서 운영 방식
요구사항부터 정의하기
장비 사양보다 먼저 서비스 요구사항을 정리해야 합니다.
| 구분 | 확인할 질문 |
|---|---|
| 용도 | 홈랩, 개발·검증, 사내 서비스, 고객사 운영 중 어디에 해당하는가 |
| 워크로드 | Kubernetes, GitLab, Harbor, DB, Windows, 모니터링 중 무엇을 운영하는가 |
| 규모 | 초기와 향후 VM·컨테이너 수는 얼마나 되는가 |
| 가용성 | 노드 장애 시 서비스 중단을 허용할 수 있는가 |
| 복구 목표 | RPO와 RTO는 얼마인가 |
| 성능 | CPU, 메모리, 디스크 I/O의 피크 부하는 무엇인가 |
| 보안 | 관리망 분리, RBAC, MFA, 사설 CA, 감사 요구사항이 있는가 |
| 운영 | 누가 패치, 백업, 장애 대응, 복구 테스트를 담당하는가 |
| 자동화 | 템플릿, Cloud-Init, Ansible, Terraform, API를 사용할 것인가 |
홈랩·개발 환경
├── 단일 노드 또는 소규모 구성
├── 로컬 스토리지
├── 별도 NAS 또는 PBS 백업
└── 장애 시 수동 복구 가능
운영 서비스 환경
├── 3노드 이상 클러스터 검토
├── 관리·서비스·스토리지·백업망 분리
├── HA와 N+1 용량 계획
├── 공유 스토리지 또는 Ceph 검토
└── 백업·복구·장애 대응 절차 필요
단일 노드와 클러스터
| 항목 | 단일 노드 | 다중 노드 클러스터 |
|---|---|---|
| 비용·구축 난이도 | 낮음 | 높음 |
| 노드 장애 대응 | 백업 기반 수동 복구 | HA 설계 시 다른 노드에서 재기동 가능 |
| 유지보수 | 서비스 중단 가능성 있음 | 마이그레이션 후 순차 유지보수 가능 |
| 핵심 고려사항 | 백업, 복구, 관리 접근 | Quorum, Corosync, 스토리지, N+1 용량 |
| 적합한 환경 | 홈랩, 학습, 소규모 개발 | 중요 서비스, 다수 VM, 가용성 요구 환경 |
단일 노드는 HA가 없다는 뜻이지, 백업·보안·모니터링·표준화가 필요 없다는 뜻은 아닙니다. 단일 노드라도 별도 백업 저장소, VM 템플릿, 관리 접근 제어, 패치 정책, 실제 복구 테스트를 준비해야 합니다.
클러스터는 여러 노드를 하나의 관리 도메인으로 묶고, 필요 시 VM을 다른 노드로 이동하거나 HA 대상 VM을 재기동할 수 있게 합니다. 하지만 클러스터 자체가 백업·DR·무중단 서비스를 보장하지는 않습니다.
Proxmox VE Cluster
├── pve-01
├── pve-02
└── pve-03
│
├── Corosync / Quorum
├── HA Manager
└── Shared Storage, ZFS Replication, 또는 Ceph
운영 HA 환경은 일반적으로 3노드 이상을 우선 검토합니다. 2노드 구성은 네트워크 분리 시 Split Brain을 방지하기 위한 QDevice 등 별도 Quorum 설계가 필요합니다.
Proxmox 클러스터는 노드 간 UDP 5405~5412 통신, 시간 동기화, SSH 연결이 필요하며, 안정적인 LAN 수준의 저지연 네트워크가 중요합니다.
CPU와 메모리 설계
KVM 기반 VM에는 Intel VT-x 또는 AMD-V 지원 CPU와 메인보드가 필요합니다. PCI Passthrough나 SR-IOV를 사용할 계획이라면 Intel VT-d 또는 AMD IOMMU도 확인해야 합니다.
# Intel: vmx, AMD: svm 플래그 확인
grep -E -c '(vmx|svm)' /proc/cpuinfo
# 가상화 관련 정보 확인
lscpu | grep -i virtualization
CPU는 총 vCPU 수보다 동시 사용량을 기준으로 산정합니다. 일반 웹 서비스처럼 유휴 시간이 많은 VM은 CPU overcommit을 활용할 수 있지만, CI 빌드, DB, Kubernetes Worker, 이미지 빌드, 백업·압축 작업은 동시에 CPU를 많이 사용할 수 있습니다.
메모리는 CPU보다 보수적으로 설계해야 합니다. CPU 부족은 주로 성능 저하로 이어지지만, 메모리 부족은 guest 또는 host OOM, swap, VM 불안정으로 이어질 수 있습니다.
| 환경 | 메모리 설계 포인트 |
|---|---|
| Local-LVM 단일 노드 | 호스트 운영 메모리 + VM 메모리 + 성장 여유 |
| ZFS 단일 노드 | VM 메모리 외에 ARC 캐시와 호스트 여유 고려 |
| HA 클러스터 | 노드 장애 시 핵심 VM을 수용할 N+1 여유 |
| Ceph HCI | VM 메모리 + Ceph OSD 메모리 + 호스트 여유 |
HA 환경에서는 평상시 평균 사용률보다 “가장 큰 노드가 장애 났을 때 남은 노드가 핵심 워크로드를 수용할 수 있는가”를 기준으로 N+1 용량을 산정해야 합니다.
스토리지 선택
| 스토리지 | 특징 | 적합한 환경 |
|---|---|---|
| Local-LVM / LVM-thin | 단순한 로컬 블록 스토리지 | 단일 노드, 일반 VM |
| ZFS | 체크섬, 스냅샷, 복제, 소프트웨어 RAID | 단일 노드·소규모 환경 |
| NFS | NAS 기반 공유 파일 스토리지 | 백업, ISO, 공유 VM 스토리지 |
| iSCSI / FC | SAN 기반 공유 블록 스토리지 | 기존 엔터프라이즈 스토리지 환경 |
| Ceph RBD | 분산 스토리지와 HCI | 다중 노드·HA·확장성 요구 환경 |
| Proxmox Backup Server | 전용 백업 저장소 | VM·컨테이너 백업과 복구 |
ZFS를 선택한다면 디스크를 OS에 직접 노출하는 HBA, JBOD, IT Mode 구성을 우선 검토합니다. ZFS는 디스크 무결성과 오류 처리를 직접 관리하는 구조에 적합하므로, 일반적인 하드웨어 RAID 논리 볼륨 위에 올리는 방식은 권장하지 않습니다.
권장 ZFS 구조
Physical Disks
│
HBA / JBOD / IT Mode
│
ZFS Pool
│
ZVOL / Dataset
│
VM Storage
VM 스토리지는 랜덤 I/O가 많으므로 성능이 중요하면 Mirror 또는 Striped Mirrors(RAID10 유사) 구성이 유리할 수 있습니다. RAIDZ 계열은 용량 효율과 장애 허용 수준에 따라 선택하되, VM의 랜덤 I/O 특성을 함께 고려해야 합니다.
Ceph는 Proxmox 클러스터의 필수 요소가 아니라 여러 스토리지 전략 중 하나입니다. 최소 3노드와 균등 분산된 OSD 구성이 권장되며, Proxmox는 운영 HCI Ceph에 12개 이상의 OSD와 Ceph 전용 10Gbps 이상 네트워크를 권장합니다.
Ceph OSD는 기본적으로 약 4GiB 메모리를 사용하며, 성능을 위해 OSD당 8GiB 이상을 권장합니다. 따라서 Ceph는 설치 편의성보다 네트워크, 디스크, 메모리, 장애 복구 시간을 먼저 검토해야 합니다.
네트워크, DNS, NTP
Proxmox VE 네트워크는 다음 트래픽을 구분해 설계합니다.
Network Domains
├── Out-of-Band Management
├── Proxmox Management
├── VM Service
├── Corosync Cluster
├── Storage
├── Backup
└── Migration
소규모 환경은 VLAN 기반 논리 분리로 시작할 수 있습니다. 그러나 VLAN은 NIC, 케이블, 스위치, 업링크의 물리 장애 도메인까지 분리하지는 못합니다. 스토리지·백업·Ceph·마이그레이션 트래픽이 많거나 가용성 요구사항이 높다면 물리 NIC와 스위치 경로 분리도 검토해야 합니다.
| 네트워크 | 주요 용도 |
|---|---|
| Out-of-Band 관리망 | IPMI, iDRAC, iLO, 스위치 관리 |
| 관리망 | Proxmox Web UI, SSH, API |
| VM 서비스망 | VM·컨테이너 애플리케이션 트래픽 |
| Corosync망 | 클러스터 상태와 Quorum 통신 |
| 스토리지망 | Ceph, NFS, iSCSI, 복제 |
| 백업망 | PBS, NAS, 백업 전송 |
| 마이그레이션망 | 대용량 VM 이동 |
Corosync는 대역폭보다 낮은 지연과 안정성이 중요합니다. Proxmox는 노드 간 5ms 미만의 안정적인 LAN 연결을 요구하며, 가능하면 Ceph·NFS·iSCSI·백업 트래픽과 분리한 전용 NIC 또는 전용 네트워크 사용을 권장합니다.
클러스터를 만들기 전에는 최종 호스트명, FQDN, 관리 IP, DNS, NTP를 확정해야 합니다.
pve-seoul-prod-01.example.internal → 10.10.10.11
pve-seoul-prod-02.example.internal → 10.10.10.12
pve-seoul-prod-03.example.internal → 10.10.10.13
모든 클러스터 노드는 서로의 이름을 안정적으로 해석하고 동일한 시간 소스를 사용해야 합니다. 폐쇄망이라면 내부 DNS와 NTP를 준비합니다.
백업, 보안, 폐쇄망
백업은 설치 후 추가하는 기능이 아니라 스토리지와 네트워크 설계에 포함해야 하는 기본 요소입니다.
- 운영 스토리지와 분리된 백업 저장소를 준비합니다.
- RPO와 RTO를 서비스별로 정의합니다.
- 스냅샷은 단기 변경 보호 수단으로 사용하고, 독립 백업을 대체하지 않습니다.
- PBS Verify Job 같은 백업 무결성 검증과 별도로 실제 VM·애플리케이션 복구 리허설을 수행합니다.
- GitLab, Harbor, DB처럼 데이터 일관성이 중요한 서비스는 VM 백업 외에 애플리케이션·DB 수준 백업도 검토합니다.
관리 UI는 인터넷에 직접 노출하지 않는 것이 좋습니다.
Administrator
│
VPN / Bastion Host
│
Management Network
├── Proxmox Web UI
├── SSH
├── Out-of-Band Management
└── Backup Server
운영 환경에서는 관리망 분리, RBAC, 2FA, SSH Key, API Token 분리, TLS 인증서, 접근 로그, Out-of-Band 관리 경로를 함께 설계합니다.
폐쇄망에서는 다음 요소가 내부에서 완결되어야 합니다.
Air-gapped Environment
├── Internal APT Repository
├── Internal DNS / NTP
├── Internal CA
├── ISO / Template Repository
├── Backup Storage
├── Monitoring / Log Server
└── Package Approval and Update Process
설치 전 체크리스트
요구사항과 용량
- 서비스 목적, 워크로드, 초기·확장 규모를 정의했다.
- 서비스별 중요도, HA 필요 여부, RPO·RTO를 정의했다.
- CPU, 메모리, 디스크 I/O, 네트워크 피크 요구사항을 정리했다.
- HA 환경이라면 N+1 수용 용량을 산정했다.
하드웨어와 스토리지
- VT-x 또는 AMD-V가 BIOS/UEFI에서 활성화되어 있다.
- Passthrough가 필요하면 VT-d 또는 IOMMU를 확인했다.
- Local-LVM, ZFS, NFS, iSCSI, Ceph 중 스토리지 전략을 선택했다.
- ZFS 사용 시 HBA/JBOD/IT Mode 구성을 검토했다.
- 운영 스토리지와 백업 스토리지를 분리했다.
- Ceph 사용 시 노드 수, OSD, 메모리, 전용 네트워크, 장애 대응 절차를 검토했다.
네트워크와 클러스터
- 관리 IP, FQDN, DNS, NTP를 확정했다.
- 관리·서비스·스토리지·백업·Corosync 트래픽 분리 방식을 정의했다.
- VLAN, Bond, MTU, 스위치 설정을 문서화했다.
- 클러스터라면 3노드 이상 또는 2노드+QDevice 구조를 검토했다.
- Corosync UDP 5405~5412, 시간 동기화, 노드 간 SSH 통신을 확인했다.
운영과 보안
- 백업 주기, 보존 정책, 복구 테스트 절차를 정의했다.
- 관리 UI 접근을 VPN·Bastion·ACL 등으로 제한했다.
- RBAC, 2FA, SSH Key, API Token, TLS 정책을 수립했다.
- 패치, 재부팅, 롤백, 장애 대응 절차를 준비했다.
- 폐쇄망이라면 내부 APT 미러, CA, DNS·NTP, ISO·템플릿 반입 절차를 준비했다.
핵심 정리
- Proxmox VE는 설치보다 설치 전 요구사항과 운영 설계가 더 중요합니다.
- 단일 노드는 홈랩·개발에 적합할 수 있지만, 자동 HA를 제공하지 않으므로 백업과 수동 복구 절차가 핵심입니다.
- 운영 HA 환경은 일반적으로 3노드 이상, Quorum, N+1 용량, 안정적인 Corosync 네트워크를 우선 검토합니다.
- CPU는 동시 피크 사용량, 메모리는 실제 할당량과 장애 수용 여유를 기준으로 산정합니다.
- ZFS와 Ceph는 강력하지만 디스크 구성, 메모리, 네트워크, 장애 대응 역량을 함께 요구합니다.
- Ceph는 선택지 중 하나이며, 모든 Proxmox 클러스터에 필요한 것은 아닙니다.
- DNS, FQDN, NTP, 관리 IP, VLAN, 백업 저장소는 설치 전에 확정하는 것이 좋습니다.
- 백업은 운영 스토리지와 분리하고, 정기적인 실제 복구 테스트로 검증해야 합니다.
- 폐쇄망에서는 패키지·인증서·시간·DNS·템플릿·백업·업데이트가 내부에서 완결되어야 합니다.
참고 자료
- Proxmox VE Installation
- Proxmox VE Cluster Manager
- Proxmox VE ZFS on Linux
- Deploy Hyper-Converged Ceph Cluster
- Proxmox VE Separate Cluster Network