19c Grid Infrastructure 스토리지 구성

Oracle ASM 스토리지 요구사항 식별

Oracle ASM을 사용하기 위해 필요한 스토리지 요구사항을 확인하려면,

장치 수와 필요한 디스크 여유 공간을 결정해야 한다.

 

ASM 디스크 그룹 계획

• 배포하려는 클러스터 구성에 따라 ASM 디스크 그룹을 계획해야 한다.
• 예: Oracle Domain Services Cluster는 OCR/Voting 파일과 GIMR(Grid Infrastructure Management Repository)를 각각 별도의 ASM 디스크 그룹에 저장해야 하므로 최소 2개의 ASM 디스크 그룹이 필요하다.

ASM 사용 범위 결정

• ASM을 데이터베이스 파일, 복구 파일, 데이터베이스 바이너리에 사용할지 여부를 결정한다.
• 데이터베이스 파일에는 데이터 파일, 제어 파일, 리두 로그, 서버 파라미터 파일, 비밀번호 파일 등이 포함된다.

참고 사항

• 데이터베이스 파일과 복구 파일은 동일한 스토리지 메커니즘을 사용할 필요가 없다.
  • 예: 데이터베이스 파일은 공유 파일 시스템에 두고, 복구 파일은 ASM에 둘 수 있다.
• Oracle Clusterware 파일에는 OCR 파일과 Voting 파일이 있다.
  • Standalone Cluster에서는 ASM 또는 공유 파일 시스템을 사용할 수 있다.
  • Domain Services Cluster에서는 반드시 ASM을 사용해야 한다.
• 기존에 데이터베이스 파일이 공유 파일 시스템에 저장되어 있다면, ASM으로 옮기지 않고 그대로 사용할 수 있다.

---

Oracle ASM 디스크 그룹 중복성 수준 선택

Oracle ASM은 디스크 그룹 내에서 장애 그룹(failure group)을 기반으로 파일을 미러링하여 안정성을 제공한다.

특히 Voting 파일은 Quorum Failure Group이라는 특별한 장애 그룹에 저장되며, 클러스터가 정상적으로 마운트될 수 있는지 판단하는 데 사용된다.

 

중복성 수준 종류

• High Redundancy 
  • 3중 미러링을 사용한다.
  • 최소 3개의 디스크 장치(또는 장애 그룹)가 필요하다.
  • 사용자 데이터 저장 시 전체 디스크 공간의 1/3만 사용 가능하다.
  • Clusterware 파일 저장 시 최소 5개의 디스크 장치 필요 (Voting 파일 5개, OCR 1개 + 복제본 2개).
  • 클러스터는 최대 2개의 장애 그룹 손실을 견딜 수 있다.
  • 높은 안정성을 제공하지만 추가 스토리지 비용이 크다.
• Normal Redundancy 
  • 2중 미러링을 사용한다.
  • 최소 2개의 디스크 장치 필요.
  • 사용자 데이터 저장 시 전체 디스크 공간의 절반만 사용 가능하다.
  • Clusterware 파일 저장 시 최소 3개의 디스크 장치 필요 (Voting 파일 3개, OCR 1개 + 복제본 1개).
  • 클러스터는 최대 1개의 장애 그룹 손실을 견딜 수 있다.
  • 별도의 스토리지 보호 장치가 없다면 Oracle은 Normal Redundancy를 권장한다.
• External Redundancy 
  • 최소 1개의 디스크 장치 필요.
  • ASM은 자체적으로 미러링을 하지 않는다.
  • RAID 등 외부 장치가 데이터 보호를 제공하는 경우에 적합하다.
• Flex Redundancy
  • 파일별로 중복성 수준을 다르게 설정할 수 있다.
  • ASM 메타데이터는 3중 미러링을 사용한다.
  • 데이터 파일은 무보호, 2중 미러링, 3중 미러링 중 선택 가능하다.
  • 최소 3개의 디스크 장치 필요.
  • 파일 그룹과 쿼터 그룹을 통해 데이터베이스별로 저장 공간을 관리할 수 있다.
• Extended Redundancy 
  • Oracle Extended Cluster 환경에서 사용된다.
  • 사이트 단위로 장애 그룹을 구성하여 사이트 장애까지 보호한다.
  • 예: 3개 사이트(2개 데이터 사이트 + 1개 Quorum 그룹) 구성 시 최소 7개의 디스크 필요.
  • 최대 3개 사이트까지 지원한다.
  • 각 사이트는 지정된 파일 그룹 중복성(2중 또는 3중)을 유지한다.

참고

• 디스크 그룹 생성 후에도 중복성 수준을 변경할 수 있다.
• 예: Normal 또는 High Redundancy 그룹을 Flex Redundancy 그룹으로 변환 가능하다.
• Flex 그룹 내에서는 파일별 중복성을 무보호, 2중, 3중으로 변경할 수 있다.

---

Oracle ASM 스토리지 요구사항 결정

1. 총 디스크 공간 산정
   • Oracle Clusterware 파일, 데이터베이스 파일, 복구 파일에 필요한 디스크 공간을 계산해야 한다.
   • 기존 ASM 인스턴스가 실행 중이라면 기존 디스크 그룹을 사용할 수 있으며, 필요 시 설치 과정에서 디스크를 추가할 수 있다.
2. Allocation Unit (AU) 크기 결정
   • ASM 디스크는 AU 단위로 나뉜다.
   • AU 크기는 1, 2, 4, 8, 16, 32, 64 MB 중 선택 가능하다.
   • Flex 디스크 그룹: 기본 AU 크기 = 4 MB
   • External/Normal/High 중복성 그룹: 기본 AU 크기 = 1 MB
3. ASM 메타데이터 추가 공간 고려
   • Clusterware 설치 시 OCR, Voting 파일, ASM 메타데이터를 위한 추가 공간이 필요하다.
   • 계산 공식: total=[2⋅ausize⋅disks]+[redundancy⋅(ausize⋅(all_client_instances+nodes+disks+32)+(64⋅nodes)+clients+543)]

• redundancy: 외부=1, 일반=2, 고중복성=3, flex=3
• ausize: 메타데이터 AU 크기(MB)
• nodes: 클러스터 노드 수
• disks: 디스크 수
• clients: 각 노드의 DB 인스턴스 수

1. Failure Group 정의 (선택 사항)
   • Normal/High 중복성 그룹에서는 디스크를 사용자 정의 Failure Group으로 묶어 하드웨어 장애 대비 가능하다.
   • 예: HBA 어댑터별로 디스크를 그룹화하여 어댑터 장애 시에도 가용성을 유지.
   • 최소 Failure Group 수: Normal=2, High=3
2. 디스크 장치 요건
   • 설치 사용자 계정이 디스크 장치를 소유해야 한다.
   • 모든 디스크는 동일한 크기와 성능 특성을 가져야 한다.
   • 하나의 물리 디스크에 여러 파티션을 지정하지 말아야 한다.
   • LVM(Logical Volume Manager) 사용은 권장되지 않는다. 필요 시 단일 LUN으로만 구성해야 한다.
3. NFS 기반 ASM 디스크 그룹 사용 시 주의사항
   • NFS를 사용할 경우 Oracle 권장 설정 지침을 반드시 따라야 한다.

---

Oracle Clusterware 스토리지 공간 요구사항

• 설치 시 필요한 최소 디스크 수와 디스크 공간은 클러스터 유형과 ASM 중복성 수준(External, Normal, High, Flex 등)에 따라 달라진다.
• Standalone Cluster 설치 시, Grid Infrastructure Management Repository(GIMR)를 위한 MGMT 디스크 그룹을 생성하면 최소 35GB 이상의 가용 공간이 필요하다.
• Oracle Grid Infrastructure 19c부터 Standalone Cluster에서는 GIMR 구성이 선택 사항이다.
  • 업그레이드 시, 기존 Grid Home에 GIMR이 구성되어 있으면 새 GIMR이 생성된다.
  • 기존에 GIMR이 없으면 업그레이드 과정에서 새로 생성되지 않는다.

---

최소 스토리지 요구사항 요약

Standalone Cluster (GIMR 구성 포함)

중복성 수준	DATA 디스크 그룹	MGMT 디스크 그룹	총 스토리지
External	1 GB	28 GB (+노드당 5 GB)	30 GB
Normal	2 GB	56 GB (+노드당 5 GB)	60 GB
High/Flex/Extended	3 GB	84 GB (+노드당 5 GB)	90 GB

• GIMR 및 Clusterware 백업 파일은 DATA 그룹과 별도 그룹에 저장 권장
• 기본 GIMR 크기는 최대 4노드 기준, 이후 노드 추가 시 확장 필요
• Oracle Fleet Patching & Provisioning(FPP)용 최소 ACFS 파일 시스템 자동 구성

 

Grid Infrastructure (RAC 관리용)

중복성 수준	DATA 디스크 그룹	FPP	총 스토리지
External	1 GB	1 GB	2 GB
Normal	2 GB	2 GB	4 GB
High/Flex/Extended	3 GB	3 GB	6 GB

• Clusterware 백업 파일은 DATA 그룹과 별도 그룹에 저장 권장

 

Member Cluster (Local ASM)

중복성 수준	DATA 디스크 그룹	오라클 클러스터웨어 백업 파일	총 스토리지
External	1 GB	4 GB	5 GB
Normal	2 GB	8 GB	10 GB
High/Flex/Extended	3 GB	12 GB	15 GB

• GIMR는 Domain Services Cluster의 중앙 GIMR에 사전 할당됨

Domain Services Cluster

중복성 수준	DATA 그룹	MGMT 그룹	Trace File Analyzer	총 스토리지
External	1 GB (+Member Cluster당 1 GB)	140 GB	200 GB	345 GB (+FPP 100 GB, 추가 Member Cluster당 GIMR 28 GB)
Normal	2 GB (+Member Cluster당 2 GB)	280 GB	400 GB	690 GB (+FPP 200 GB, 추가 Member Cluster당 GIMR 56 GB)
High/Flex/ Extended	3 GB (+Member Cluster당 3 GB)	420 GB	600 GB	1035 GB (+FPP 300 GB, 추가 Member Cluster당 GIMR 84 GB)

• 기본 GIMR 크기는 Domain Services Cluster 및 최대 4개의 Member Cluster 기준
• Trace File Analyzer(TFA)는 최소 공간만 할당 후 필요 시 자동 확장
• 가장 큰 규모의 구성을 예상하여 스토리지를 미리 할당하는 것이 권장됨

---

Oracle ASM 디스크 그룹에 사용할 디스크 선택 지침

1. 디스크 장치 요건
   • 모든 디스크는 동일한 크기와 성능 특성을 가져야 한다.
   • 하나의 물리 디스크에 여러 파티션을 지정하지 말아야 한다. ASM은 각 디스크 그룹 장치가 별도의 물리 디스크에 있어야 한다고 기대한다.
   • Oracle RAC에서는 비공유 논리 파티션을 지원하지 않는다. RAC 데이터베이스에서 논리 파티션을 사용하려면 fdisk 같은 논리 볼륨 관리자를 통해 공유 논리 볼륨을 생성해야 한다.
   • ASM 디스크 그룹에 논리 볼륨을 지정할 수는 있지만 권장되지 않는다. 불필요한 복잡성을 추가하기 때문이다. RAC 환경에서 논리 볼륨을 사용할 경우 반드시 클러스터 논리 볼륨 관리자가 필요하다.

ASM 디스크 디스커버리 문자열 (ASM_DISKSTRING)

• ASM 인스턴스가 초기화될 때, ASM_DISKSTRING 파라미터에 지정된 경로를 기반으로 디스크를 검색한다.
• ASM_DISKSTRING 값은 운영체제, ASMLib 라이브러리, Exadata 디스크 사용 여부에 따라 달라진다.
• 운영체제가 허용하는 경로 이름은 모두 디스커버리 문자열로 사용할 수 있다.
• 기본값은 모든 상황에서 디스크를 찾지 못할 수 있으며, 멀티패스 소프트웨어를 사용하는 경우 경로가 OS 기본값과 다를 수 있다.

---

Oracle ASM과 ASMLIB

• Oracle ASMLIB은 디스크 권한과 라벨을 스토리지 장치에 영구적으로 유지하여, 운영체제 업그레이드 후에도 라벨을 사용할 수 있게 한다.
• ASMLIB 드라이버는 ASM 디스크 장치의 재바인딩 과정을 제거하여 시스템 재시작 시에도 ASM 디스크 구성이 단순해진다.
• ASMLIB을 사용하면 ASM 디스크로 사용할 디스크 범위를 지정할 수 있으며, ASM은 ORCL:* 디스크 문자열을 통해 이를 인식한다.

설치 및 구성

• ASMLIB은 Oracle Linux와 SUSE Linux Enterprise Server 패키지에 포함되어 있다.
• Unbreakable Linux Network(ULN) 가입자는 yum을 통해 최신 ASMLIB RPM 패키지를 설치할 수 있다.
• 설치 버전:
  • Linux 8 이상 커널: ASMLIB v3 (oracleasmlib-3.0.0+, oracleasm-support-3.0.0+)
  • Linux 7 이하 커널: ASMLIB v2 (oracleasmlib-2.0.17+, oracleasm-support-2.1.3+)
• 커널 버전 확인:

  uname -rm

참고 문서

• Oracle 공식 ASMLIB 문서: Oracle ASMLIB
• My Oracle Support Note 1089399.1: Red Hat 배포판에서 ASMLIB 지원 정보

---

기존 ASM 디스크 그룹 확인 및 사용

• 기존 ASM 디스크 그룹을 확인하고, 그 안의 여유 디스크 공간을 파악해야 한다.
• 필요 시 디스크 그룹 장치에 대해 Failure Group을 정의할 수 있다.
  • 기본적으로 각 디스크 장치는 자체 Failure Group에 속한다.
  • 예: Normal Redundancy 그룹에서 두 디스크가 같은 HBA에 연결되어 있다면, HBA 장애 시 디스크 그룹 전체가 사용 불가능해진다.
  • 이를 방지하려면 HBA를 두 개 사용하고, 각각에 연결된 디스크를 별도 Failure Group으로 정의해야 한다.
  • 최소 Failure Group 수: Normal=2, High=3.

데이터베이스 파일용 디스크 그룹 생성

• 적합한 디스크 그룹이 없다면 새 디스크 그룹을 생성해야 한다.
• 디스크 장치 선택 지침:
  • 모든 디스크는 동일한 크기와 성능 특성을 가져야 한다.
  • 하나의 물리 디스크에 여러 파티션을 지정하지 말아야 한다.
  • ASM 디스크 그룹에 논리 볼륨을 지정할 수는 있지만 권장되지 않는다. RAC 환경에서는 반드시 클러스터 논리 볼륨 관리자가 필요하다.

 

데이터베이스 파일 및 복구 파일 디렉터리 생성

• 데이터베이스 파일과 복구 파일을 Oracle Base 디렉터리와 별도의 파일 시스템에 저장할 수 있다.
• 절차:
  1. 파일 시스템의 여유 공간 확인:

     df -h

  2. 데이터베이스 파일 및 복구 파일을 저장할 파일 시스템 선택:
     • 데이터베이스 파일: 최소 1.5GB (단일 파일 시스템) 또는 총 3.5GB 이상 (다중 파일 시스템)
     • 복구 파일: 최소 2GB
  3. 마운트 포인트 디렉터리 이름 확인.
  4. 설치 사용자에게 디렉터리 생성 권한이 있으면 DBCA가 자동 생성한다. 권한이 없으면 수동으로 생성해야 한다.
• 예시:

  mkdir -p /u01/oradata/
  chown oracle:oinstall /u01/oradata/
  chmod 775 /u01/oradata
  
  mkdir -p /u01/oradata/rcv_area
  chown oracle:oinstall /u01/oradata/rcv_area
  chmod 775 /u01/oradata/rcv_area

   

• 기본 위치:
  • 데이터베이스 파일: $ORACLE_BASE/oradata
  • 복구 파일(FRA): $ORACLE_BASE/fast_recovery_area
• 권장: 데이터베이스 파일과 복구 영역을 서로 다른 물리 디스크에 배치하여 장애 발생 시 데이터 복구 가능성을 높인다.

---

(출처: Oracle® Grid Infrastructure Installation and Upgrade Guide)