19c Grid Infrastructure 설치

설치 및 배포 옵션

• Oracle Database와 Oracle Grid Infrastructure 설치 소프트웨어는 여러 매체로 제공된다.
• Oracle Technology Network(OTN) 웹사이트 또는 Oracle Software Delivery Cloud 포털에서 이미지 파일 형태로 다운로드 가능하다.
• 대부분의 경우 Oracle Universal Installer(OUI)의 GUI를 사용하여 설치한다.
• OUI를 통해 Silent Mode 설치도 가능하다. (GUI 없이 설치 진행)
• 이후 배포 및 패치 작업에는 Oracle Fleet Patching and Provisioning(FPP)을 사용할 수 있다.

---

이미지 기반 Oracle Grid Infrastructure 설치

• 이미지 기반 설치는 Oracle Grid Infrastructure 소프트웨어의 설치와 구성을 단순화한다.
• 설치 절차:
  1. 필요한 사용자 그룹 권한을 가진 새 Grid Home을 생성한다.
  2. 다운로드한 이미지 파일을 새 Grid Home에 압축 해제한다.
  3. 설치 마법사(setup wizard)를 실행하여 Oracle Grid Infrastructure 제품을 등록한다.

 

이미지 기반 설치로 가능한 작업

• 새로운 클러스터용 Oracle Grid Infrastructure 구성
• 단일 서버(Oracle Restart)용 Oracle Grid Infrastructure 구성
• Oracle Grid Infrastructure 업그레이드
• 소프트웨어만 설치(Software Only)
• 이미 설치된 클러스터에 노드 추가 또는 제거

특징

• 설치 과정을 간소화하고 대규모 맞춤형 배포의 자동화를 지원한다.
• 기본 릴리스 소프트웨어에 Release Updates(RUs) 또는 Release Update Revisions(RURs)를 적용한 후, 커스터마이즈된 이미지를 배포하는 데 사용할 수 있다.

주의사항

• 반드시 Grid Home 디렉터리를 먼저 생성한 후, 해당 디렉터리에 이미지 파일을 압축 해제해야 한다.
• 그 다음, 설치를 시작하려면 다음 스크립트를 실행한다:

  ORACLE_HOME/gridSetup.sh

• Grid Home 디렉터리 경로는 Oracle Optimal Flexible Architecture(OFA) 권장 사항을 준수해야 한다.

---

Oracle Standalone Cluster

• Oracle Standalone Cluster는 모든 Oracle Grid Infrastructure 서비스와 Oracle ASM을 로컬에서 호스팅하며, 공유 스토리지에 직접 접근해야 한다.
• 최대 64개의 노드를 포함할 수 있으며, 각 노드에는 다양한 애플리케이션을 배치할 수 있다.
• 클러스터 노드들은 긴밀히 연결되어 있으며, 공유 스토리지는 각 노드에 로컬로 마운트된다.
  • 공유 스토리지는 ASM 인스턴스 또는 공유 파일 시스템을 통해 모든 노드에서 접근 가능하다.
• 설치 시 GIMR(Grid Infrastructure Management Repository)를 구성했다면, Standalone Cluster는 이를 로컬에 호스팅한다.
  • GIMR는 멀티테넌트 데이터베이스로, 클러스터 관련 정보를 저장한다.
  • 여기에는 Cluster Health Monitor가 수집하는 실시간 성능 데이터와 Oracle Fleet Patching & Provisioning에 필요한 메타데이터가 포함된다.

Extended Cluster 옵션

• Standalone Cluster를 배포할 때, 이를 Oracle Extended Cluster로 구성할 수도 있다.
• Extended Cluster는 여러 위치(사이트)에 걸쳐 노드를 배치하는 형태로, 사이트 간 분산된 클러스터 구성을 지원한다.

---

Oracle Cluster Domain

• Oracle Cluster Domain은 Oracle Clusterware 12c Release 2에서 도입된 새로운 클러스터 배포 아키텍처이다.
• 이를 통해 Oracle RAC 배포를 표준화, 중앙화, 최적화하여 프라이빗 데이터베이스 클라우드 환경을 지원한다.
• 여러 클러스터 구성을 하나의 Cluster Domain에 포함시켜 관리하며, Domain 내에서 제공되는 공유 서비스를 활용할 수 있다.
• Cluster Domain에는 Oracle Domain Services Cluster와 Oracle Member Cluster가 포함된다.

Oracle Domain Services Cluster

• Domain Services Cluster는 Cluster Domain 내 다른 클러스터에 중앙화된 서비스를 제공한다.
• 제공 서비스:
  • 중앙화된 GIMR(Grid Infrastructure Management Repository): 각 클러스터의 MGMTDB 저장
  • Trace File Analyzer(TFA): Clusterware 및 Database 진단 데이터 수집
  • Oracle ASM 스토리지 관리 서비스: Oracle ACFS 포함
  • Oracle Fleet Patching and Provisioning(FPP): 클러스터 설치, 배포, 패치, 업그레이드 지원 (선택 사항)
• Domain Services Cluster를 구성할 때, FPP 서버를 함께 설정할 수 있다.
• Member Cluster는 Domain Services Cluster가 제공하는 중앙 서비스를 활용하여 관리 효율성을 높이고 로컬 자원 사용을 줄인다.

오라클 클러스터 도메인

---

Oracle Member Cluster 개요

• Oracle Member Cluster는 Oracle Domain Services Cluster가 제공하는 중앙화된 서비스를 활용하며, 데이터베이스 또는 애플리케이션을 호스팅할 수 있다.
• Member Cluster 유형:
  • Oracle Database용 Member Cluster
  • 애플리케이션용 Member Cluster
• 직접 공유 디스크에 연결할 필요가 없다.
  • 대신 네트워크를 통해 IO Service 또는 ACFS Remote Service를 사용하여 중앙 관리 스토리지 풀에 접근한다.
• Domain Services Cluster의 ASM 네트워크와 연결되어야 공유 ASM 서비스를 사용할 수 있다.
• Member Cluster는 다른 클러스터에 서비스를 제공할 수 없다.
  • 예: GNS 서버나 Fleet Patching & Provisioning 서버로 구성 불가.

Oracle Database용 Member Cluster

• Oracle RAC 또는 RAC One Node 인스턴스를 지원한다.
• 관리 저장소 서비스(GIMR)에 등록되며, 중앙화된 TFA 서비스를 사용한다.
• 필요 시 추가 서비스를 활용할 수 있다.
• 로컬 ASM 스토리지 관리 또는 Domain Services Cluster의 중앙 ASM 스토리지 관리 서비스 사용 가능하다.
• 항상 원격 GIMR을 사용한다.
  • 2노드 또는 4노드 클러스터에서 원격 GIMR을 사용하면 로컬 인프라 저장소 운영 부담을 줄일 수 있다.
• 제한: Oracle Database 12.1 이하 버전은 ASM 스토리지를 직접/간접 구성한 Member Cluster를 지원하지 않는다.

 

애플리케이션용 Member Cluster

• Oracle Database 이외의 애플리케이션을 호스팅한다.
• 중앙 관리 및 자원 효율성을 위해 Domain Services Cluster와 연결되어야 한다.
• 원격 ASM 스토리지를 사용하며, 필요한 공유 스토리지는 ACFS Remote Service를 통해 제공된다.
• 애플리케이션의 고가용성을 지원한다.
• 다른 클러스터 구성과 달리 단일 퍼블릭 네트워크 인터페이스만으로 구성 가능하다.

---

Oracle Extended Cluster

• Oracle Extended Cluster는 여러 위치(사이트)에 걸쳐 노드를 배치하는 클러스터이다.
• Oracle Standalone Cluster를 배포할 때 Extended Cluster로 구성할 수 있다.
• Oracle RAC 클러스터를 두 개 이상의 지리적으로 분리된 사이트에 걸쳐 확장할 수 있으며, 각 사이트는 자체 스토리지를 갖는다.
• 한 사이트가 장애로 인해 사용할 수 없게 되면, 다른 사이트가 활성 대기(active standby) 역할을 수행한다.

기술적 특징

• Oracle ASM과 Oracle Database 스택은 기본적으로 데이터센터 내 엔터프라이즈급 공유 스토리지를 사용하도록 설계되었다.
• Fibre Channel 기술을 활용하면 컴퓨팅 및 스토리지를 여러 데이터센터에 분산 배치하고,
  • Ethernet으로 컴퓨팅 리소스를 연결
  • Fibre Channel로 스토리지 리소스를 연결할 수 있다.
• Extended Cluster는 설치 시 Oracle Grid Infrastructure에서 구성할 수 있으며, 설치 후에도 ConvertToExtended 스크립트(CRSCTL 사용)를 통해 변환 가능하다.
• 노드와 Failure Group을 사이트에 할당할 수 있으며, 사이트는 Failure Group을 포함하고, Failure Group은 디스크를 포함한다.

중복성 수준 조건 (2개 데이터 사이트 기준)

중복성 수준	OCR/Voting 파일 디스크 그룹	OCR 백업 및 GIMR 디스크 그룹
Normal	각 데이터 사이트당 1개 Failure Group + 1개 Quorum Failure Group	각 데이터 사이트당 1개 Failure Group
Flex	각 데이터 사이트당 1개 Failure Group + 1개 Quorum Failure Group	각 데이터 사이트당 1개 Failure Group + 1개 Quorum Failure Group
Extended	각 데이터 사이트당 3개 Failure Group + 1개 Quorum Failure Group (사이트 외부)	각 데이터 사이트당 3개 Failure Group + 1개 Quorum Failure Group (사이트 외부)
High	지원되지 않음	지원되지 않음

---

Oracle Grid Infrastructure 설치 개요

• Oracle Grid Infrastructure는 Oracle Standalone Cluster, Oracle Domain Services Cluster, 또는 Oracle Member Cluster로 설치할 수 있다.
• 설치 지침은 시스템에 기존 Oracle 소프트웨어가 없다는 전제를 기반으로 한다.
• Oracle Grid Infrastructure 12c Release 2 (12.2)부터 설치 매체는 zip 파일로 제공된다.
  • zip 파일을 대상 Grid Home 경로에 압축 해제한 후 설치 마법사를 실행한다.
• 설치 중 언제든지 입력 값이나 절차에 대한 질문이 있으면 설치 프로그램 창의 Help 버튼을 클릭하여 도움말을 확인할 수 있다.

설치 준비 사항

• 설치 시작 전에 다음 정보를 준비해야 한다:
  • 네트워크 정보
  • 스토리지 정보
  • 운영체제 사용자 및 그룹 정보
• 설치 과정에서 root 스크립트 실행이 필요하다.
• Oracle Member Cluster 설치 시에는 반드시 Member Cluster Manifest File을 미리 생성해야 한다.

설치 방식

• 첫 번째 노드에서 Grid 소프트웨어 소유자(grid) 계정으로 설치를 시작한다.
• 설치 프로그램은 SSH(Secure Shell)를 사용하여 첫 번째 노드에서 다른 노드로 바이너리 파일을 복사한다.
• 설치 중 Cluster Node Information 창에서 클러스터 노드를 지정할 때, SSH Connectivity 옵션을 클릭하면 설치 프로그램이 자동으로 SSH 연결을 구성한다.

주의사항

• Oracle ASM Filter Driver(ASMFD)는 Oracle Database 19c부터 Linux와 Oracle Solaris에서 지원 중단(deprecated) 되었으며, 향후 릴리스에서 지원 종료(desupported) 될 예정이다.

---

Oracle Standalone Cluster 설치 절차

ASMFD 관련 사항

• ASM Filter Driver(ASMFD)는 Oracle Database 19c부터 Linux와 Solaris에서 지원 중단(deprecated) 되었으며, 향후 릴리스에서 지원 종료(desupported) 예정이다.
• Linux 커널 5.14 이상에서는 ASMFD 필터링이 이미 비활성화되어 더 이상 지원되지 않는다.
• Oracle은 해당 환경에서 ASMlib v3로 마이그레이션할 것을 권장한다. (참고: My Oracle Support 문서 2806979.1)
• Solaris에서는 ASMFD가 여전히 지원되며, 공식 지원 종료 공지가 나오기 전까지는 별도 조치가 필요 없다.

설치 단계

Grid Home 생성 및 이미지 압축 해제

• zip 파일은 반드시 Grid Home 디렉터리에 압축 해제해야 한다.
• 설치 시 첫 번째 노드에서 다른 노드로 소프트웨어가 자동 복사된다.
• Oracle Home/Base 디렉터리는 root 디렉터리나 심볼릭 링크를 사용할 수 없다.

$ mkdir -p /u01/app/19.0.0/grid
$ chown grid:oinstall /u01/app/19.0.0/grid
$ cd /u01/app/19.0.0/grid
$ unzip -q download_location/grid.zip

 

설치 프로그램 실행 
설치 마법사가 시작되며 Select Configuration Option 창이 표시된다.

$ /u01/app/19.0.0/grid/gridSetup.sh

 

클러스터 구성 선택
“Configure Grid Infrastructure for a New Cluster” 선택 → Next
“Configure an Oracle Standalone Cluster” 선택 → Next
Extended Cluster 옵션을 선택하면 RAC 클러스터를 여러 사이트에 걸쳐 확장 가능하다.

클러스터 이름 및 SCAN 이름 지정
기업 네트워크 전체에서 고유한 이름을 입력해야 한다.
GNS(GRID Naming Service)를 사용할 경우 DNS가 GNS VIP로 요청을 전달하도록 설정해야 한다.

네트워크 주소 구성
자동 구성(DHCP + GNS): GNS VIP 이름만 제공하면 된다.
수동 구성(고정 IP + DNS): SCAN 이름, 각 노드의 Public 이름, VIP 이름을 직접 지정해야 한다.
예: 클러스터 이름 mycluster, SCAN 이름 mycluster-scan

 

클러스터 노드 정보 입력

• Public Hostname 열에는 로컬 노드가 표시된다. 예: node1.example.com
• 추가 노드 등록 절차:
  1. Add 버튼 클릭 → 두 번째 노드의 Public 이름(node2)과 VIP 이름(node2-vip) 입력 → OK
  2. 모든 노드가 테이블에 표시되는지 확인
  3. 모든 노드를 선택한 후 SSH Connectivity 버튼 클릭
  4. Oracle 소프트웨어 소유자(grid) 계정의 사용자 이름과 비밀번호 입력
  5. 기존 SSH 키를 재사용할 수 있다면 옵션 선택 후 Setup 클릭
  6. 잠시 후 비밀번호 없는 SSH 연결(passwordless SSH connectivity)이 설정되었다는 메시지가 나타남 → OK

네트워크 인터페이스 사용 지정

• 각 네트워크 인터페이스의 사용 유형(Usage Type)을 지정해야 한다.
• 예시:
  • Public 인터페이스 → Public
  • Private 인터페이스 → ASM & Private
• Oracle Clusterware에서 사용하지 않을 인터페이스는 Do Not Use로 설정한다.

스토리지 옵션 선택

• Oracle Cluster Registry(OCR) 및 Voting Files 저장 방식 선택:
  1. Use Oracle Flex ASM for storage → ASM 디스크 그룹에 저장
  2. Use Shared File System → 공유 파일 시스템에 저장

Grid Infrastructure Management Repository(GIMR) 선택

• 설치 중 GIMR을 생성할지 여부를 선택한다.
  • Yes 선택 시 → GIMR 옵션 창으로 이동
  • No 선택 시 → ASM 디스크 그룹 생성 창으로 이동

 

ASM 디스크 그룹 생성

1. 디스크 그룹 이름 입력 (예: DATA)
2. Redundancy 수준 선택 (권장: Normal)
3. Add Disks에서 디스크 선택
   • Step 2에서 라벨링한 디스크가 표시되어야 한다.
   • 보이지 않으면 Change Discovery Path 버튼을 눌러 /dev/sd* 같은 경로 패턴을 지정한다.
   • ASMLIB 디스크는 기본 디스커버리 문자열로 후보 디스크로 표시되지만, 헤더 상태가 MEMBER인 경우 후보 디스크가 아니다.

GIMR 디스크 그룹 생성 (선택한 경우)

• 별도의 ASM 디스크 그룹에 GIMR을 저장할 수 있다.
• 이름, Redundancy 수준, 디스크 추가 절차는 일반 ASM 디스크 그룹과 동일하다.

ASM 계정 비밀번호 지정

• Oracle ASM SYS와 ASMSNMP 계정에 대해 동일한 비밀번호를 지정하거나, 각각 다른 비밀번호를 설정할 수 있다.

Failure Isolation Support

• IPMI(Intelligent Platform Management Interface) 사용 여부 선택
• 권장: “Do not use IPMI” 선택

관리 옵션 지정

• Enterprise Manager Cloud Control이 설치되어 있다면 → “Register with EM Cloud Control” 선택 후 구성 정보 입력
• 설치되어 있지 않다면 → Next 클릭

운영체제 그룹 지정

• Oracle ASM 관리용 OS 그룹 이름을 기본값으로 수락한다.

설치 위치 지정

• Oracle Base 디렉터리를 지정한다.
• Oracle Base는 Oracle Home과 달라야 한다.
• 기본 위치 예: /u01/app/grid

추가 단계

• Oracle 소프트웨어가 이전에 설치되지 않은 경우, Create Inventory 창이 나타난다.

Inventory 디렉터리 지정

• 기본 경로: /u01/app/oraInventory
• 그룹 이름: oinstall
• 필요 시 경로를 변경한 후 Next 클릭 → Root Script Execution Configuration 창으로 이동한다.

Root Script 실행 설정

• 자동 실행: root 또는 sudo 계정 자격 증명을 입력하면 설치 프로그램이 자동으로 실행한다.
• 수동 실행: 설치 마지막 단계에서 직접 root 스크립트를 실행해야 한다.

사전 요구사항 검사

• 검사 결과가 Failed이고 자동 수정 불가일 경우 → 직접 문제를 해결해야 한다.
• 수정 후 Check Again 버튼으로 재검사 → 모든 항목이 Succeeded 상태여야 한다.

요약 확인 및 설치 시작

• Summary 창에서 설정 내용을 검토 후 Install 클릭.
• 설치 진행 상황을 모니터링할 수 있는 진행 표시기가 나타난다.

Root 스크립트 실행 (수동 선택 시)

• 설치 프로그램이 Execute Configuration Scripts 창을 표시한다.
• 모든 노드에서 지정된 순서대로 스크립트를 실행해야 한다.

예시 (Oracle Linux 환경):

첫 번째 노드(node1)에서 orainstRoot.sh 실행

[grid@node1 grid]$ cd /u01/app/oraInventory
[grid@node1 oraInventory]$ su
[root@node1 oraInventory]# ./orainstRoot.sh

 

두 번째 노드(node2)에서 orainstRoot.sh 실행

[grid@node1 grid]$ ssh node2
[grid@node2 grid]$ cd /u01/app/oraInventory
[grid@node2 oraInventory]$ su
[root@node2 oraInventory]# ./orainstRoot.sh

 

첫 번째 노드(node1)에서 실행

• 실행 중 프롬프트가 나타나면 Enter를 눌러 기본값을 수락한다.
• 반드시 첫 번째 노드에서 완료될 때까지 기다려야 한다.

[root@node1 oraInventory]# cd /u01/app/19.0.0/grid
[root@node1 grid]# ./root.sh

 

노드 수가 3개 이상인 경우

• 첫 번째 노드에서 완료된 후, 나머지 노드에서는 동시에 root.sh를 실행할 수 있다.
• 노드 번호는 스크립트 실행 순서에 따라 할당되지만, Oracle RAC 데이터베이스의 SID는 노드 번호와 무관하다.

두 번째 노드(node2)에서 실행

[root@node2 oraInventory]# cd /u01/app/19.0.0/grid
[root@node2 grid]# ./root.sh

 

설치 마무리

• 모든 노드에서 root.sh 실행이 끝나면, 설치 프로그램(OUI) 창으로 돌아가 OK를 클릭한다.
• 이후 설치 모니터링 창이 다시 나타나며, 설치가 정상적으로 진행된다.
• root.sh 실행 시 Trace File Analyzer(TFA) Collector가 Grid Home 디렉터리(grid_home/tfa)에 함께 설치된다.

 

ASM 구성 자동화

• Oracle Member Cluster for Oracle Databases 설치 시, Member Cluster Manifest 파일에 ASM 구성 정보가 포함되지 않았다면, ASMCA(Oracle ASM Configuration Assistant)가 자동으로 ASM을 구성한다.

설치 완료

• 설치 과정을 모니터링하다가 Finish 창이 나타나면 Close를 클릭하여 설치를 종료한다.

주의사항

• 설치 완료 후, /tmp/.oracle 또는 /var/tmp/.oracle 디렉터리 및 그 안의 파일을 수동으로 삭제하거나 cron 작업으로 제거하지 말아야 한다.
• 해당 파일을 삭제하면 Oracle 소프트웨어가 간헐적으로 멈춤(hang) 현상을 겪을 수 있으며, Oracle Clusterware 설치가 다음 오류와 함께 실패할 수 있다:

  CRS-0184: Cannot communicate with the CRS daemon

설치 후 작업

• Oracle Grid Infrastructure 설치가 완료되면, 클러스터 노드에 Oracle Database를 설치하여 고가용성을 확보하거나, Oracle RAC 및 기타 애플리케이션을 설치할 수 있다.

---

Clusterware 동작 확인

1. 설치 완료 후 root 사용자로 로그인한다.
2. 다음 명령어를 실행한다:

   crsctl check cluster -all

3. 정상적으로 설치 및 실행 중이라면 각 노드에서 다음과 같은 메시지가 출력된다:

   node1:
   CRS-4537: Cluster Ready Services is online
   CRS-4529: Cluster Synchronization Services is online
   CRS-4533: Event Manager is online
   ------------------------------------------------------
   node2:
   CRS-4537: Cluster Ready Services is online
   CRS-4529: Cluster Synchronization Services is online
   CRS-4533: Event Manager is online
   ------------------------------------------------------
   node3:
   CRS-4537: Cluster Ready Services is online
   CRS-4529: Cluster Synchronization Services is online
   CRS-4533: Event Manager is online

주의사항

• 설치 완료 후 /tmp/.oracle 또는 /var/tmp/.oracle 디렉터리 및 그 안의 파일을 수동으로 삭제하거나 cron 작업으로 제거하지 말아야 한다.
• 해당 파일을 삭제하면 Oracle Clusterware가 간헐적 지연(hang)을 겪을 수 있으며, 다음 오류가 발생할 수 있다:

  CRS-0184: Cannot communicate with the CRS daemon

---

OFFLINE 프로세스란?

• Oracle Grid Infrastructure 설치 직후 일부 컴포넌트가 OFFLINE 상태로 표시될 수 있다.
• 이는 오류가 아니라, 선택적(옵션) 컴포넌트가 아직 활성화되지 않았음을 의미한다.
• Grid Infrastructure는 다양한 Oracle 제품과 컴포넌트에 필요한 리소스를 미리 등록해 두지만, 실제로 활성화되는 것은 사용자가 해당 제품을 추가할 때이다.

상태 확인 방법

• 특정 리소스 상태 확인 명령어:

  crsctl status resource resource_name -t
  

• 출력에서 TARGET:OFFLINE, STATE:OFFLINE으로 표시된 리소스는 모니터링할 필요가 없다. 이들은 등록만 되어 있고 활성화되지 않았기 때문에 시스템 자원을 사용하지 않는다.

활성화 시점

• Oracle 제품이나 컴포넌트를 설치할 때, 해당 소프트웨어가 필요로 하는 리소스가 있다면 설치 과정에서 OFFLINE 리소스를 활성화하도록 안내한다.
• 따라서 OFFLINE 상태는 단순히 “준비되어 있지만 아직 사용하지 않는 리소스”를 의미한다.

---

(출처: Oracle® Grid Infrastructure Installation and Upgrade Guide)