IT: 데이터 이행

※ Data Migration.

 

안녕하세요. 듀스트림입니다.

 

이번 포스팅에서는 데이터 이행에 대한 전반적인 내용을 알아보겠습니다.

---

1. 데이터 이행?

데이터 이행은 기존 시스템에서 새로운 시스템으로 데이터를 이동하는 복잡한 작업입니다.

이를 통해 데이터의 품질과 일관성을 유지하며, 새로운 시스템의 요구사항에 맞게 데이터를 변환합니다.

이행 과정에서 데이터 손실을 방지하고, 시스템 다운타임을 최소화하는 것이 중요합니다.

---

2. 선이행과 본이행

선이행(Pre-migration)과 본이행(Main-migration)은 데이터 이행을 두 단계로 나누는 중요한 개념입니다.

각 단계는 시스템 전환의 복잡도를 줄이고, 이행 과정을 효율적으로 만듭니다.

---

2.1 선이행과 본이행

• 선이행
  • 변하지 않거나 과거의 데이터를 미리 이행하는 단계로, 시스템 전환 당일의 부하를 줄이고 이행 시간을 단축하는 데 중점을 둡니다.
    
    
• 본이행
  • 실제로 변동된 데이터나 이행 당일에 발생한 데이터를 새 시스템으로 이행하는 단계로, 최종 동기화 및 시스템 전환을 완료합니다.

---

2.2 선이행의 이점

• 이행 당일 부담 감소: 과거의 데이터를 미리 이행함으로써, 전환 당일에 필요한 데이터만 처리할 수 있습니다.
• 리스크 관리: 대용량 데이터를 미리 이행하여, 문제 발생 시 빠르게 대처할 수 있습니다.
• 효율성 향상: 변하지 않는 데이터를 미리 처리하면, 실제 이행 시 더 효율적으로 진행할 수 있습니다.

---

3. 데이터 이행 전략

데이터 이행은 다양한 전략에 따라 진행할 수 있으며, 각 전략은 이행의 규모와 특성에 맞춰 선택해야 합니다.

1. 빅뱅(Big Bang)
   • 빅뱅 전략은 모든 데이터를 한 번에 새 시스템으로 이행하는 방법입니다. 시스템 전환이 빠르게 이루어지고, 이행 후에는 기존 시스템을 종료하고 새로운 시스템만 운영됩니다.
   • 이 전략은 보통 단기간 내에 모든 데이터를 이동해야 할 때 사용됩니다.
     
     
   • 장점:
     
     • 빠른 전환: 데이터와 시스템을 동시에 이동하여 짧은 시간 내에 시스템을 전환할 수 있습니다.
     • 관리 간소화: 전환 후에는 기존 시스템을 더 이상 운영할 필요가 없으므로 관리가 단순해집니다. 모든 것이 새 시스템에서 처리되므로 시스템 관리가 쉬워집니다.
   • 단점:
     
     • 리스크가 큼: 이행 중 발생할 수 있는 문제나 오류를 해결하는 데 시간이 걸릴 수 있습니다. 큰 리스크를 동반하므로, 예상치 못한 문제 발생 시 복구가 어려울 수 있습니다.
     • 중단 시간: 모든 데이터와 시스템을 한 번에 전환하므로, 중단 시간이 길어질 수 있습니다. 이로 인해 비즈니스에 영향이 갈 수 있습니다.
   • 적합한 경우:
     
     • 시스템 전환이 빠르게 이루어져야 하는 경우: 시스템의 전환이 단기간에 완료되어야 할 때 유용합니다.
     • 데이터 양이 적거나 비교적 단순한 시스템 전환이 필요한 경우, 예를 들어 소규모 시스템의 업그레이드나 테스트 시스템에서 적합합니다.
       
       
2. 점진적(Phased)
   • 점진적 이행 전략은 데이터를 여러 단계로 나누어 이행하는 방법입니다.
   • 구 시스템과 새 시스템이 일정 기간 병행 운영되며, 각 단계에서 발생한 데이터를 점차적으로 새 시스템으로 이동시킵니다.
     
     
   • 장점:
     
     • 리스크 분산: 데이터를 단계적으로 이행하므로 리스크를 분산시킬 수 있어, 시스템 전환 과정에서 문제가 발생해도 영향 범위가 제한적입니다.
     • 안정성 향상: 점진적 전환 방식은 안정성을 확보할 수 있어, 이행 중 발생할 수 있는 오류나 충돌을 최소화할 수 있습니다.
   • 단점:
     
     • 이행 시간이 길어짐: 데이터 전환이 단계적으로 이루어지므로 전체 이행 기간이 길어질 수 있습니다.
     • 병행 운영의 복잡성: 구 시스템과 새 시스템을 병행 운영해야 하므로 시스템 관리가 복잡해집니다.
   • 적합한 경우:
     
     • 데이터 양이 많고 복잡한 시스템일 때 유리합니다. 복잡한 데이터 이행을 점진적으로 진행하여 시스템 전환을 관리하기 용이합니다.
     • 리스크를 최소화하며 안정적인 이행을 원하는 경우 적합합니다. 점진적 이행은 데이터와 시스템에 미치는 영향을 최소화합니다.
       
       
3. 컷오버(Cutover)
   
   • 컷오버 전략은 기존 시스템에서 새 시스템으로 데이터를 단 한 번의 시점에 전환하는 방법입니다. 이 방법은 단일 시점에서 기존 시스템을 종료하고 새 시스템을 시작하며, 모든 전환 작업이 동시에 이루어집니다.
     
     
   • 장점:
     
     • 한 번의 전환으로 모든 데이터와 시스템을 새 시스템으로 이행할 수 있습니다.
     • 전환이 완료된 후에는 기존 시스템을 더 이상 운영할 필요가 없어 관리가 단순해집니다.
   • 단점:
     
     • 전환 시 발생할 수 있는 오류나 문제를 해결하는 데 시간이 걸릴 수 있습니다. 예상하지 못한 문제나 장애가 발생할 경우, 시스템 복구가 어려울 수 있습니다.
     • 리스크가 큼: 모든 전환 작업이 한 번에 이루어지므로 리스크가 크게 작용할 수 있습니다.
   • 적합한 경우:
     
     • 새 시스템으로의 전환이 빠르고 단기적으로 이루어져야 하는 경우에 유리합니다. 예를 들어, 일정 기간 내에 새로운 시스템으로의 전환이 급한 경우 적합합니다.
     • 기존 시스템과 새 시스템이 빠르게 호환되어야 할 때 유용합니다.
       
       
4. 하이브리드(Hybrid)
   
   • 하이브리드 전략은 빅뱅과 점진적 전략을 혼합한 방식입니다. 중요한 데이터는 한 번에 이행하고, 나머지 데이터는 점진적으로 이행하는 방식입니다. 이 방법은 중요 데이터는 빠르게 전환하고, 덜 중요한 데이터는 점진적으로 처리하여 안정성을 높입니다.
     
     
   • 장점:
     
     • 중요 데이터를 우선 이행하여 빠르게 시스템을 전환할 수 있습니다. 비즈니스에 중요한 데이터는 빠르게 처리하므로, 비즈니스의 핵심 운영이 중단되지 않습니다.
     • 리스크를 최소화할 수 있습니다. 중요한 데이터는 빠르게 이행하고, 나머지 데이터는 점진적으로 처리하면서 리스크를 관리할 수 있습니다.
   • 단점:
     
     • 이행 계획이 복잡하고 관리가 어려울 수 있습니다. 두 전략을 혼합하다 보니 계획이 복잡하고, 다양한 단계를 동시에 관리해야 하므로 시간이 더 걸릴 수 있습니다.
     • 추가적인 준비가 필요합니다. 하이브리드 전략은 두 전략을 결합하기 때문에 초기 준비와 계획이 중요한 역할을 합니다.
   • 적합한 경우:
     
     • 중요한 데이터를 먼저 전환해야 하는 경우 유용합니다.
     • 시스템이 크고 복잡하여 단계별 전환이 필요한 경우에 적합합니다. 시스템 전환 시, 중요한 데이터는 우선 이행하고 나머지는 점진적으로 처리하여 관리의 복잡도를 줄입니다.
       
       
5. 리프트 앤 시프트 (Lift-and-Shift)
   
   • 리프트 앤 시프트 전략은 기존의 시스템이나 데이터베이스를 물리적으로 그대로 새로운 시스템으로 옮기는 방식입니다. 데이터와 애플리케이션을 그대로 옮기고, 필요한 경우 작은 수정만 진행합니다. 이 방법은 시스템을 큰 변화 없이 빠르게 이전해야 할 때 사용됩니다.
     
     
   • 장점:
     
     • 간단하고 빠름: 데이터를 물리적으로 옮기기만 하면 되므로 빠르게 진행할 수 있습니다. 기존 시스템을 거의 그대로 이전하기 때문에 전환 시간이 단축됩니다.
     • 저비용: 기존 시스템을 그대로 이전하므로 대규모 수정이나 최적화 없이 전환할 수 있어 비용 절감 효과가 있습니다.
   • 단점:
     
     • 기존 시스템의 문제를 그대로 가져옴: 기존 시스템에서 발생했던 비효율성이나 오류를 그대로 물려받게 됩니다. 성능 저하나 문제가 지속될 수 있습니다.
     • 최적화 부족: 새 시스템에 맞게 최적화되지 않으면 성능 저하가 발생할 수 있습니다.
   • 적합한 경우:
     
     • 기존 시스템의 전환이 빠르고 간단해야 할 때 적합합니다. 시스템 변경이 불필요하고 빠른 전환이 요구되는 상황에서 유용합니다.
     • 시스템에 큰 변경 없이 빠르게 이전해야 할 경우, 예를 들어 기존 시스템이 간단하거나 안정적인 상태일 때 적합합니다.

---

4. 이행 전략 선택 시 고려 사항

• 데이터의 크기와 중요성 및 복잡성: 중요한 데이터는 빠르게 이행하고, 양이 많고 복잡한 데이터는 단계별로 이행하는 것이 좋습니다.
• 시스템 다운타임 허용 범위: 다운타임을 최소화해야 하는 경우 점진적이나 하이브리드 전략이 적합합니다.
• 리소스 및 예산: 리소스와 예산에 따라 적절한 전략을 선택해야 합니다.
• 리스크 관리: 리스크를 분산시키고, 문제 발생 시 빠르게 대응할 수 있는 전략을 선택해야 합니다.

---

5. 이행 전략별 계획 예시

1. 빅뱅 전략 계획 예시
   
   • 목표: 모든 데이터를 한 번에 이행하여 시스템 전환 완료.
   • 주요 작업:
     
     • 데이터 추출 및 변환 작업 시작: 기존 시스템에서 필요한 모든 데이터를 추출하고, 새 시스템에 맞게 변환합니다. 데이터 형식이나 규격이 다를 수 있기 때문에 변환 작업이 필수적입니다.
     • 전체 데이터베이스 이행: 변환된 데이터를 새 시스템에 이행합니다. 이 과정은 주로 시스템 다운타임 동안 이루어집니다.
     • 기존 시스템 종료 및 새 시스템 운영 시작: 데이터 이행이 완료되면, 기존 시스템을 종료하고 새 시스템에서 모든 비즈니스 프로세스를 운영합니다.
   • 리스크 관리:
     
     • 이행 전에 충분한 테스트 환경을 설정하여 시스템 전환 시 발생할 수 있는 문제를 사전에 파악하고 최소화합니다. 이행 중에 발생할 수 있는 잠재적인 오류를 빠르게 해결할 수 있도록 비상 대응 계획을 마련합니다.
   • 시간표:
     
     • 1주일 내 모든 데이터 이행을 완료할 수 있도록 설정합니다. 전환 작업을 집중적으로 처리하여 중단 시간을 최소화하고, 새 시스템에서의 안정성을 확보합니다.
       
       
2. 점진적 전략 계획 예시
   
   • 목표: 데이터를 단계별로 이행하여 시스템 전환 완료.
   • 주요 작업:
     
     • 첫 번째 단계: 고객 정보, 제품 정보 등 중요한 데이터 이행. 이 데이터는 비즈니스에 필수적이므로 우선적으로 새 시스템에 반영됩니다.
     • 두 번째 단계: 거래 데이터 및 로그 데이터 이행. 이 단계에서 실시간 데이터나 중요한 로그 정보를 새 시스템으로 이행하여 최신 상태를 유지합니다.
     • 마지막 단계: 모든 데이터 이행 및 시스템 전환 완료. 마지막으로 모든 데이터를 새 시스템에 전송하고, 기존 시스템을 종료합니다.
   • 리스크 관리:
     
     • 각 단계에서 충분한 검증 및 테스트를 수행하여, 데이터의 정확성, 일관성, 완전성을 확인합니다. 각 단계에서 발생할 수 있는 문제를 조기에 발견하고 해결할 수 있도록 테스트 및 검증 프로세스를 강화합니다.
   • 시간표:
     
     • 3개월 내 모든 데이터 이행을 완료합니다. 각 단계는 약 1개월씩 진행되며, 마지막 단계에서는 전체 시스템을 새 시스템으로 전환하고 안정화 작업을 진행합니다.
       
       
3. 컷오버 전략 계획 예시
   
   • 목표: 기존 시스템에서 새 시스템으로 한 번의 시점에 데이터 전환 완료.
   • 주요 작업:
     
     • 데이터 전환 및 시스템 동기화: 기존 시스템에서 데이터를 추출하고 새 시스템으로 전환하며, 두 시스템 간의 동기화 작업을 통해 데이터의 일관성을 보장합니다.
     • 기존 시스템 종료 및 새 시스템 시작: 전환이 완료되면, 기존 시스템을 종료하고 새 시스템을 본격적으로 운영합니다.
     • 실시간 모니터링을 통한 시스템 안정성 확인: 시스템이 정상적으로 작동하는지 실시간으로 모니터링하고, 예상치 못한 문제가 발생할 경우 즉시 대응할 수 있도록 준비합니다.
   • 리스크 관리:
     
     • 컷오버 전 충분한 사전 테스트 및 리허설을 통해 리스크를 최소화하고, 전환 후 즉시 문제가 발생하면 신속히 대응할 수 있도록 준비합니다. 시스템 리허설을 통해 실제 전환 작업을 미리 경험하고 문제를 발견할 수 있습니다.
   • 시간표:
     
     • 3일 내 모든 전환 작업을 완료하고, 새 시스템에서의 가동을 시작합니다. 중단 시간을 최소화하고, 시스템 안정성을 확보하는 데 집중합니다.
       
       
4. 하이브리드 전략 계획 예시
   
   • 목표: 중요한 데이터를 먼저 이행하고, 나머지 데이터를 점진적으로 이행하여 시스템 전환 완료.
   • 주요 작업:
     
     • 첫 번째 단계: 고객 정보와 주요 거래 데이터 우선 이행. 비즈니스에 중요한 데이터를 먼저 새 시스템으로 이동시켜, 핵심적인 업무가 지연되지 않도록 합니다.
     • 두 번째 단계: 보조 데이터 및 기록 데이터 이행. 주요 데이터 이행 후, 나머지 데이터는 점진적으로 이동시킵니다.
     • 마지막 단계: 모든 데이터 동기화 및 시스템 전환. 최종적으로 모든 데이터를 동기화하고, 시스템 전환을 완료합니다.
   • 리스크 관리:
     
     • 중요한 데이터를 우선 이행하여, 문제가 발생할 경우 빠르게 해결할 수 있도록 합니다. 데이터의 정확성을 검증하고, 이행 후 성능 최적화를 진행하여 시스템에 미치는 영향을 최소화합니다.
   • 시간표:
     
     • 2개월 내 주요 데이터 이행을 완료하고, 전체 데이터 이행은 6개월 내 완료합니다. 각 단계에서 성능 모니터링을 강화하고, 문제 발생 시 즉시 대응할 수 있도록 준비합니다.
       
       
5. 리프트 앤 시프트 전략 계획 예시
   
   • 목표: 기존 시스템에서 새로운 시스템으로 데이터와 애플리케이션을 물리적으로 그대로 이행 완료.
   • 주요 작업:
     
     • 기존 시스템의 데이터와 애플리케이션을 새 시스템으로 그대로 전송: 기존 시스템에서 사용하던 데이터와 애플리케이션을 그대로 이동합니다.
     • 새 시스템에 필요한 소프트웨어 구성 요소만 일부 수정하여 적용: 새 시스템에서의 호환성 문제를 해결하기 위해 필요한 최소한의 수정만 진행합니다.
     • 기존 시스템과 새 시스템 간 호환성 테스트 및 동기화: 데이터가 새 시스템에서 정확히 작동하는지 확인하고, 두 시스템 간 동기화를 완료합니다.
   • 리스크 관리:
     
     • 기존 시스템의 문제를 그대로 가져올 수 있으므로, 전환 전에 테스트 및 검증을 충분히 진행하여 문제를 미리 파악하고 해결 방안을 마련합니다.
     • 시스템 전환 후 성능 최적화가 필요할 수 있으므로 모니터링을 강화하여 성능 저하를 최소화합니다.
   • 시간표:
     
     • 1~3일 내 전환 작업을 완료합니다. 중단 시간 최소화를 목표로 빠르게 새 시스템을 가동하도록 합니다.

---

6. 이행 절차

성공적인 데이터 이행을 위해서는 철저한 준비와 계획이 필요합니다.

 

일반적인 이행 절차는 다음과 같습니다.

1. 이행 사전 준비
   
   1. 고객사 환경 파악: 기존 시스템의 구조와 데이터 흐름을 정확히 이해합니다.
   2. 다운타임 확인: 이행을 위한 다운타임 시간을 확인하고, 이를 최소화하는 방법을 고려합니다.
   3. 이행 방법론 확정: 빅뱅, 점진적, 컷오버, 하이브리드 전략 중 적합한 방법을 선택합니다.
   4. 테스트 플라이트 시나리오 작성: 이행 전 시뮬레이션을 통해 예상되는 문제를 파악합니다.
2. 이행
   
   1. 이행 날짜 확인: 본이행을 위한 최적의 날짜와 시간을 정합니다.
   2. 데이터 검증: 모든 데이터가 정확하게 이행되었는지 검증합니다.
   3. 오브젝트 건수 상태 확인: 이행 후, 데이터의 건수와 구조가 맞는지 확인합니다.
      
      
3. 안정화
   
   1. 성능 관련 및 Alert Trace Log 확인: 시스템의 성능을 모니터링하고, 이상 징후를 점검합니다.
   2. 최종 검증 및 테스트: 이행이 완료된 후, 모든 시스템이 정상 작동하는지 확인합니다.

---

7. 실제 프로젝트 수행 시 팁

프로젝트를 성공적으로 수행하기 위해서는 사전 준비와 지속적인 모니터링이 필요합니다.

• 철저한 사전 준비
  
  • 이행 전에 충분한 테스트와 검증을 통해 문제를 사전에 파악하고 해결해야 합니다.
  • 이행 전 데이터 백업을 철저히 하고, 각 단계를 테스트하여 예상치 못한 오류를 방지합니다.
• 모니터링 강화
  
  • 이행 중 시스템 모니터링을 강화하여, 문제 발생 시 즉시 대응할 수 있도록 합니다.
• 커뮤니케이션
  
  • 프로젝트 팀과 고객사 간의 원활한 커뮤니케이션을 통해 이행 과정에서의 혼란을 최소화합니다.
  • 각 팀의 역할을 명확히 하고, 이행 진행 상황을 공유합니다.
• 백업 및 복구 계획
  
  • 이행 중 문제가 발생할 경우를 대비하여 백업 및 복구 계획을 수립합니다.
  • 이를 통해 데이터 손실을 방지하고, 시스템 장애 시 빠르게 복구할 수 있습니다.

---

이행 전략은 데이터의 중요성, 복잡성, 시스템 환경에 맞게 조정되어야 하며, 각 단계에서 발생할 수 있는 리스크를 효과적으로 관리하는 것이 중요합니다. 그리고 백업 및 복구 계획은 반드시 수립해야 합니다.

 

오늘은 여기까지~