DewStream

※ Metadata integrity check methods during migration from PostgreSQL ↔ Oracle.PostgreSQL 체크용 쿼리-- 1.스키마별 디스크 사용량SELECT schema_name, pg_size_pretty(sum(table_size)::bigint) as disk_spaceFROM (SELECT pg_catalog.pg_namespace.nspname as schema_name, pg_relation_size(pg_catalog.pg_class.oid) as table_size FROM pg_catalog.pg_class JOIN pg_catalog.pg_namespace ON relnamespace = pg_catalog.pg..

※ Data integrity check methods during migration from PostgreSQL ↔ Oracle. 안녕하세요. 듀스트림입니다. 최근 받은 요청 중 하나가 스테이징 DB는 PostgreSQL, 실 운영 DB는 Oracle인데 스테이징 DB를 거쳐서 실 운영 DB에 데이터가 들어왔을 때 그 데이터의 정합성 체크 방법을 알려달란 요청이 있었습니다. 요구사항은 총 두 개였습니다.1. 초기 이관 시 정합성 체크2. 추가 이관 시 추가 이관한 데이터만 정합성 체크(timestamp 컬럼 존재) 이제 어떻게 해야되는지 한 번 살펴볼까요? 정합성 체크의 주 목적은 데이터의 일관성과 정확성, 완전성 체크입니다. ※ 메타데이터 체크는 선행되어야 합니다. PostgreSQL: PG to O..

※ ANSI SQL: CTE vs. Subquery Comparison. 안녕하세요. 듀스트림입니다. 새해 복 많이 받으세요. 2025년의 첫 포스팅은 많이 사용되는 CTE(Common Table Expression)와 서브쿼리(Subquery)의 차이를 살펴보도록 하겠습니다.1. CTE와 서브쿼리의 차이점항목CTE서브쿼리가독성직관적복잡한 구조일수록 어려워짐재사용성동일 CTE를 여러 번 참조 가능재사용 불가디버깅 용이성각 CTE 단위로 결과를 쉽게 디버깅 가능서브쿼리 단위로 디버깅하기는 어려움성능반복 참조가 필요한 경우 우수단순 필터링, 작은 데이터 셋, 중첩 구조가 단순한 경우 우수코드 구조명시적으로 분리된 블록 구조메인 쿼리 내에 포함되어 복잡해질 수 있음사용 목적반복적 참조 및 복잡한 쿼리 단순화단..

보호되어 있는 글입니다.

※ Timeout-related Parameters in PostgreSQL.※ Version: PostgreSQL 16. 안녕하세요. 듀스트림입니다. PostgreSQL은 약 400개 정도의 파라미터를 설정 가능하도록 설계되어 있습니다.오늘은 가장 많이 사용하는 카테고리 중 하나인 timeout 관련 파라미터를 살펴보겠습니다.statement_timeoutSQL 쿼리 실행에 허용된 최대 시간을 설정합니다. 초과 시 쿼리가 자동으로 중단됩니다.타임아웃은 명령이 서버에 도착한 시점부터 서버에서 완료될 때까지 측정됩니다.단순 쿼리 메시지에 여러 SQL 문이 포함된 경우, 타임아웃은 각 문에 개별적으로 적용됩니다.쿼리 관련 메시지(예: Parse, Bind, Execute, Describe)가 도착하면 타임아..

※ PostgreSQL: LEFT JOIN ... IS NULL vs NOT EXISTS — What's the Difference? 안녕하세요. 듀스트림입니다. 오늘은 LEFT JOIN ... IS NULL과 NOT EXISTS는 어떤 차이가 있고 어떻게 동작하는지 더 깊게 알아보겠습니다. 차이점을 표로 먼저 보여드리겠습니다.항목LEFT JOIN ... IS NULLNOT EXISTS동작 방식조인 결과에서 NULL 값을 확인서브쿼리를 통해 조건 불만족 여부 확인성능큰 데이터셋에서 조인으로 데이터 크기 증가 가능조건이 적은 경우 효율적일 가능성 있음가독성비교적 간단하나 큰 데이터셋에서는 복잡해질 수 있음직관적으로 이해 가능사용 예시외부 조인 결과에서 매칭되지 않는 데이터 확인특정 조건에 맞는 데이터가 존..

※ Transforming LEFT JOIN ... IS NULL to NOT EXISTS for Better Index Utilization in PostgreSQL. 안녕하세요. 듀스트림입니다. 오늘 포스팅은 오랜만에 쿼리 튜닝 사례입니다. 이번 사례는 LEFT JOIN ... NULL 필터링을 NOT EXISTS로 변환하고, 인덱스를 추가하여 성능 최적화한 사례입니다.최적화 결과, 실제 운영 쿼리 성능이 약 2배 정도 향상되었습니다. 주요 포인트는 다음과 같습니다.1. LEFT JOIN ... IS NULL → NOT EXISTS로 조인 방식을 변경하여 조인 비용 감소와 락 경합 발생 최소화2. 필터 조건에 맞는 인덱스 추가로 데이터 접근 방식 최적화: Seq Scan(전체 스캔) → Bitmap ..

보호되어 있는 글입니다.

※ Converting INSERT INTO to CTAS for PostgreSQL Query Optimization 안녕하세요. 듀스트림입니다. 오늘은 쿼리 튜닝 사례를 하나 가져왔습니다.기존 INSERT INTO 문으로 만들어져 있는 쿼리를 CTAS(Create Table As Select) + INSERT INTO로 병렬 처리 가능하게 최적화하여 성능 개선한 사례입니다. 주요 포인트는 다음과 같습니다.1. PostgreSQL은 병렬 INSERT를 지원하지 않습니다.2. CTAS는 병렬 처리를 지원합니다. (SELECT ... INTO도 병렬 지원)3. max_parallel_workers, max_parallel_workers_per_gather 파라미터가 적절하게 설정되어 있어야 합니다.4. 상..

※ Implement PostgreSQL High Availability with a shell script. 안녕하세요. 듀스트림입니다. 이번 포스팅에서는 오픈 소스 HA 도구를 사용하기 전에 고가용성의 기본 원리를 학습하기 위해, 간단한 쉘 스크립트로 고가용성(HA) 로직을 구현해보겠습니다. ※ Primary 서버와 Standby 서버의 각 로컬에서 동작하는 쉘 스크립트로 백그라운드 수행을 염두에 두고 작성하였습니다. ※ 이중화 구성은 이전 포스팅 참고 부탁드립니다. PostgreSQL DBMS 이중화 구성하기※ Setting up PostgreSQL DBMS Replication Configuration.※ Version: Linux 8.10 (Rocky), PostgreSQL 16.4.이전 포스..