[SQLD] 데이터 모델과 성능

성능 데이터 모델링

성능 데이터 모델링이란, DB 성능향상을 목적으로 설계 단계의 데이터 모델링 때부터 정규화, 반정규화, 테이블 통합, 테이블 분할, 조인 구조, PK, FK 등 여러 가지 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것을 의미합니다.

 

데이터의 증가가 빠를수록, 성능저하에 따른 성능개선 비용은 기하급수적으로 증가하므로, 분석 / 설계 단계에서 데이터 모델에 성능을 고려한 데이터 모델링을 수행할 경우, 성능 저하에 따른 재업무 비용을 최소화 할 수 있는 기회를 가지게 됩니다. 

 

성능 데이터 모델링 고려사항 순서

1. 데이터 모델링을 할 때 정규화를 정확하게 수행한다.

2. DB 용량 산정을 수행한다.

3. DB에 발생되는 트랜잭션의 유형을 파악한다.

4. 용량과 트랜잭션의 유형에 따라 반정규화를 수행한다.

5. 이력모델의 조정, PK/FK 조정, 슈퍼 / 서브타입 조정을 수행한다.

6. 성능관점에서 데이터 모델을 검증한다.

 

기본적으로 데이터는 속성간의 함수종속성에 근거하여 정규화되어야 합니다. 정규화는 선택이 아니라 필수사항입니다.

---

 

함수적 종속성 (Functional Dependency)

함수적 종속성은 데이터베이스의 테이블에서 컬럼(속성) 간의 관계를 설명합니다. 한 속성의 값이 다른 속성의 값을 결정한다는 관계를 의미하며, 이는 데이터의 무결성과 정규화 과정에서 핵심적인 역할을 합니다.

정규화 (Normalization)

정규화는 데이터베이스 설계에서 데이터 중복을 최소화하고, 무결성을 유지하기 위해 데이터를 구조화하는 과정입니다. 정규화를 통해 테이블을 설계함으로써 데이터 삽입, 수정, 삭제 시 발생하는 문제를 방지하고 데이터베이스 설계를 개선할 수 있습니다.

 

정규화는 여러 단계의 정규 형태(Normal Forms)로 구분됩니다.

제1 정규형 (1NF)

테이블의 모든 속성이 원자값을 가지며, 반복되는 그룹이 없어야 합니다. 즉, 컬럼에는 하나의 값만 존재해야 합니다.

제2 정규형 (2NF)

1NF를 만족하며, 기본키가 아닌 모든 속성이 기본키에 완전 함수적 종속되어야 합니다. 부분적 종속을 제거합니다.

제3 정규형 (3NF)

2NF를 만족하며, 기본키가 아닌 모든 속성이 비기본키에 의해 이행적으로 종속되지 않아야 합니다. 이행적 종속을 제거합니다.

 

---

반정규화 (De-Normalization)

정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발과 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 말합니다. 일반적으로 정규화 시 입력 / 수정 / 삭제 성능이 향상되며, 반정규화시 조인 성능이 향상됩니다.

 

반정규화 절차

1. 반정규화 대상조사 (범위처리빈도수, 범위, 통계성)

2. 다른 방법을 검토 (뷰, 클러스터링, 인덱스 조정)

3. 반정규화 적용 (테이블, 속성, 관계 반정규화)

 

반정규화 대상조사

1. 자주 사용되는 테이블에 접근하는 프로세스의 수가 많고 항상 일정한 범위만을 조회하는 경우

2. 테이블에 대량의 데이터가 있고 대량의 데이터 범위를 자주 처리하는 경우에 처리범위를 일정하게 줄이지 않으면 성능을 보장할 수 없는 경우

3. 통계성 프로세스에 의해 통계 정보를 필요로 할 때 별도의 통계테이블을 생성한다.

4. 테이블에 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려운 경우

 

다른 방법유도 검토

1. 지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려운 경우, VIEW를 사용한다.

2. 대량의 데이터 처리나 부분처리에 의해 성능이 저하되는 경우, 클러스터링을 적용하거나 인덱스를 조정한다.

3. 대량의 데이터는 PK의 성격에 따라 부분적인 테이블로 분리할 수 있다.

4. 응용 어플리케이션에서 로직을 구사하는 방법을 변경함으로써 성능을 향상시킬 수 있다. 

---

반정규화의 기법 (테이블, 컬럼, 관계)

 

테이블 반정규화

테이블 병합(1:1 관계, 1:M 관계, 슈퍼 / 서브타입)

1. 1:1 관계를 통합하여 성능을 향상시킨다.

2. 1:M 관계를 통합하여 성능을 향상시킨다.

3. 슈퍼 / 서브 관계를 통합하여 성능을 향상시킨다.

 

테이블분할 (수직분할, 수평분할)

1. 디스크 I/O를 분산처리하기 위해 컬럼단위 테이블을 1:1로 분리하여 성능을 향상시킨다.

2. 로우단위로 집중 발생하는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근의 효율성을 높여 성능을 향상하기 위해 로우 단위로 테이블을 쪼갠다.

 

테이블추가 (중복, 통계, 이력, 부분테이블 추가)

1. 다른 업무이거나 서버가 다른 경우, 동일한 테이블 구조를 중복하여 원격조인을 제거하여 성능을 향상시킵니다.

2. SUM, AVG 등을 미리 수행하여 계산해둠으로써, 조회 시 성능을 향상시킨다.

3. 마스터 테이블에 존재하는 레코드를 중복해서 이력 테이블에 저장하여, 성능을 향상시킨다.

4. 하나의 테이블의 전체 컬럼 중 자주 이용하는 집중화된 컬럼이 있을 때, 디스크 I/O를 줄이기 위해 해당 컬럼들을 모아둔 별도의 반정규화된 테이블을 생성한다.

 

컬럼 반정규화

내용	설명
1. 중복컬럼 추가	조인에 의해 처리할 때 성능저하를 예방하기 위해 중복된 컬럼을 위치시킨다.
2. 파생컬럼 추가	트랜잭션이 처리되는 시점에 계산에 의해 발생되는 성능저하를 예방하기 위해 미리 값을 계산하여 컬럼에 보관한다.
3. 이력테이블 컬럼추가	대량의 이력데이터를 처리할 때, 불특정 날짜 조회나, 최근 값을 조회할 때 나타날 수 있는 성능저하를 예방하기 위해 이력테이블에 기능성 컬럼(최근값 여부, 시작과 종료일자 등)을 추가한다.
4. 응용시스템 오작동을 위한 컬럼 추가	업무적으로는 의미가 없지만 사용자의 실수로 원래 값으로 복구하기 원하는 경우, 이전 데이터를 임시적으로 중복해서 보관한다.

 

관계 반정규화

중복관계 추가

데이터를 처리하기 위한 여러 경로를 거쳐 조인이 가능하지만, 이 때 발생할 수 있는 성능 저하를 예방하기 위해 추가적인 관계를 맺는 것을 의미합니다.

 

---

로우 체이닝

로우의 길이가 너무 길어서 데이터 블록 하나에 데이터가 모두 저장되지 않고 두 개 이상의 블록에 걸쳐서 하나의 로우가 저장되어 있는 형태를 의미합니다.

로우 마이그레이션

데이터 블록에서 수정이 발생하면 수정된 데이터를 해당 데이터 블록에서 저장하지 못하고, 다른 블록의 빈 공간을 찾아 저장하는 방식을 의미합니다.

 

로우 체이닝과 로우 마이그레이션이 발생해서 많은 블록에 데이터가 저장되면, DB 메모리에서 디스크 I/O가 발생할 때 많은 I/O가 발생하여 성능 저하가 발생하게 됩니다. 이런 상황에서는 트랜잭션을 분석해서 적절하게 1:1 관계로 분리하고, 성능향상이 가능하도록 DB 구조를 변경해야 합니다.

 

PK에 의해 테이블을 분할하는 방법 (파티셔닝)

RANGE PARTITION

대상 테이블이 날짜 또는 숫자값으로 분리가 가능하고, 각 영역별로 트랜잭션이 분리되는 경우 사용할 수 있는 방법입니다.

LIST PARTITION

지점, 사업소 등 핵심적인 코드값으로 PK가 구성되어 있으면서, 대량의 데이터가 있는 테이블에서 사용할 수 있는 방법입니다.

HASH PARTITION

지정된 HASH 조건에 따라서 해시 알고리즘이 적용되어 테이블을 분리할 수 있는 방법입니다.

 

테이블에 대한 수평 / 수직분할의 절차

1. 데이터 모델링을 완성한다.

2. DB 용량산정을 한다.

3. 대량 데이터가 처리되는 테이블에 대해 트랜잭션 처리 패턴을 분석한다.

4. 컬럼 단위, 또는 로우 단위로 집중화된 처리가 발생하는지를 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토한다.

---

슈퍼 / 서브 타입 모델

슈퍼 / 서브 타입 모델은, 데이터베이스 설계에서 사용되는 개념적 모델링 기법 중의 하나입니다. 이 모델은 상속 개념을 데이터베이스 설계에 적용하여, 서로 관련있는 엔티티 간의 공통 속성과 행위를 모델링 하는 데 사용됩니다. 

 

1. 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성합니다. (One To One Type)

2. 슈퍼타입 + 서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼 + 서브타입 테이블로 구성합니다. (Plus Type)

3. 전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성합니다. (Single Type. All in One Type)

 

---

인덱스 특성을 고려한 PK/FK DB 성능 향상

인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자로 있어야 좋은 효율을 냅니다.

 

 

---

 

분산 DB

1. 여러 곳으로 분산되어 있는 DB를 하나의 가상 시스템으로 사용할 수 있도록 한 DB입니다.

2. 논리적으로 동일한 시스템에 속하지만, 컴퓨터 네트워크를 통해 물리적으로 분산되어 있는 데이터 집합입니다.

 

분산 DB를 만족하기 위한 6가지 투명성

이름	설명
1. 분할 투명성(단편화)	하나의 논리적 Relation이 여러 단편으로 분할되어 각 사본이 여러 사이트에 저장됩니다.
2. 위치 투명성	사용하려는 데이터의 저장 장소 명시가 불필요합니다. 위치정보가 시스템 카탈로그에 유지됩니다.
3. 지역사상 투명성	지역 DBMS와 물리적 DB 사이의 매핑을 보장합니다.
4. 중복 투명성	DB 객체가 여러 사이트에 중복되어 있는지 알 필요가 없는 성질입니다.
5. 장애 투명성	구성요소의 장애에 무관한 트랜잭션의 원자성을 유지합니다.
6. 병행 투명성	다수의 트랜잭션을 동시에 수행시, 결과의 일관성을 유지합니다. TimeStamp, 분산 2단계 Locking을 이용합니다.

 

분산 DB의 장/단점

내용	설명
장점	지역 자치성
	신뢰성
	가용성
	효용성
	융통성
	빠른 응답속도
	비용절감
	각 지역 사용자 요구 수용 가능
단점	비용 증가
	요류의 잠재성 증대
	설계 관리의 복잡성
	불규칙한 응답 속도
	통제의 어려움
	데이터 무결성 위협

 

분산 DB 적용 기법

 

1. 테이블 위치 분산 

설계된 테이블을 본사와 지사 단위로 분산합니다.

2. 테이블 분할 분산

각각의 테이블을 쪼개어 분산합니다.

이름	설명
수평 분할	로우 단위로 분리
수직 분할	컬럼 단위로 분리

 

3. 테이블 복제 분산

동일한 테이블을 다른 지역이나 서버에서 동시에 생성하여 관리하는 유형입니다.

이름	설명
부분 복제	마스터 DB에서 테이블의 일부 내용만 다른 지역이나 서버에 위치시킵니다.
광역 복제	마스터 DB 테이블의 내용이 각 지역이나 서버에 존재합니다.

 

4. 테이블 요약 분산

지역 간에 또는 서버 간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우, 사용하는 방식입니다.

이름	설명
분석 요약	동일한 테이블 구조를 가지고 있으면서 분산되어 있는 데이터를 이용하여 통합된 데이터를 산출하는 방식입니다.
통합 요약	분산되어 있는 다른 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식입니다.

 

분산 DB 설계를 고려해야 하는 경우

1. 성능이 중요한 사이트

2. 공통코드, 기준정보, 마스터 데이터의 성능 향상

 

3. 실시간 동기화가 요구되지 않는 경우, 거의 실시간의 업무적인 특징을 가지고 있는 경우

 

4. 특정 서버에 부하가 집중되어 부하를 분산하기 위한 경우

 

5. 백업 사이트를 구성하는 경우