[정보처리기사 실기] 3. 데이터 입출력 구현

 

데이터 입출력 구현

논리 데이터 저장소 확인

데이터 모델링 절차

요구사항 분석 → 개념적 데이터 모델링

물리적 데이터 모델링 ← 논리적 데이터 모델링

E-R 모델 : 요구사항으로부터 얻어낸 정보들을 개체, 속성, 관계로 기술한 모델 (요구사항, 개체 속성 관계)

논리적 데이터 모델링

*관계 데이터 모델

2차원 테이블 형태

*네트워크 데이터 모델

그래프 형태 논리적 구조

*계층 데이터 모델

트리형태, 상하관계 존재

DB 설계 절차

요구사항 분석

개념적 설계 : 현실 세계에 대한 인식을 추상적, 개념적으로 표현, 개념적 구조를 도출하는 과정

개체들과 개별 관계 및 종속성을 반영

모델링 표기는 주로 *UML 사용

E - R 다이어 그램 : 개체와 개체 간의 관계를 도식화한 다이어그램

논리적 설계 : 목표 DBMS에 맞는 스키마 설계, 정규화 과정 수행

물리적 설계 : 특정 DBMS 의 특성 및 성능을 고려하여 데이터 베이스 저장 구조로 변환하는 과정

데이터 모델 구성요소 (연구제)

*연산 : 연산을 이용하여 실제 표현된 값들을 처리

*구조 : 어떻게 나타낼 것인지 표현

제약 조건

관계 데이터 모델 구성

카디널리티(약술) : 관계형 데이터베이스 모델, 릴레이션 내 , 튜플의 수

Degree : 속성의 수

정규형

1 : 원자화

2 : 부분함수 종속 제거 ( A → BC , A→B A→C)

3 : 이행함수 종속 제거 (A → B , B→C , A→C)

어떤 릴레이션에 R이 ( *2차 정규화 ) 이고,

릴레이션의 키가 아닌 속성 모두가 R의 어떤 키에도 이행적 함수 종속이 아닐 때 R은 ( *3차 정규화 ) 에 속한다.

BCNF : 결정자 함수 종속 제거 | 모든 결정자가 후보 키가 되도록 (약술)

4 : 다치 종속 제거

5 : 조인 종속 제거

정규화

관계형 데이터 모델에서 데이터의 중복성을 제거, 이상현상 방지, 데이터 일관성 정확성 유지하기 위한 \ 무손실 분해하는 과정

반 정규화 (비 정규화) (De-Normalization)

정규화된 엔티티, 속성, 관계에 대해 \ 성능 향상과 개발 운영의 단순화를 위해

중복, 통합, 분리 등을 수행하는 데이터 모델링 기법

중복 테이블 추가, 테이블 통합

테이블 분할

*진행 테이블 추가 : 이력 관리

관계 대수

관계형 데이터 베이스, 원하는 정보, 그 정보를 어떻게 유도, 기술하는 *절차적 정형 언어

일반 집합 연산자

합집합, 교집합 , 차집합

카디션 프로덕트 : X

순수 관계 연산자

셀렉트

조건을 만족하는 튜플

프로젝트

속성들의 값

조인

연결

디비전

관련있는 R의 튜플

이상현상 (삽삭갱)

데이터 중복성 , 릴레이션 조작할 때 발생, 비합리적 현상

삽입 이상 -  데이터 삽입 시 원치 않는 다른 값들도 삽입

삭제 이상 -  정보 삭제 시 원치 않는 다른 정보가 같이 삭제 됨

갱신 이상 -  속성 값 갱신 시 일부 튜플만 갱신되어 모순 발생

 

물리 데이터 저장소 설계

물리 데이터 모델링

논리모델을 적용하고자 하는 기술에 맞도록 상세화해 가는 과정

분포도

(1 / 컬럼 값의 종류) x 100

데이터 베이스 인덱스 개념

전체 데이터의 검색없이 \ 필요한 정보를 신속히 조회가 가능하게 하는 데이터 구조

파티셔닝 기법

레인지 , 리스트 , 컴포지트, 해시, 라운드로빈

레인지 파티셔닝

연속적인 숫자나 날짜를 기준으로 하는 파티셔닝

리스트 파티셔닝

분포도가 비슷하고 데이터가 많은 sql에서

컬럼의 조건이 많이 들어오는 경우

컴포지트 파티셔닝

범위분할 이후 해시 함수 적용

 

데이터베이스 기초 활용하기

텍스트 마이닝 

대량의 텍스트 데이터로부터 \ 관계 또는 패턴을 추출하여 의미 있는 정보를 찾아내는 기법

데이터 마이닝

대규모로 저장된 데이터 안에서

체계적이고 자동적으로 통계적인 규칙이나 패턴을 찾아내는 기술

주요 기법

분류 규칙, 연관 규칙, 연속 규칙 (시간관련)

데이터베이스

프로그램이 사용할 목적으로 \ 통합하여 관리하는 데이터 집합

정의

통합, 저장, 운영, 공용

통합된 데이터, 저장된 데이터, 운영 데이터 , 공용 데이터

특성

실시간 접근성, 계속적인 변화, 동시 공용 , 내용 참조

개체 무결성

키값 널 허용 X

슈퍼키 ㅡ 유일성 만족. 최소성 만족 x

( ) 는 데이터를 상하 종속적인관계로 관리하는 데이터 베이스 : HDBMS

*시스템 카탈로그

시스템 데이터베이스

저장된 내용은 메타 데이터이고, DBMS가 스스로 생성하고 유지하는 특징

DBMS 

데이터 관리 복잡성 해결하는 동시에 \

추가, 변경, 검색 및 백업, 보안 등의 기능을 지원하는 소프트웨어

DBMS 유형 (SQL, No-sql)

key - value DBMS

문서 저장 DBMS

문서라는 타입

컬럼 기반 데이터 저장

Key 안에 (Column , value) 조합

그래프 DBMS

온톨로지

DBMS 특징

무결성, 일관성 , 회복성, 보안성, 효율성

데이터 무결성

서로 다른 데이터가 저장되는 것을 허용하지 않는 성질

데이터 일관성

삽입, 삭제, 갱신, 생성 후에도 저장된 데이터가 변함없이 일정

데이터 회복성, 보안성, 효율성

---

빅데이터

(약술 ) 주어진 비용 시간 내에 처리 가능한 데이터 범위를 넘어서는 \

수십 페타바이트 크기의 비정형 데이터

특성 : Volume, Variety , Velocity

( ) 는 대용량 데이터의 집합을 처리하는 응용 프로그램에 적합하도록 설계된 분산 파일 시스템 : HDFS

구글에서 대용량 데이터 처리를 분산 병렬 컴퓨팅에서 처리하기 위한 목적으로 제작한 소프트웨어 프레임워크 : 맵 리듀스

NoSQL : 데이터 저장에 고정된 스키마 필요하지 않고, 조인 사용할 수 없고, 수평적으로 확장 가능한 DBMS

(데이터 저장, 고정된 스키마x, 조인x , 수평 확장 DBMS)