컴퓨터 공학 (76) 썸네일형 리스트형 정규화 Normalization 1. 성능 데이터 모델링 DB 성능 향상을 위한 사항을 데이터 모델링에 반영하는 것 분석, 설계 시점에 수행해야 하고 이 시점이 늦어질수록 재업무 비용 증가 정규화는 반드시 수행해야 하고 DB용량 산정, 트랜잭션 유형 파악을 통한 반정규화를 수행할 수도 있음 2. 함수적 종속성 정규화 데이터 분해 과정 이상현상 anomaly 제거 목표 : 테이블 간 중복된 데이터를 제거 → 무결성 Integrity 유지, 용량 축소 함수적 종속성 Functional Dependency;FD 테이블(릴레이션)에 속성 X, Y가 있다고 가정 X 값을 알면 Y값을 식별할 수 있고, X값에 따라 Y값이 달라지는 경우; Y는 X에 함수적으로 종속된다고 함 ex) 학번 → 이름, 학번 → 나이, 학번 → 성별 (학번으로 모든 학생.. ERD (Entity Relationship Diagram) 기초 1. 기본 개념 데이터 모델링의 3요소 엔티티 - 사각형 관계 - 마름모 속성 - 타원형 ERD 그리기 절차 엔티티 도출 엔티티 배치 엔티티 간 관계 설정 관계명 기술 관계 차수 표현 : 1:1, 1:N, M:N 관계선택사양 표현 : 필수, 선택 2. 엔티티 업무에서 관리해야 하는 데이터의 집합, 명사형, 인스턴스의 집합 특징 업무에서 필요로함 유일한 식별자를 가짐 2개 이상의 인스턴스를 포함함 속성을 가지고 있음 다른 엔티티와의 관계를 가지고 있음 종류 유무형에 따른 분류 유형 엔티티 : 물리적 형태가 있고, 지속적으로 활용되는 것 개념 엔티티 : 물리적 형태가 없는 것 발생 시점에 따른 분류 기본 엔티티 Key Entity : 독립적으로 생성되는 엔티티 중심 엔티티 Main Entity: 기본 엔티티.. 데이터 모델링의 이해 1. 모델링 현실 세계를 단순화하여 표현하는 것 특징 추상화 : 일정한 형식에 맞춰 표현 단순화 : 제한된 표기법이나 언어로 표현 명확성 : 이해하기 쉽게 표현 관점 데이터 관점 : 업무와 데이터 사이의 관계 프로세스 관점 : 진행되고 있거나 진행되어야 하는 업무 상관 관점 : 데이터에 대한 업무 처리 방식의 영향 2. 데이터 모델링 정보 시스템 구축을 위한 데이터 관점의 업무 분석 기법 목적 정보 표기법을 통일하여 업무 내용 분석 정확도 증대 데이터 모델을 기초로 DB 생성 기능 가시화, 명세화, 구조화된 데이터 틀 제공 문서화 다양한 관점 제공 구체화 중요성 파급효과 leverage 간결한 표현 conciseness : 정보 요구사항과 한계를 간결하게 표현하는 도구 데이터 품직 향상 유일성 : 데이터.. ELK) Logstash 기본 개념 1. Logstash 개념 ELK의 L을 의미하는 Logstash는 무료 오픈 소스 서버 데이터 처리 실시간 파이프라인 다양한 소스에서 데이터를 수집하여 변환한 후 자주 사용하는 저장소 (ELK 스택에서는 elasticsearch)로 전달한다. 데이터의 형식이나 복잡성과 관계 없이 데이터를 동적으로 수집, 전환, 전송한다. 즉, 서로 다른 소스의 데이터일지라도 동적으로 통합하여 원하는 대상으로 데이터를 정규화할 수 있다. 2. Logstash 작업 입력 : 다양한 형태, 크기, 소스의 데이터를 수집한다. ㅛ소 필터 : 소스에서 데이터로 변환하여 저장소로 이동하는 과정에서 각 이벤트를 구문 분석하고 명명된 필드(column)을 식별하여 구조를 구축하며, 이를 공통 형식으로 변환 통합한다. grok를 통해서.. ELK) Elasticsearch 기본 개념 이 글은 아래 블로그 글을 토대로 공부하면서 모르는 내용에 살을 붙여 정리한 글입니다. [Elasticsearch] 기본 개념잡기 1. Elasticsearch란? Elasticsearch는 Apache Lucene( 아파치 루씬 ) 기반의 Java 오픈소스 분산 검색 엔진입니다. Elasticsearch를 통해 루씬 라이브러리를 단독으로 사용할 수 있게 되었으며, 방대한 양의 데이.. victorydntmd.tistory.com 1. Elasticsearch란? Apache Lucene(아파치 루씬) 기반의 Java 오픈소스 분산 검색 엔진 방대한 양의 데이터를 거의 실시간 (NRT, Near Real Time)으로 저장, 검색, 분석할 수 있다. 데이터 분석 도구인 ELK 스택에서 데이터 분석 및 저.. [컴퓨터 네트워크] acronym 총정리 ARP : Address Resolution Protocol TCP : Transmission Control Protocol 세그먼트 three-way handshaking 송수신측 모두 윈도우를 각각 가지고 있음 RTO : Retransmission Time Out RTT : Round Trip Time rnwd : receive windoe cnwd : congestion window → 사이즈는 min(rnwd, cnwd) slow start : cwnd++(1씩 증가시킴), increase additively fast recovery : cwnd + (1/cnwd), sshtresh 를 넘으면 exponentail increas Taho TCP 시작은 cwnd = 1, ssthresh는 cwnd .. [컴퓨터 네트워크] 네트워크 계층 기본 개념 정리 1. Service of network layer 1.1 Packetizing Encapsulating 송신지에서 상위 계층에서 받은 데이터(=페이로드)를 네트워크 계층 패킷에 담는 것 너무 크면 쪼개서 쪼갬 fragmentation Decapsulating 수신지에서 전달받은 패킷으로부터 페이로드를 꺼내는 것 라우터나 송신지에서 패킷을 쪼개서 보내는 경우 모든 조각들이 도착할 때까지 기다렸다가 재조립하고 상위 계층으로 전달 1.2 Routing 물리적으로 네트워크의 조합되어 사용되기 때문에 하나 이상의 송수신지가 경로에 존재함 따라서 여러 경로 중 최적의 경로를 찾아줌 1.3 Forwording 라우터 input → output 으로 패킷 이동시키는 것 이때 포워딩 테이블 참조해서 적절한 수신지로 보냄.. Week13) 데이터 큐레이션 실습 : Preservation Action 데이터 보존하기 데이터 이전 (migration) + 재평가 (re-appraisal) 1. 데이터 보존하기 데이터의 권위적인 상태 유지를 위해 장기 보존과 유지를 보장하는 과정 목적 : 데이터 무결성 진실성 신뢰성 유지 주요 활동 데이터 정리하기 확인하기 보존 메타데이터 부여 표현 정보 부여 수용 가능한 데이터 구조 또는 파일 형식 보장 2. 이전 Migration 데이터 보존 방식의 일종 데이터 장기적 보존을 위해 필요한 활동 비정기적 활동 데이터 이전은 미디어 사용 만료, 기술적 지원 만료 등의 이유로 이전하는 것 3. 보존의 목표 authenticity 진실성 데이터 조작, 위조, 대체되지 않음 원본 유지 integrity 무결성 추가적인 조작이 없는 상태 longevity 지속성 현재 미래 모두 데이터 이용 가.. 이전 1 2 3 4 5 ··· 10 다음
