[도서] SQL로 맛보는 데이터 전처리 분석

1. 데이터베이스 & SQL

1) 의미

데이터베이스 = 구조화된 데이터의 모임

2) 구조

데이터베이스는 테이블로 구조화되어있으며, 테이블은 행(observation), 열(feature)로 구성된다. 각 테이블은 특정 열의 조합으로 구성된다.

3) 종류

• RDB : 관계형 데이터베이스. 행, 열로 구조화되어있다.(=SQL을 통해 조회 가능하다), MySQL, MariaDB, Oracle 등
• NoSQL : 문서(document) 개념으로 데이터를 바라본다. 대용량 데이터 처리에 용이하다. MongoDB, Hbase, Casandara 등

4) 데이터베이스와 서버

• 서버 : 특정 목적을 위해 설정된 컴퓨터
• DB서버 / 웹 서버 / 도메인 서버 등이 있다.
• 웹서버 : 클라이언트(ex. 웹 브라우저 등)로부터 HTTP 요청을 받고 웹 페이지를 반환하는 서버
  최근 클라우드 서비스를 활용해서 사용자 환경 밖에서 서비스, 컴퓨터 자원을 사용하고 이에 대한 비용을 지불한다.
• 데이터베이스 서버 : 데이터베이스 서비스를 다른 컴퓨터나 컴퓨터 프로그램에 제공하는 서버

5) SQL

데이터베이스에 접근하고, 조작하는 언어

6) DB GUI 툴

SQL을 사용하기 쉽게 만들어 놓은 환경, MySQL Workbench 등

7) SQL 쿼리 작성법

• 문법, 작성법 숙지하기
• 절차 고민하기 : 정확성과 속도를 위해 어떤 데이터가 필요하고, 어떤 형식으로 가공/결합해 추출할지 절차를 생각!
  요청사항 > 데이터 탐색, 쿼리 작성
• 데이터 정합성과 정확성
  • 정합성 : 다양한 데이터베이스 내에 불일치가 없는 상태
  • 확보하는 방법
    • 부분 합과 전체 합 비교 : 전체 > 부분 진행 시 반드시 확인
    • 분석하기 편한 형태로 데이터 가공
    • Review : 쿼리 리뷰하기

 

 

기타

github에서 csv파일 다운로드 받기 : raw file에서 ctrl + s

 

출처 : SQL로 맛보는 데이터 전처리 분석