TODAY IS SUNNING

1. 데이터 확인 및 구조 탐색1.1 테이블의 구조 확인테이블의 컬럼 이름과 데이터 타입 확인. DESCRIBE table_name;SHOW COLUMNS FROM table_name;1.2 데이터 미리보기테이블의 첫 몇 행을 확인하여 데이터 구조를 이해. SELECT * FROM table_name LIMIT 10;2. 데이터 요약 및 기본 통계2.1 행 개수 확인데이터의 전체 크기(행 수)를 확인SELECT COUNT(*) AS total_rows FROM table_name;2.2 고유 값 개수 확인특정 컬럼의 고유 값 개수 계산 SELECT COUNT(DISTINCT column_name) AS unique_values FROM table_name;2.3 특정 컬럼의 최소, 최대, 평균, 합계 계..

데이터는 크게 수집 대상에 따라 구조/시간/저장 형태 관점에 따라 데이터 유형 및 속성을 분류할 수 있음수집 대상에 따른 데이터 유형관점데이터구조 관점정형 데이터/ 비정형 데이터/ 반정형 데이터시간 관점실시간 데이터/ 비실시간 데이터저장 형태파일 데이터/ 데이터베이스 데이터/ 콘텐츠 데이터/ 스트림 데이터일반적인 데이터의 특징구분정성적 데이터(qualitative data)정량적 데이터(quantitative data)형태비정형 데이터정형/반정형 데이터특징객체 하나에 함의된 정보를 가짐속성이 모여 객체를 이룸구성언어, 문자 등으로 이루어짐수치, 도형, 기호 등으로 이루어짐저장 형태파일, 웹데이터베이스, 스프레드시트소스 위치외부 시스템(주로 소셜 데이터)내부 시스템(주로 RDBMS)구조 관점의 데이터 유형..

데이터 원천(Data source); 데이터를 생성하는 근원지 - 센서( IoT 기기, 자동차, 스마트폰에서 발생하는 데이터 ), 시스템 및 플랫폼( ERP 시스템, CRM 소프트웨어, 로그 파일 등 ) 등데이터 수집; 조직 내/외부에 분산된 다양한 데이터 원천으로부터 필요 데이터를 검색하여 수동/자동으로 데이터를 수집하는 단계데이터 수집의 목표; 분석, 모델링 등의 목표에 맞는 데이터를 효율적으로 모으는 것을 목표로 함 빅데이터 수집 기법기법특징대상Log Aggregator웹 서버 로그, 웹로그, 트랜잭션 로그, DB 로그 등 각종 서비스 로그 수집 오픈 소스 기술로그 데이터 수집크롤링SNS, 웹, 뉴스 정보 등 인터넷 상에서 제공되는 웹 문서에 대한 정보 수집웹 문서 수집스크래핑인터넷 웹 사이트에 노..