728x90

분류 전체보기 74

[입문용] 위스키에 대한 기초 지식 & 상식

위스키의 분류 및 조건지역에 따른 분류유럽 - 스코트랜드 👉 스카치 위스키유럽 - 아일랜드 👉 아이리쉬 위스키미국 👉 아메리칸 위스키, 버번 위스키, 테네시 위스키일본 👉 재패니스 위스키재료와 만드는 방법에 따른 분류맥아로 만든 위스키👉 몰트 위스키한 증류소에서만 만든 몰트 위스키: 싱글몰트 위스키 (맥켈란, 발베니, 글렌피딕)옥수수, 밀, 호밀 등으로 만든 위스키 👉 그레인 위스키 (실제 화요xp도 그레인 위스키)몰트+그레인 위스키 👉 블렌디드 위스키 (조니워커, 발렌타인, 시바스리갈, 로얄살루트)버번 위스키의 조건미국에서 제조 (America)새 오크통 사용 (Barrel)옥수수 51% 이상 사용 (Corn)증류를 마친 술(White dog)의 도수가 80도 미만오크통에 넣는 술의 도수가..

[머신러닝&딥러닝/09-10] 계층적 군집분석, 분할적 군집분석

0. 목차 및 강의 출처https://sunning-10.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EB%94%A5%EB%9F%AC%EB%8B%9D00-%EA%B3%B5%EB%B6%80-%EB%AA%A9%EC%B0%A8 [머신러닝&딥러닝/00] 공부 목차이 글은 내가 스스로 공부한 내용들을 정리하기 위한 목적이다. 머신러닝 강의 출처:https://youtube.com/playlist?list=PLWtr7MRpQi5ATPYo3xN21Bwwd_Ut4rY0d&si=UNqIXY8WLCzjoMcp 인공지능 특강 - 머신러닝, 딥러닝ㅁ 1강 -sunning-10.tistory.com 1. 머신러닝 종류지도학습비지도학습군집분석계층적 군집분석분할적 군집분석 (=..

클러스터링 기법

1. 클러스터링의 개요와 필요성클러스터링(군집화) 또는 군집 분석은 미리 정해진 분류 기준이나 정답(label) 없이, 데이터의 특성과 유사성에 따라 비슷한 데이터들을 그룹(클러스터)으로 묶는 방법을 말한다 ([클러스터링] 비계층적(K-means, DBSCAN) 군집분석 - yg’s blog). 즉, 전통적인 지도학습과 달리 비지도 학습의 한 종류로서, 클러스터 내의 데이터들은 서로 유사하고 클러스터 간에는 차이가 크게 되도록 그룹핑하는 것이 목적이다 ([클러스터링] 비계층적(K-means, DBSCAN) 군집분석 - yg’s blog). 이러한 군집화 기법을 통해 우리는 데이터 내재된 구조나 패턴을 발견하고, 숨겨진 관계를 탐색할 수 있다. 레이블링되지 않은 대규모 데이터에서도 자동으로 패턴을 찾아낼 ..

[머신러닝&딥러닝/00] 공부 목차

이 글은 내가 스스로 공부한 내용들을 정리하기 위한 목적이다. 머신러닝 강의 출처:https://youtube.com/playlist?list=PLWtr7MRpQi5ATPYo3xN21Bwwd_Ut4rY0d&si=UNqIXY8WLCzjoMcp 인공지능 특강 - 머신러닝, 딥러닝ㅁ 1강 - 14강 : Part1. 머신러닝 ㅁ 15강 - 25강 : Part2. 딥러닝 #인공지능강의 #인공지능 #특강 #강의 #머신러닝 #딥러닝 #전산직 #공무원 #데이터직 #기술사 #빅데이터분석www.youtube.com 목차인공지능 개요머신러닝 파이프라인머신러닝에서 주로 마주하는 문제들분류와 혼동행렬회귀와 손실함수경사하강법과 하이퍼파라미터SVM과 결정트리앙상블과 랜덤포레스트계층적 군집분석 : https://sunning-10...

[데이터 분석] 1-5. 데이터 품질 검증

데이터 품질이란?조직의 목적 달성을 위해 관리되는 데이터가 조직 구성원, 고객 등 데이터 이용자의 만족을 충족시킬 수 있는 수준데이터의 최신성, 정확성, 상호연계성 등을 확보하여 이를 사용자에게 유용한 가치를 줄 수 있는 수준데이터가 관심 있는 집단에서 사용되기 위해 요구되는 품질 특성을 충족하도록 보장해주는 일련의 지식체계 및 절차 데이터 품질 관리의 개념조직에서 보유한 DB에 저장되어 있는 데이터를 수집, 처리, 보관, 분석하는 동안 무결성(Integrity)을 보장하는 비즈니스 프로세스데이터 관리 비전, 목표, 전략, 데이터 관리 원칙과 기준, 데이터 관리 절차 등을 모두 포괄하는 데이터 관리(거버넌스) 체계데이터 품질 관리의 중요성구분내용데이터 분석결과의 신뢰성 확보데이터 품질에 따라 분석 과정 ..

[데이터 분석] 1-3. 데이터 변환

데이터 변환: 추출(Extraction), 변환(Transformation), 적재(Load)의 과정 = ETL과거엔 DBMS의 쿼리나 별도 소프트웨어를 개발하여 이루어졌으나 현재는 ETL 도구들이 광범위하게 사용됨빅데이터 변환의 이해데이터 분석 목적에 따라 데이터를 변환시킬 필요가 있음데이터 변환(Transformation): 정해진 규칙에 의해 바꾸는 것을 의미, 특히 비정형/반정형 데이터를 정형 데이터의 구조적 형태로 전환하여 저장하는 것효과적인 빅데이터 분석을 위해서 레거시(Legacy) 데이터들을 우선 통합하고 비정형 데이터를 정형 데이터로 변환하여 레거시 데이터와의 통합이 이루어짐데이터 전/후처리 단계데이터 전처리: 수집된 데이터를 저장소에 적재하기 위해 데이터 필터링, 유형 변환, 정재 등의..

기본적 데이터 분석을 위한 기초 SQL문

1. 데이터 확인 및 구조 탐색1.1 테이블의 구조 확인테이블의 컬럼 이름과 데이터 타입 확인. DESCRIBE table_name;SHOW COLUMNS FROM table_name;1.2 데이터 미리보기테이블의 첫 몇 행을 확인하여 데이터 구조를 이해. SELECT * FROM table_name LIMIT 10;2. 데이터 요약 및 기본 통계2.1 행 개수 확인데이터의 전체 크기(행 수)를 확인SELECT COUNT(*) AS total_rows FROM table_name;2.2 고유 값 개수 확인특정 컬럼의 고유 값 개수 계산 SELECT COUNT(DISTINCT column_name) AS unique_values FROM table_name;2.3 특정 컬럼의 최소, 최대, 평균, 합계 계..

[데이터 분석] 1-2. 데이터 유형 및 속성 파악

데이터는 크게 수집 대상에 따라 구조/시간/저장 형태 관점에 따라 데이터 유형 및 속성을 분류할 수 있음수집 대상에 따른 데이터 유형관점데이터구조 관점정형 데이터/ 비정형 데이터/ 반정형 데이터시간 관점실시간 데이터/ 비실시간 데이터저장 형태파일 데이터/ 데이터베이스 데이터/ 콘텐츠 데이터/ 스트림 데이터일반적인 데이터의 특징구분정성적 데이터(qualitative data)정량적 데이터(quantitative data)형태비정형 데이터정형/반정형 데이터특징객체 하나에 함의된 정보를 가짐속성이 모여 객체를 이룸구성언어, 문자 등으로 이루어짐수치, 도형, 기호 등으로 이루어짐저장 형태파일, 웹데이터베이스, 스프레드시트소스 위치외부 시스템(주로 소셜 데이터)내부 시스템(주로 RDBMS)구조 관점의 데이터 유형..

[데이터 분석] 1-1. 데이터 수집

데이터 원천(Data source); 데이터를 생성하는 근원지 - 센서( IoT 기기, 자동차, 스마트폰에서 발생하는 데이터 ), 시스템 및 플랫폼( ERP 시스템, CRM 소프트웨어, 로그 파일 등 ) 등데이터 수집; 조직 내/외부에 분산된 다양한 데이터 원천으로부터 필요 데이터를 검색하여 수동/자동으로 데이터를 수집하는 단계데이터 수집의 목표; 분석, 모델링 등의 목표에 맞는 데이터를 효율적으로 모으는 것을 목표로 함 빅데이터 수집 기법기법특징대상Log Aggregator웹 서버 로그, 웹로그, 트랜잭션 로그, DB 로그 등 각종 서비스 로그 수집 오픈 소스 기술로그 데이터 수집크롤링SNS, 웹, 뉴스 정보 등 인터넷 상에서 제공되는 웹 문서에 대한 정보 수집웹 문서 수집스크래핑인터넷 웹 사이트에 노..

Llama3

Llama3 관련 기초Llama3: Meta에서 만든 경량화 모Llama3 관련 기초 Llama3: Meta에서 만든 경량화 모델 Llama 3는 Meta에서 개발한 최신 대형 언어 모델(LLM)로, 다양한 작업을 처리할 수 있는 인공지능 모델입니다. 이 모델은 주로 자연어 처리, 텍스트 생성, 코드 작성, 이미지와 텍스트를 함께 처리하는 멀티모달 작업까지 지원하는 것이 특징입니다. Llama 3는 이전 버전인 Llama 2보다 7배 더 많은 데이터(15조 토큰)를 학습했으며, 이를 통해 더욱 정교한 언어 이해와 복잡한 문제 해결이 가능합니다​.Llama 3의 주요 개선 사항 중 하나는 어휘 확장입니다. 128,000개 이상의 토큰을 처리할 수 있어, 긴 대화나 문서에서도 맥락을 잘 유지할 수 있습니다...

카테고리 없음 2024.09.08
728x90