데이터엔지니어와 데이터분석

파이썬에서 파일 읽는 방법 CSV 파일#Loading a CSVimport pandas as pd# Create URLurl = 'https://raw.githubusercontent.com/chrisalbon/sim_data/master/data.csv'df= pd.read_csv(url) Excel 파일#Loading an Excel File# Create URLurl = 'https://raw.githubusercontent.com/chrisalbon/sim_data/master/data.xlsx'# Load datadf = pd.read_excel(url, sheet_name=0, header=0)#첫 번째 시트를 불러옴 (0은 인덱스, 'Sheet1' 같은 이름도 사용 가능)#0번째(첫 번째) ..

## 머신러닝 이진 분류모델 빅데이터 분석기사 등 분석 스터디 하시는 분들에게 도움이 되시기를 바랍니다.Colab을 통해 진행하실수 있게 별도로 준비 없이 진행하도록 코드를 준비했습니다. 와인 품질 데이터에 대해서는 아래 사이트의 데이터를 사용하였습니다.https://archive.ics.uci.edu/dataset/186/wine+quality UCI Machine Learning RepositoryThis dataset is licensed under a Creative Commons Attribution 4.0 International (CC BY 4.0) license. This allows for the sharing and adaptation of the datasets for any purp..

파이썬의 f-String의 일반적인 기능은 모든 분들이 다 알고 계실것 입니다. name = "홍길동"age = 30# 기존 방식print ( "{}의 나이는 {} 입니다.".format ( name, age )) # F-String 방식print ( f" {name}의 나이는 {age } 입니다." ) output: 홍길동의 나이는 31 입니다. 추가적으로 포맷팅의 기능이 있어 소개 드립니다. 천단위 "," 입력과 자릿수 패딩, 멀티라인 출력 기능입니다.##포맷팅 기능val1 = 1000000val2 = 11.12345len1 = 8 # 소수점이하 자릿수print(f"값1은: {val1:,}")print(f"값2는: {val2:.3f}")print(f"값2는: {val2:.{len1}f}")output..

저장소와 검색 데이터베이스가 데이터를 저장하는 방법과 데이터를 요청했을 때 다시 찾을수 있는 방법에 대한 내용이 기술되어 있습니다.관계형 데이터베이스와 NoSQL 데이터베이스에 사용되는 저장소 엔진 설명과 로그구조 계열 저장소 엔진과 B트리 같은 페이지 지향 계열 저장소 엔진 검토합니다. NoSQL 데이터베이스(예: Cassandra, LevelDB, RocksDB 등)에서 핵심 개념 SSTable (Sorted String Table)정렬된 키-값 데이터 블록을 담고 있는 불변 파일입니다.일반적으로 압축, 인덱스, 블룸 필터 등과 함께 저장되어 효율적인 읽기를 지원합니다.쓰기 시에는 기존 SSTable을 변경하지 않고, 새로운 SSTable을 생성합니다.SSTable 구성 요소 예:데이터 블록 (key..