데이터엔지니어와 데이터분석

파이썬의 f-String의 일반적인 기능은 모든 분들이 다 알고 계실것 입니다. name = "홍길동"age = 30# 기존 방식print ( "{}의 나이는 {} 입니다.".format ( name, age )) # F-String 방식print ( f" {name}의 나이는 {age } 입니다." ) output: 홍길동의 나이는 31 입니다. 추가적으로 포맷팅의 기능이 있어 소개 드립니다. 천단위 "," 입력과 자릿수 패딩, 멀티라인 출력 기능입니다.##포맷팅 기능val1 = 1000000val2 = 11.12345len1 = 8 # 소수점이하 자릿수print(f"값1은: {val1:,}")print(f"값2는: {val2:.3f}")print(f"값2는: {val2:.{len1}f}")output..

저장소와 검색 데이터베이스가 데이터를 저장하는 방법과 데이터를 요청했을 때 다시 찾을수 있는 방법에 대한 내용이 기술되어 있습니다.관계형 데이터베이스와 NoSQL 데이터베이스에 사용되는 저장소 엔진 설명과 로그구조 계열 저장소 엔진과 B트리 같은 페이지 지향 계열 저장소 엔진 검토합니다. NoSQL 데이터베이스(예: Cassandra, LevelDB, RocksDB 등)에서 핵심 개념 SSTable (Sorted String Table)정렬된 키-값 데이터 블록을 담고 있는 불변 파일입니다.일반적으로 압축, 인덱스, 블룸 필터 등과 함께 저장되어 효율적인 읽기를 지원합니다.쓰기 시에는 기존 SSTable을 변경하지 않고, 새로운 SSTable을 생성합니다.SSTable 구성 요소 예:데이터 블록 (key..

데이터 모델과 질의 언어 2장의 내용은 데이터 모델의 변천사와 데이터 모델을 문제에 적합하게 적용해야 효율적으로 적용할 수있다는 내용이 주요 내용입니다. 프로그램은 객체지향 프로그래밍 언어로 개발, 데이터는 관계형 테이블(테이블,Row,Column)에 저장함으로 전환 계층이 필요함 → 임피던스 불일치(impedance mismatch)  그래프형 데이터 모델속성 그래프-사이퍼 질의 언어, SQL의 그래프 질의트리플 스토어 모델-SPARQL시맨틱 웹: 웹사이트는 사람을 위해 텍스트와 이미지를 게시하듯, 컴퓨터를 위해 기계가 읽을 수 있는 데이터도 함께 게시하면 좋지 않겠느냐는 것입니다. 이를 위해 제안된 것이 RDF(Resource Description Framework)이며,다양한 웹사이트가 데이터를 일..

1.신뢰할 수 있고, 확장 가능하며, 유지보수가 쉬운 애플리케이션오늘날 많은 애플리케이션은 연산 중심이기보다 데이터 중심입니다.  순수한 CPU 성능이 제한 요소인 경우는 드물고 오히려 문제는 데이터의 양, 복잡성, 그리고 변화 속도입니다.  어플리케이션에 필요한  표준적인 구성요소 필 기능• 데이터를 저장하고 나중에 자신이나 다른 애플리케이션이 다시 찾을 수 있도록 하기 (데이터베이스) • 시간이 오래 걸리는 연산 결과를 기억하여 읽기 속도를 높이기 (캐시) • 키워드로 데이터를 검색하거나 다양한 방식으로 필터링할 수 있게 하기 (검색 인덱스) • 메시지를 다른 프로세스에 보내 비동기적으로 처리하기 (스트림 처리) • 많은 양의 누적 데이터를 주기적으로 처리하기 (배치 처리)이런 데이터 시스템들은 너무..

QR코드 생성  먼저 라이브러리 설치하기   pip install qrcode( 존재하면  skip) import qrcodeqrcode.make("이것은 QR코드입니다.").save("qrcode.png") # 생성후 파일로 저장  from PIL import Image # 이미지 열기 img = Image.open("qrcode.png") # 이미지 보기 img.show()  위코드에 대해서 colab에서는 Colab은 GUI 창이 없기 때문에 위 코드가 작동하지 않네요.        해결방법1.(PIL + IPython)from PIL import Imagefrom IPython.display import display# 이미지 열기img = Image.open("qrcode.png")# 이미지..

Monte Carlo 데이터 메시 가이드 원칙입니다.도메인 주도 데이터 소유권 (domain-driven data ownership)영혼(Soul) 데이터 소유권의 기본 원칙은 개별 비즈니스 도메인 팀이 자신의 데이터를 직접 소유해야 한다는 것입니다. 도메인 주도 데이터 소유권의 목적은 책임을 기술(데이터 웨어하우스, 데이터 레이크)이 아닌 비즈니스(마케팅, 재무 등) 와 정렬시키는 것입니다.데이터 제품으로서의 데이터 (data as a product)심장 (Heart) 데이터 제품은 비즈니스 문제를 해결하는 잘 정의된 자체 완결형 데이터 단위입니다. 데이터 제품은 단순한 것(테이블, 리포트)부터 복잡한 것(머신러닝 모델)까지 다양할 수 있습니다. 데이터 제품은 사람, 프로세스, 비즈니스 가치를 강조하며..

Designing Data-Intensive Applications데이터 저장 또는 처리를 위한 서버/백엔드를 가진 애플리케이션을 개발자나 괸심있는 분들께 추천드립니다.3개의 파트로 구성이 되어 있으며 목차는 다음과 같습니다. 1. Part I – 데이터 시스템의 기초단일 장비에서 데이터를 저장할 때 적용하는 데이터 시스템 측면 설명• Chapter 1: 신뢰성, 확장성, 유지관리성의 개념을 정의하고 이를 달성하는 방법을 고찰합니다.(완료)• Chapter 2: 여러 가지 데이터 모델과 쿼리 언어를 비교하고, 각 모델이 어떤 상황에 적합한지 검토(완료)• Chapter 3: 스토리지 엔진의 작동 방식—NoSQL vs RDBMS (완료)• Chapter 4: 데이터 직렬화 포맷과 시간에 따라 진화하는 스키..

1. PER (Price Earnings Ratio, 주가수익비율)의미:회사의 수익성에 비해 주가가 고평가 or 저평가되어 있는지 판단할 수 있는 지표낮을수록 저평가, 높을수록 고평가된 것으로 판단PER = 주가 / 주당순이익(EPS)PER 10 = 투자금액을 회수하는 데 10년 걸리는 수익 수준2. PBR (Price Book-value Ratio, 주가순자산비율)의미:회사의 청산 가치(자산가치) 대비 주가가 얼마나 반영되어 있는지를 나타냄PBR 1 이하 = 저평가 가능성PBR 1 이상 = 자산 대비 고평가 가능성PBR = 주가 / 주당순자산(BPS)3. EPS (Earnings Per Share, 주당순이익)의미:한 주당 벌어들이는 순이익기업의 수익성을 나타내는 가장 기본적인 지표EPS = 당기순이익..