데이터엔지니어와 데이터분석

부호화와 발전→ 직역으로 번역때문에 책 내용이 이해가 어렵네요. 원문은 Encoding and Evolution 입니다.부호화보다는 인코딩이 더 나아보이네요. 발전도 내용이 Schema Evolution을 의미함으로스키마 진화에 대한 대응이라 인코딩과 스키마 진화 로 번역을 했으면 좋았을것 같습니다. 만물은 변한다. 그대로 있는 것은 아무것도 없다 - 에베소의 헤라클레이토스, 플라톤이 크라틸로스에서 인용 위 문구가 마음에 듭니다. 어플리케이션은 언제든지 변경될 수 있다는 생각을 모두 가지고 설계를진행해야 된다는게 중요합니다. 요구사항도 항상 변경될 수 있으니 어플리케이션도 변경이 되겠지요. 어플리케이션 작성시 하위 호환성 및 상위 호환성을 유지의 중요성에 대해 언급하고 있습니다. 하위호환성: 새로운 코드..

저장소와 검색 데이터베이스가 데이터를 저장하는 방법과 데이터를 요청했을 때 다시 찾을수 있는 방법에 대한 내용이 기술되어 있습니다.관계형 데이터베이스와 NoSQL 데이터베이스에 사용되는 저장소 엔진 설명과 로그구조 계열 저장소 엔진과 B트리 같은 페이지 지향 계열 저장소 엔진 검토합니다. NoSQL 데이터베이스(예: Cassandra, LevelDB, RocksDB 등)에서 핵심 개념 SSTable (Sorted String Table)정렬된 키-값 데이터 블록을 담고 있는 불변 파일입니다.일반적으로 압축, 인덱스, 블룸 필터 등과 함께 저장되어 효율적인 읽기를 지원합니다.쓰기 시에는 기존 SSTable을 변경하지 않고, 새로운 SSTable을 생성합니다.SSTable 구성 요소 예:데이터 블록 (key..

데이터 모델과 질의 언어 2장의 내용은 데이터 모델의 변천사와 데이터 모델을 문제에 적합하게 적용해야 효율적으로 적용할 수있다는 내용이 주요 내용입니다. 프로그램은 객체지향 프로그래밍 언어로 개발, 데이터는 관계형 테이블(테이블,Row,Column)에 저장함으로 전환 계층이 필요함 → 임피던스 불일치(impedance mismatch)  그래프형 데이터 모델속성 그래프-사이퍼 질의 언어, SQL의 그래프 질의트리플 스토어 모델-SPARQL시맨틱 웹: 웹사이트는 사람을 위해 텍스트와 이미지를 게시하듯, 컴퓨터를 위해 기계가 읽을 수 있는 데이터도 함께 게시하면 좋지 않겠느냐는 것입니다. 이를 위해 제안된 것이 RDF(Resource Description Framework)이며,다양한 웹사이트가 데이터를 일..

1.신뢰할 수 있고, 확장 가능하며, 유지보수가 쉬운 애플리케이션오늘날 많은 애플리케이션은 연산 중심이기보다 데이터 중심입니다.  순수한 CPU 성능이 제한 요소인 경우는 드물고 오히려 문제는 데이터의 양, 복잡성, 그리고 변화 속도입니다.  어플리케이션에 필요한  표준적인 구성요소 필 기능• 데이터를 저장하고 나중에 자신이나 다른 애플리케이션이 다시 찾을 수 있도록 하기 (데이터베이스) • 시간이 오래 걸리는 연산 결과를 기억하여 읽기 속도를 높이기 (캐시) • 키워드로 데이터를 검색하거나 다양한 방식으로 필터링할 수 있게 하기 (검색 인덱스) • 메시지를 다른 프로세스에 보내 비동기적으로 처리하기 (스트림 처리) • 많은 양의 누적 데이터를 주기적으로 처리하기 (배치 처리)이런 데이터 시스템들은 너무..