데이터엔지니어와 데이터분석

데이터 엔지니어링 수명 주기 — 요람에서 무덤까지데이터 엔지니어링을 특정 기술의 나열이 아니라, 데이터의 전체 수명 주기를 관리하는 관점에서 바라보는 프레임워크를 소개합니다. 데이터 엔지니어링 수명 주기란데이터 엔지니어링 수명 주기(Data Engineering Lifecycle)는 원시 데이터를 분석가, 데이터 과학자, ML 엔지니어가 사용할 수 있는 유용한 최종 제품으로 전환하는 단계를 말합니다. 이 프레임워크는 데이터를 "요람에서 무덤까지" 추적하며, 5개의 핵심 단계와 이를 관통하는 저류(undercurrents)로 구성됩니다.전체 데이터 수명 주기와 데이터 엔지니어링 수명 주기는 다릅니다. 전체 데이터 수명 주기가 데이터의 전 생애를 포괄한다면, 데이터 엔지니어링 수명 주기는 그중 데이터 엔지니..

이동평균선 (Moving Average) 정의가격의 잡음을 걷어내고 **추세의 방향**을 부드러운 선으로 보여주는 가장 기본적인 지표. SMA vs EMA구분SMA (단순이동평균) EMA (지수이동평균)계산N일 종가의 단순 평균최근 가격에 높은 가중치반응 속도느림 N일 종가의 단순 평균빠름노이즈적음상대적으로 많음주요 활용장기 추세 파악단기 매매 신호 주요 기간별 의미 - 5일선 (주봉 1주) — 초단기 흐름, "세력선"이라고도 불림- 20일선 (약 1개월) — 단기 추세, 볼린저밴드 중심선- 60일선 (약 3개월) — 중기 추세, 수급선- 120일선 (약 6개월) — 반기 추세, 경기선- 200일선 (약 1년) — 장기 추세, 기관·외국인이 많이 참고하는 핵심 라인 골든크로스 & 데드크로스 단기 이평이 ..

이동평균선 (Moving Average) 정의가격의 잡음을 걷어내고 **추세의 방향**을 부드러운 선으로 보여주는 가장 기본적인 지표. SMA vs EMA구분SMA (단순이동평균) EMA (지수이동평균)계산N일 종가의 단순 평균최근 가격에 높은 가중치반응 속도느림 N일 종가의 단순 평균빠름노이즈적음상대적으로 많음주요 활용장기 추세 파악단기 매매 신호 주요 기간별 의미 - 5일선 (주봉 1주) — 초단기 흐름, "세력선"이라고도 불림- 20일선 (약 1개월) — 단기 추세, 볼린저밴드 중심선- 60일선 (약 3개월) — 중기 추세, 수급선- 120일선 (약 6개월) — 반기 추세, 경기선- 200일선 (약 1년) — 장기 추세, 기관·외국인이 많이 참고하는 핵심 라인 골든크로스 & 데드크로스 단기 이평이 ..

기술적 분석 지표 RSI에 이어 MACD, 스토캐스틱 오실레이터, 볼린저밴드 입니다. MACD (Moving Average Convergence Divergence)정의두 이동평균선이 벌어지고 좁혀지는 패턴으로 **추세의 방향과 전환점**을 잡아내는 지표.구성 요소MACD는 **세 가지 요소**로 이루어져 있습니다.MACD선 = 12일 EMA - 26일 EMA시그널선 = MACD선의 9일 EMA히스토그램 = MACD선 - 시그널선여기서 EMA는 지수이동평균(Exponential Moving Average)으로, 최근 가격에 더 많은 가중치를 부여합니다.쉽게 비유하자면, MACD선은 **단기 체온과 장기 체온의 차이**입니다. 단기 이평이 장기 이평 위에 있으면 MACD가 양수 → 상승 추세. 아래에 있..

주식 기술적 지표 가이드 — RSI, MACD, 스토캐스틱부터 볼린저밴드까지 차트를 처음 펼쳤을 때 느꼈던 막막함, 다들 기억하시죠? 캔들 아래 깔린 형형색색 선들이 대체 뭘 의미하는 건지, 어디서부터 봐야 하는 건지. 이 글 하나로 **핵심 기술적 지표**를 깔끔하게 정리해 드리겠습니다. 들어가며: 기술적 지표란? 기술적 지표(Technical Indicator)는 과거의 **가격, 거래량, 시간** 데이터를 수학적 공식에 넣어 산출한 수치입니다. 미래 가격을 100% 예측하는 마법 도구는 아니지만, "지금 시장이 과열인지, 침체인지, 추세가 살아 있는지"를 객관적으로 판단하는 데 큰 도움을 줍니다. 기술적 지표는 크게 세 가지 카테고리로 나뉩니다. 추세 지표 — 현재 방향성과 그 강도를 측정 (이동..

데이터를 "쓸 수 있게" 만드는 모든 과정, 데이터 엔지니어링의 본질Fundamentals of Data Engineering 1장을 기반으로, 데이터 엔지니어링이 왜 현대 데이터 시대의 핵심 인프라인지 그리고 데이터 엔지니어가 실제로 어떤 역할을 하는지 정리합니다. 왜 지금 데이터 엔지니어링인가?최근 10년간 가장 빠르게 성장한 IT 직군을 꼽는다면 단연 데이터 엔지니어다. 데이터 분석, 머신러닝, BI 대시보드, 추천 시스템... 화려한 데이터 활용 사례들이 넘쳐나지만, 그 모든 것의 아래에는 반드시 데이터 엔지니어링이라는 든든한 기반 인프라가 있다.데이터 과학자가 훌륭한 모델을 만들더라도, 분석가가 날카로운 인사이트를 도출하더라도 — 정작 데이터가 제대로 수집되고 가공되어 있지 않다면 아무런 의미가..

SQL문으로 csv 파일을 만들고자 할때 PostgreSQL DBMS에서 Client 창에서 빠르게 추출할 수 있습니다.아래는 PostgreSQL에서 100만 건의 랜덤 시계열 데이터를 생성한 뒤 CSV 파일로 내보내는 쿼리 입니다. copy ( WITH TB AS (SELECT NOW() - (random() * interval '30 days') as DT FROM generate_series(1, 1000000) ) SELECT EXTRACT(HOUR FROM DT)::int as hour_of_day, EXTRACT(DOW FROM DT)::int as day_of_week, CASE EXTRACT(DOW FROM dt)::int WHEN 0 THEN '일요일'..

잠시 다른일로 쉬다 다시 종목을 검색하고 있습니다.삼성전자는 너무나 그래프가 좋아 조금 떨어지면 추매하셔도 될것으로 보입니다. 그래프가 너무 좋아 당분간 더 갈것 같습니다.어제부터 제약쪽으로 섹터가 바뀌는것 같습니다.저는 셀트리온에 대해서 금일 익절하였습니다. 제약바이오쪽이 미국도 그렇고 앞으로 주도 섹터가 될것 같습니다.그리고 유한양행은 추가로 구매하였습니다. 아직 상승여력이 있어 보여 구매하였습니다. 어제 셀트리온은 외국인의 거래량이 많은것으로 보았습니다. 점차 거래량이 늘고 있어 조만간 한번 슈팅이 있을것으로 보고 있습니다.

14일 추천 포스코인터내셔널이 오늘 상승을 통해 수익구간을 보여주었지만 상승폭이 줄어 들었습니다.한번 슈팅을 쏘지 않을까 기대하고 있습니다.2차 전지와 삼성전자가 오늘은 상승하였습니다.차트로 보면 HD현대중공업이 다시 상승할것으로 추정됩니다. 거래량이 조금 늘어야 할것 같습니다. 어제 추천한 LG에너지솔루션이 아직 상승여력이 더 있어 보입니다. 금일 화장품주가 하락이 있었습니다.이틀동안 실리콘투로 10% 이상 손실을 보았습니다. 많이 오른 종목은 투자하지 않는게 원칙인데 이번에 다시 배우게 되네요.그렇지만 금일 하락폭을 줄여서 차주부터는 오를것으로 예상하고 있습니다.

LG에너지솔루션 다른 종목에 비해 상승이 적어 상승여력 충분합니다. 한화오션이 금일 많이 상승했지만 조금 더 볼수 있을것 같습니다. 카카오도 고점대비 많이 내려와서 스윙매매로 볼만합니다. 최근 들어 변동성이 상당히 크네요. 3200 , 3300 저항을 넘으면 좋을결과가 있을것 같습니다.우량주로 한 종목에 치우치지 않고 기다리면 좋은 결과가 있을것입니다.