COMMERCE
08
E-commerceETLStreamlitSQLGitHub Actions
Olist 이커머스 ETL/대시보드
Kaggle Olist 브라질 이커머스 데이터셋을 GitHub Actions로 주기적 동기화하고, SQLite + Streamlit으로 상호작용 대시보드를 구축했습니다.
문제 정의
이커머스 데이터를 수동으로 다운로드·정제·적재하는 과정이 반복적이고, 필터·지표·차트를 상호작용적으로 탐색할 도구가 필요했습니다.
가설
- H1. GitHub Actions로 ETL을 자동화하면 데이터 신선도를 유지할 수 있다.
- H2. Streamlit + SQLite로 충분한 상호작용 대시보드를 만들 수 있다.
방법 / 실험
- Kaggle API로 CSV 다운로드 → 정제 → SQLite 적재 ETL 파이프라인
- GitHub Actions 매일 새벽 ETL 자동 실행
- Streamlit 메인 앱 + 추가 대시보드 페이지
- SQLAlchemy 모델/헬퍼 구성
결과
- ETL 자동화 파이프라인 구축
- Streamlit 상호작용 대시보드 구현
- 이커머스 도메인 데이터 분석 경험 확보
의사결정
클라우드 DB 대신 SQLite + GitHub Actions 조합으로 0원 인프라로 시작. 데이터 파이프라인 자동화에 집중했습니다.
배운 점
- 이커머스 도메인(주문, 배송, 리뷰, 고객) 데이터 구조 이해
- ETL 자동화는 분석의 전제 조건
- 레브잇 같은 커머스 AI 회사에 직접 연결되는 도메인 경험