데이터 엔지니어링

1.apache superset 이란?

비지니스 인텔리젼스 웹 애플리케이션다.

에어비엔비에서 사용하고 있는 시각화 툴이다.

2. 왜 superset ?

오픈소스이면서 다양한 데이터소스를 지원한다.

UI 가 직관적이다.

에어비엔비가 쓰니까 공신력? 있어보인다.

3. spuerset 설치 (docker-compose)

how ? ( 구성 방법 )

• docker, docker-compose 가 미리 설치되어 있어야 한다.
• https://github.com/apache/superset repository 에서 컨테이너 정보와 설정이 기술된 yaml 을 받아 올린다.
• 참고한 가이드 - https://superset.apache.org/docs/installation/installing-superset-using-docker-compose

a) 설치 스크립트

• non-dev 버전으로 띄웠더니 app, worker, db, cache (redis) 프로세스가 분리되어있다.

  # yaml 소스 클론
  $ git clone https://github.com/apache/superset.git
  
  # 릴리즈 버전으로 체크아웃
  $ git checkout 1.2.0
  $ git status
  
  # 컨테이너로 올리는 명령 실행
  $ docker-compose -f docker-compose-non-dev.yml up -d​

b) 브라우저 접속

• 초기 비밀번호는 admin/admin
• http://localhost:8088 접속 (서버에 설치하신 분들은 localhost에 설치한 서버의 host 로 대체)
• 기본적으로 예제 데이터가 추가되어있는데, yaml 을 찾아보면 off 할 수 있다.

c) 데이터소스 추가 ( mysql)

• 상단 Data → Databases 클릭 → 우측상단에 + database 클릭 → DB 호스트 정보 기입 후 추가
•  https://superset.apache.org/docs/databases/mysql

차트 또는 대시보드를 구성하기 전에, dataset 을 생성해야 한다.

CSV 등의 데이터 업로드를 위해서는 database advanced 에서 권한 을 줘야 한다.

대시보드 구성은 다음 편에 ..  :D