airbyte(에어바이트) 구축 및 실습

0. 실습 내용

• airbyte 를 docker container 로 실행한다
• airbyte 커넥션
  • mysql --> s3 (csv) 
  • sync mode : full refresh
• mysql 역시 docker container 로 실행한다.
• 데이터는 공공 데이터를 활용한다.

 

1.install & quick start

• mysql docker compose

version: "3.7"

services:
  mysql:
    image: mysql:latest
    environment:
      - MYSQL_ROOT_PASSWORD=jssvs
    volumes:
      - ./data:/var/lib/mysql
    ports:
      - 3306:3306

• airbyte docker compose

## airbyte clone & up 
$ git clone https://github.com/airbytehq/airbyte.git
$ docker-compose -f docker-compose.yaml up -d 



## mysql up
$ docker-compose -f docker-compose.yaml up -d

• 서비스 진입
  • 포트 설정을 변경하지 않았다면 8000번 포트로 접속한다.
  • ( http://localhost:8000 )

2.Sample 데이터 로드 

• 서울시교통공사_지하철혼잡도 csv 포맷 다운로드 후 mysql 로드.
• https://www.data.go.kr/data/15071311/fileData.do

서울교통공사_지하철혼잡도정보_20211231

 

 

 

3.connection 생성 및 테스트

• Source 생성하기

• Destination 생성하기

 

• 연결 생성하기

• 연결에서 볼 수 있는 설정 정보들
  • Transfer
    • 복제 주기 - cron , manual 등.
  • Streams
    • 목적지 네임스페이스 설정
    • 목적지 스트림의 prefix 네이밍 설정
    • airbyte 에서는 stream 이 옮겨질 데이터의 대상이고, mysql 의 경우 sync 될 테이블을 의미한다.
  • 원하는 sync source 를 선택할 수 있다.

• sync Job 및 로그 확인

• sync 된 데이터 확인