데이터 엔지니어링

aws summit 행사는, IT를 사용하는 산업의 기술 동향을 볼 수 있다. 왜냐면 여러 기업에서 aws 클라우드 환경으로 서비스를 운영 하기 때문이다.

최근에는 AI Agent 활용이 추세가 되면서, Google, MS Azure 를 멀티 클라우드 환경으로 혼용해서 쓰는 것 처럼보이지만, 서버, 스토리지 사용은 국내에서만큼은 여전히 aws 가 독보적인듯..

  

올해 행사는 2025.05.14~15 일 이틀간 이뤄졌고, 인상깊었던 세션 중 하나인 LG 전자의 발표를 소개하겠다.

  

주제는 "생성형 AI 기반 BI 플랫폼 인사이트 구현" 이다.

  

내용의 결론부터 말해보면 2가지 일 것 같다.

1) "Amazon Q in Quicksight 로 기존 대시보드의 한계를 극복했다".

2) "Multi AI Agent를 융합하여 구성한 Reporting 시스템 개발로 데이터를 보는 사용자의 관심을 끌었다"

  

그럼 배경과 함게 조금 더 자세한 결론을 얘기해보겠다.

  

일단 LG 전자에는 CDP(Customer Data Platform) 라는 데이터 플랫폼을 운영하고 있고, 셀프 BI 대시보드를 지향하는 환경을 사용자에게 제공하고 있었다.

LG 전자도 CDP 에 모인 데이터 기반으로 분석하는 과정은 어느 회사와 다르지 않다.

  

(1)문제 정의 -> (2)데이터 수집/추출 -> (3)데이터 정제/가공 -> (4)집계 /탐색 -> (5)데이터 해석 / 인사이트 도출 이 5가지 과정으로 분류 할 수 있다.

  

하지만 이 프로세스는 모두가 공감하는 문제를 갖고 있다. 비지니스 환경에서는 저 문제가 반복된다. 2번이 잘못되면 2~5번이 다시 수행되야 되는거지

그리고 현업이 요청 하면 대시보드를 제공하기 까지 리드 타임이 길다.

현업이 요청하면 한 번만 보고, 더 이상 대시보드를 보지 않는 경우도 있다. 만든 이후에는 관심도가 떨어지기 때문이다.

그리고 추가 분석항목들이 발생하면 제작자와 일정 줄다리기가 발생한다.

  

기능적으로도 문제가 있다. 고정된 차트 형태의 시각화를 제공해야 하는 제약이 있고 솔루션 자체의 기능 요청을 하면 답답함만 늘어난다. 글로벌 우선순위에 따라 진행되기 때문이지.

(실제로 LG 전자는 CDP 대시보드를 자체 구축했지만, 유지보수에 한계가 존재했다고 한다.)

  

그래서 Q in QuickSight 를 도입했고, BI 를 자연어 질의 기반으로 처리할 수 있는 환경을 갖추게 되었고, 현재는 전체 조직원이 활용하고 있다고 한다.

데이터 기반의 의사결정을 위한 생각의 시간을 줄여줬다 라는 표현을 했다.

  

플랫폼 아키텍쳐 측면에서 보면, ETL 한 DataMart 를 Amazon Redshift 로 이관하고, Quicksight 가 Datasource 로 연동되면서 SPICE 를 활용하는 구조다.

  

Quicksight 에 Amazon Q를 붙이기 전에, Amazon Bedrock으로 만든 자체 LLM 모델이 있었는데, 리소스가 많이 들고 복잡한 과정과 시간이 들어가서 Q를 사용했다고 했다.

생성형 AI 도 직접 만드는것보다 managed 서비스로 활용해보니 성능이 크게 다르지 않았다고 한다.

  

Q in Quicksight 와 태블로 대시보드의 성능 비교를 짧은 영상으로 보여줬는데 인상 적이었다.

  

그 다음에는 Multi Agent Report 시스템을 소개했다.

LG 전자가 생각하는 "대시보드 기반의 분석의 한계" 는 다음과 같다

(1) 분석에 시간이 많이 든다.

(2) 너무 많은 차트는 복잡도를 높인다. 그렇다고 차트를 줄이기도 그렇고

(3) 단순한 질문 & 답변으로는 종합적인 인사이트 도출이 어렵다.

(4) 현업들은 정형 데이터에서 정확성을 얻기 쉽지 않다.

  

다각도의 데이터 자동 분석이 필요했고, 그래서 만든게 Multi Agent Report 시스템이라고 한다.

제공된 서비스를 보면 Prompt 로 데이터셋과, 스키마 정보와 함께, 비지니스 요구사항을 자세히 작성해서 주문하면, 컨텍스트를 분석하는 Agent, 보고서 목차를 정리하는 Agent, 분석 코드를 만들고 실행하는 Agent , 결과를 취합하고 시각화하는 Agent, 보고서를 발송하는 Agent 이렇게 여러 Agent 가 유기적으로 동작하는 모습을 보였다.

  

머니테터 같은 10장 내외의 레포트가 자동으로 만들어지고, 이메일로 발송된다. LG 전자는 이 서비스로 보고서 작성 시간을 단축하고 의사결정을 빨리 할 수 있기를 기대하고 있다고 했다.

여기까지가 LG 전자 서밋의 내용 요약인데, 발표 자료 안에 있던 모든 기획과 구성들을 어느 기간안에 진행했는지, 그리고 데이터 처리 규모와 배치/스트리밍 데이터의 흐름 등이 궁금했다.

LG 전자... 데이터도 잘 하네..

끝.

요즘 너무 유튜브 쇼츠에 빠져있는 것 같아, "인간 실격"이라는 책을 읽었다.  출퇴근 시간에 틈틈히 읽었고, 완독 까지 두 달 정도 걸렸다.

책의 구조가 독특하다. 서문, 1~3번 째 수기, 후기 이렇게 목차가 구성되있는데 요조라는 남자가 본인의 일생을 일기처럼 기록한 것이 수기 부분이고, 서문과 후기는 요조의 이야기를 전하는 작가의 시점으로 되있다. 후기에서 작가는 요조의 사진과 노트를 받는 내용이 나온다.

결국 이 책은 주인공 요조라는 불행해 보일 수 있는 남자의 인생을 조망한다. 

“혼자만 아주 별난 사람인 듯 느껴져 불안과 공포에 바들바들 떨 뿐입니다. 저는 주위사람과 대화를 거의 나누지 못합니다. 그래서 생각해낸 묘안이 광대였습니다.”

유복하게 태어났고, 자기가 다른 사람과는 다름을 깨달은 요조가 남들과 섞이기 위해 어쩔 수 없이 광대 노릇을 하는 것이, 회사에서 일도 잘하고 전문적가이기 위해 애써 노력하는 나와 닮았다. 

“세상이란 개인이 아닐까 하는 흡사 사상같은 것을 터득하게 되었습니다.’”

세상은 다수의 인간일까? 세상의 실체가 있는걸까? 사실 세상은 너일 수 있고 , 나일 수 있다. 

그리고 요조는 아버지의 기대에 만족하기 위해 살아가는 것이 싫었어도, 결국 아버지의 경제적 도움 없이는 아무것도 할 수 없다는 것을 안다.  자기모순이다. 

“남부끄러운 적이 많은 일생이었습니다.”
“알코올 중독일지도 모르겠습니다. 지금도 마시고 싶거든요”
“죽고 싶다. 차라리 죽고싶다. 이제는 돌이킬 수 없다. 거듭 부끄러움을 당할 뿐이다.” 

 책을 읽는 내내 마음속으로 “술좀 그만 마셔!!”를 속으로 외치던 난 그렇게 폐인이 되어가면서 ‘인간, 실격’의 모습으로 변해가는 요조를 보고 안타까운 한숨을 내쉬고 멈췄다. 나도 그랬었으니까. (20대에  술과 담배, 온갖 게임 중독에 빠져 살았던 시절을 떠올렸다.) 나도 가끔은 일이 제대로 풀리지 않을 때 자기혐오까지는 아니지만 내 자신을 질책한다. 

“누군가의 권유를 거부한 적은 제 인생에서 그때 단 한번뿐이었다고 해도 과언이 아닙니다. 저의 불행은 거부하는 능력이 없는 자의 불행이었습니다.”…..”저는 어쩌면 그 순간, 이미 중독에서 벗어난 게 아니었을까요.”

이래서 자존감이 중요한걸까? 

그리고 요조가 호리키와의 만남에서도 술, 담배, 매춘부, 좌익 사상 중에 그 어떤 것이라도 거부했다면 지금과 다른 인생을 살지 않았을까? 그런 상상을 해본다.

마지막으로 인상 깊은 책의 구절도 하나 남기면서 끝낸다. 

신뢰하기 때문에, 사람을 의심하는 법을 몰랐기 때문에 일어난 비극 때문에 요조는 이렇게 얘기한다.

신에게 묻습니다. 신뢰는 죄입니까?  

주말에 인생 첫 마라톤 하프를 완주했다. 1시간 57분 기록이 나왔다.

연습량에 비해 기록이 너무 좋게 나와서 오히려 더 아쉽다

한 달간 총 5km 씩 총 10번 뛰었고, 10km 마라톤 대회를 참여했다. 5km 를 달릴 때는 30~40분 정도 뛰었다. 

10분씩 점진적으로 운동량을 늘려서 100분 까지 뛰어보는 훈련을 했더라면 결과는 더 좋았을 것 같다.

아쉬움이 크지만, 그래도 완주를 했다는 사실이 그 동안 채우지 못했던 성취감을 만족시켰다. 

인생사가 모두 마라톤과 비슷하다. 미리 꾸준히 준비한다면, 목표한 바를 얻을 수 있다.

알면서도 실천하기 힘든 게 문제지.. 

회사에서 AWS SA 분들과 함께 진행했던 프로젝트가 있었다. 4개월 넘게 함께 진행하면서, 재미도 있었지만, 솔직히 너무 많이 힘들었었는데 다행이 효과와 개선점이 있었다.   

나는 그 프로젝트의 경험을 소중히 생각한다.

어떻게 보면 AWS는 내게는 월클이라.. 수준 높은 전문가들과 일을 함께 해보니 그들이 협업하는 태도, 전문 기술과 배경지식들, 그리고 이슈를 해결하는 방식들이 나를 놀라게 했다.

그리고 나도 그런 순간들을 함께 경험하면서 조금은 성장했다고 생각한다. 

7월즈음에 SA IH님이 AWS innovate 행사에 노미네이트 해보자고 제안해 주셔서, 일단 오케이 했는데 운이 좋게 발표 할 수 있게 됐다. (음.. IH님은 정말 .. 교수님 같은 인자한 느낌을 주는 좋은 분이다.)

발표는 프로젝트 진행에 큰 도움을 주셨던 YH님과 함께 하게 됐는데, YH님은 내가 스스로 해결하기 힘든 이슈가 있을 때, 먼저 찾게 되는 개발자이자 쿠버네티스 전문가다. 

준비 시간이 매주 짧았었는데, JH님과 YH님 덕분에 제 시간에 마무리 할 수 있었다.

(음.. JH님은 우리 회사 담당 SA 분이시면서, 개발과 PM 을 정말 잘 하시는 분이다. )

사실 컨퍼런스에서 발표해 보는 건 내 여러 목표 중 하나였다. 이번이 온라인 발표긴 해도, 다음에 혹시 있을 오프라인 발표에 필요한 경험과 준비를 했다고 생각하자.

발표 주제는 빅데이터 플랫폼의 워크로드를 쿠버네티스로 이전한 내용 중 EMR on EKS 부분들을 다뤘다. (더 담고 싶은 내용은 많았지만..)

서비스 소개와 기능과 같은 일반적인 내용보다는 실무적인 팁의 내용을 많이 담으려고 노력했다. 

비슷한 작업을 하고 있는 데이터엔지니어가 있다면 도움이 되길 바란다.

참고 - https://aws.amazon.com/ko/events/aws-innovate/apj/migrate-modernize-build/

ps..프로젝트 대부분을 함께 진행했던 최애 동료 SYAN 에게는 혼자 발표해서 너무 미안.. 다음에 꼭 함께.. 

올해는 드디어 기회가 돼서 AWS submmit 에 다녀온 후기를 남겨볼까 한다. 난 경력이 적지 않은 편이라고 생각하는데, 이런 기술 행사를 다녀온 경험이 별로 없다. 

5월 16일~17일 동안 코엑스 컨벤션 센터에서 열렸고, 엄청난 인기를 경험했다. 

내가 생각하는 AWS 가 잘하는 비지니스 전략은 IT 트렌드한 신기술을 고객 관리형 서비스로 빠르게 출시하면서 시장 점유율을 높이는 것이다. 따라서 AWS 기술 행사에는 고객이 선택하고 집중하는 IT 트렌드를 엿 볼 수 있다고 믿는 편이다.

기조연설에서 기억에 남았던 내용은 2가지다. the frugal architect (검소한 아키텍트)가 돼서 비지니스 전략과 트래픽의 변화에 맞게 인프라 비용을 유연하게 절감하자는 내용과 생성형 AI 애플리케이션 개발 트렌드와 Amazon Bedrock 이다. 

우리 회사도 파트에서 Data on EKS 전략으로 넘어가면서 비용 절감에 큰 노력을 하고 있기 때문에,  배경과 목적이 크게 공감이 됐다. 그리고 앞으로 데이터 엔지니어링 영역이 생성형 AI 개발안에서도 RAG 영역에서 활용될 수 있는 부분이 흥미롭게 들렸다. 

개인적으로 EMR on EKS 를 주제로 발표한 우아한 형제들과 쿠팡의 레드시프트,  karpenter 주제를 맡은 요기요, 그리고 당근마켓의 실시간 분석에 대한 주제가 궁금했는데, 아쉽게도 당근마켓만 듣지 못했다. 세션 간 대기 시간이 30분이나 되는데도, 미리 줄을 서지 못해 못 들어갔다.. ㅎㅎ

내가 들었던 세션은 모두 큰 도움이 될 만한 내용들이었다. emr on eks 의 스케쥴러 도입과 karpenter 최적화 (사용 중인 provisioner 가 nodepool 로 대체됨) 등 해야 할 일들이 많이 생겼다.  

나도 내년에는 의미 있는 내용과 경험으로 저런 큰 행사에서 발표를 해보고 싶은 마음이 크게 들었다.

조금 더 열심히 해야겠다.

“패턴 시커”는 책 제목이다. 

자폐적 성향을 보인 인물들이 뛰어난 체계화 능력으로 높은 성과를 이뤄낸다는 주제를 담은 책인데, 사실은 나도 읽어보진 못했다. 

자폐에 대한 얘기가 하고 싶어서보다는 책의 제목이 마음에 들었기 때문이다. 

어떻게 보면 내가 하는 일도 Pattern seek이다. 업무에서 규칙을 찾고, 이를 자동화하는 업무도 내 일이다.

에디슨을 좋아하진 않지만, 그는 ‘만일-그리고-그렇다면’ 패턴으로 1만 번씩 검토하는 연구와 실험을 통해 새로운 패턴을 발견하고, 발명품 개발로 이어졌다고 한다. Pattern seek 은 좋은 결과를 만들어내는 중요한 작업임이 틀림없다.

우리도 가끔은 멈춰서 해결해야 할 문제를 정리하고 체계화해서 패턴을 찾는 방법을 써보는 것도 좋을 것 같다. 

지난 주 이제는 정말 가족같이 편해져버린 오래된 지인들과 일본여행을 다녀왔다.

그리고 여행에서 “엔저니까..” 라는 이유로 함께 구매한 키보드 세개를 기념샷으로 올려봤다.

9월 부터 열심히 달렸던 프로젝트가 11월 13일에 쉼표를 찍었다. 마침표가 아니라 쉼표다. 주말에도 공부하고, 열심히 일했던 것 같다. 마지막 발표가 있던 주말에는 새벽 3시까지 보고서 PT를 수정했다.

고생했던 순간들을 이 블로그에 남겨서 티도 내고 싶지만.. 빅데이터 워크로드를 쿠버네티스로 이전했던 주제의 후기를 남기고 싶다. (혹시 누군가에게는 도움이 될 것 같다.)

나는 관리형 쿠버네티스 eks위에 emr on eks, airflow on eks 를 구축했는데, 아직까지는 만족 스럽다.

보름정도 지나서 airflow의 한 차례 첫 장애를 맞았지만 해결할 수 있었다.

나의 경우처럼 회사에서 망분리 환경이나 제한된 aws 역할을 갖고 있고, 운영중인 서비스별로 CI/CD 구성이 덜 되있다고 한다면 더 효과를 볼 수 있을지도 모른다. 쿠버네티스의 알려진 장점도 분명이 있다. 하지만 나의 경우에는 결과적으로 각 서버에 터미널로 접속할 일이 줄었고, 워크로드에 따라 스케일 인/아웃, 그리고 서비스 버저닝과 롤백 등의 여러 이점들이 작업시간을 단축해줬다. 앞으로 신규 서비스나 오픈소스를 서버에 올릴 때 EC2를 발급받지 않아도 되고 말이다. 특히 고성능 오토스케일러인 카펜터(karpenter)는 정말 필수적으로 함께 사용해야 한다. Spot,on-demand 인스턴스를 할당할때 놀라운 성능을 보여준다.

단점은 단축된 작업시간이 쿠버네티스 운영과 공부, 트러블 슈팅으로 쓰다보니 아직은 도입 전과 후의 고생의 총양이 같다고 할 수있다. 쿠버네티스 버전 업그레이드 시 데이터 플레인쪽의 수동 업그레이드 작업은 덤이다.

데브옵스 조직이 많이 생겨나고 있는 시대에 데이터 엔지니어가 쿠버네티스 운영 경험이 필요할까? 싶다. 그래도 뭐.. 알아두고 익혀둬서 나쁠 건 없다. 아직은 재미있어서 같이 하고 있다.

앞으로는 짧은 시간동안 몰입했던 여러 기술들을 정리하고 기술 페이지 쪽에 하나하나 포스팅 해보려고 한다.

가족들과 프로젝트 진행에 큰 도움을 준 협력사분들과 부사수에게 감사하다.

앞으로는 적당히 바쁘고 싶다.

2015년쯤 신한 데이터 시스템이라는 곳에서 짧게 첫 직장 생활을 하다 패기와 도전 정신으로 넷마블 인턴십에 지원했다. 당시 너무 오래전 일이라 직급은 기억나지 않지만 ( 아마도 CTO분이셨겠지.. ) 대회의실에 100명이 넘는 모든 인턴을 모아두고 정규직 전환을 뽑는 기준에 대해 얘기했다.  

“우리는 일 잘하는 사람, 머리 좋고 똑똑한 사람을 뽑지 않아요.” 

“함께 일하고 싶은 사람을 뽑을겁니다.”

그리고 기억에 남는 합격자가 있다. 

동료들의 어려움과 기술적 고민을 해결해 주다 본인의 프로젝트를 완료하지 못한 분이었는데 모두의 예상을 깨고 합격했다. 

그것은 단순히 배려와 희생이 아니다.

그런 사람과 일했을 때, 딱딱한 업무가 재밌고 즐거운 분위기가 되거나, 어떤 어려움에 부딪혀도 이겨낼 수 있을 것 같다는 믿음이나 신뢰가 될 수 있다. 

음.. 사실 오늘 쓰고 싶은 얘기는 다음부터다.

얼마 전 내가 리딩하게된 프로젝트 킥오프에 여러 도움을 주시는 다양한 전문가분들이 함께하게 됐다. 

그중에는 aws 인프라 업무를 담당해 주시는 외주 협력사 A님이 있다. 작년에 입사하셔서 우리 회사에 도움을 주시는 분이다

킥 오프 회의가 끝나고, A님이 따로 내게 했던 질문들이 매우 놀랍다.

“그래서..  목표가 000로 수정된 거죠?”

“실제 운영환경은 DEVOPS 계정에서 수행되는 걸까요?”

“제가 다음주에는 일주일 동안 휴가인데 일정을 제가 좀 수정할까요?” —> ‘물론 당연히 그러지 마시라고 했다..’

“팀장님의 00이런 의견이 00런 의미였나요??”

..등등..

심지어 내가 듣고 놓쳤던 회의 내용까지 나에게 상기시켜 줬다..

이런 질문들로 관심과 열정을 보인 A님이 더 고맙고, 함께 오래 일하고 싶은 마음이 드는건 당연하다.

이 글을 읽는 당신도 누군가에게 함께 일하고 싶은 동료로 기억될 수 있으면 좋겠다.

== 비하인드 ==

작년에 EKS 클러스터를 구성하면서 도움을 많이 받았던 동료 K 님이 있다. K님 역시 함께 일하고 싶은 동료였다.

K님을 팀에 모셔 오기 위해 추천도 써봤지만, 최종 면접에서 떨어졌고, 더 좋은 곳으로 가셨다.

A님은 K님과 사수 부사수 관계였다.

역시.. 좋은 사수 밑에는 좋은 부사수가 있나 보다.. 

동료가 나간다. 더 좋은 곳으로 가기에 .. 축하와 응원을 해줬다. 그렇지만 속으로 많이 아쉽다.

가족들과 보내는 시간을 빼면, 직장에서 동료들과 보내는 시간이 그 다음으로 긴데.. 어떻게 보면 가족 같은 느낌이 들 때도 있었다. 

다른 곳에 가서도 계속 볼 동료지만, 앞으로 매일 회사에서 기술적인 고민과 소소한 일상을 나눌 수 없다는 부분에서 슬프다.  

동료가 떠나면 파트에서 주요한 배치 플랫폼을 주로 운영해야 하는 부담감도 있다. 

물론 난 잘 하겠지만.. 

새로운 동료가 언제 올지 모르겠다.. 좋은 분이 오시길 기대해 본다.

[개발자 일상] 두 번의 깨달음

사회 초년생일 때는 야근이 잦았다. 

그때 항상 사무실에 남아 멀리서 나와 야근을 함께 하는 40대 동료 사우가 있었다. (40대 동료라고 하면 놀랄 수 있겠다. 첫 회사는 수평 문화의 회사였다.) 

왜 저 사람은 맨날 집에 늦게 갈까? 매일 야근 할 정도로 일이 많을까? 혹시 아기 보기 싫어서, 늦게 퇴근하는 거 아냐?  정말 별로인 아빠네.. 라고, 속으로 욕했던 기억도 난다. 

이런… 그 사람의 모습을 내가 갖게 됐다…

이상하게 저녁에 업무 집중이 잘 되고, 야근 후에 집에 돌아가면 아이가 자고 있어 몸이 편했다. 왜 아빠들이 늦게 퇴근하는지 깨달은 것 같아..  

애기가 생기면서 주말과 개인 시간이 사실상 소멸했고, 게임은 커녕 공부할 시간도 모자라다보니 집중할 수 있는 시간이 보장된 회사에서 채우게 되고, 그러다 보니 퇴근 시간이 늦어지는 것 같다는 나의 그럴듯한 핑계다.

그렇게 점점 회사에서 보내는 시간이 길어지면서 육아 시간도 줄었다.

너무 더워진 요즘 아기 방의 온도를 체크하러 잠깐 들어갔는데 자고 있는 얼굴을 보다 행복을 느꼈다. 

“아빠”라는 말을 마지막으로 들은 지 꽤 된 것 같다. 휴대폰에는 마지막 아이의 사진이 2주 전이다. 

무엇이 중요한지 깨달았다. 힘들어도 아이와 보내는 시간과 추억이 더 소중할 것 같다. 

주말에는 책을 많이 읽어줘야겠다.