데이터 엔지니어링

요즘 너무 유튜브 쇼츠에 빠져있는 것 같아, "인간 실격"이라는 책을 읽었다.  출퇴근 시간에 틈틈히 읽었고, 완독 까지 두 달 정도 걸렸다.

책의 구조가 독특하다. 서문, 1~3번 째 수기, 후기 이렇게 목차가 구성되있는데 요조라는 남자가 본인의 일생을 일기처럼 기록한 것이 수기 부분이고, 서문과 후기는 요조의 이야기를 전하는 작가의 시점으로 되있다. 후기에서 작가는 요조의 사진과 노트를 받는 내용이 나온다.

결국 이 책은 주인공 요조라는 불행해 보일 수 있는 남자의 인생을 조망한다. 

“혼자만 아주 별난 사람인 듯 느껴져 불안과 공포에 바들바들 떨 뿐입니다. 저는 주위사람과 대화를 거의 나누지 못합니다. 그래서 생각해낸 묘안이 광대였습니다.”

유복하게 태어났고, 자기가 다른 사람과는 다름을 깨달은 요조가 남들과 섞이기 위해 어쩔 수 없이 광대 노릇을 하는 것이, 회사에서 일도 잘하고 전문적가이기 위해 애써 노력하는 나와 닮았다. 

“세상이란 개인이 아닐까 하는 흡사 사상같은 것을 터득하게 되었습니다.’”

세상은 다수의 인간일까? 세상의 실체가 있는걸까? 사실 세상은 너일 수 있고 , 나일 수 있다. 

그리고 요조는 아버지의 기대에 만족하기 위해 살아가는 것이 싫었어도, 결국 아버지의 경제적 도움 없이는 아무것도 할 수 없다는 것을 안다.  자기모순이다. 

“남부끄러운 적이 많은 일생이었습니다.”
“알코올 중독일지도 모르겠습니다. 지금도 마시고 싶거든요”
“죽고 싶다. 차라리 죽고싶다. 이제는 돌이킬 수 없다. 거듭 부끄러움을 당할 뿐이다.” 

 책을 읽는 내내 마음속으로 “술좀 그만 마셔!!”를 속으로 외치던 난 그렇게 폐인이 되어가면서 ‘인간, 실격’의 모습으로 변해가는 요조를 보고 안타까운 한숨을 내쉬고 멈췄다. 나도 그랬었으니까. (20대에  술과 담배, 온갖 게임 중독에 빠져 살았던 시절을 떠올렸다.) 나도 가끔은 일이 제대로 풀리지 않을 때 자기혐오까지는 아니지만 내 자신을 질책한다. 

“누군가의 권유를 거부한 적은 제 인생에서 그때 단 한번뿐이었다고 해도 과언이 아닙니다. 저의 불행은 거부하는 능력이 없는 자의 불행이었습니다.”…..”저는 어쩌면 그 순간, 이미 중독에서 벗어난 게 아니었을까요.”

이래서 자존감이 중요한걸까? 

그리고 요조가 호리키와의 만남에서도 술, 담배, 매춘부, 좌익 사상 중에 그 어떤 것이라도 거부했다면 지금과 다른 인생을 살지 않았을까? 그런 상상을 해본다.

마지막으로 인상 깊은 책의 구절도 하나 남기면서 끝낸다. 

신뢰하기 때문에, 사람을 의심하는 법을 몰랐기 때문에 일어난 비극 때문에 요조는 이렇게 얘기한다.

신에게 묻습니다. 신뢰는 죄입니까?  

주말에 인생 첫 마라톤 하프를 완주했다. 1시간 57분 기록이 나왔다.

연습량에 비해 기록이 너무 좋게 나와서 오히려 더 아쉽다

한 달간 총 5km 씩 총 10번 뛰었고, 10km 마라톤 대회를 참여했다. 5km 를 달릴 때는 30~40분 정도 뛰었다. 

10분씩 점진적으로 운동량을 늘려서 100분 까지 뛰어보는 훈련을 했더라면 결과는 더 좋았을 것 같다.

아쉬움이 크지만, 그래도 완주를 했다는 사실이 그 동안 채우지 못했던 성취감을 만족시켰다. 

인생사가 모두 마라톤과 비슷하다. 미리 꾸준히 준비한다면, 목표한 바를 얻을 수 있다.

알면서도 실천하기 힘든 게 문제지.. 

회사에서 AWS SA 분들과 함께 진행했던 프로젝트가 있었다. 4개월 넘게 함께 진행하면서, 재미도 있었지만, 솔직히 너무 많이 힘들었었는데 다행이 효과와 개선점이 있었다.   

나는 그 프로젝트의 경험을 소중히 생각한다.

어떻게 보면 AWS는 내게는 월클이라.. 수준 높은 전문가들과 일을 함께 해보니 그들이 협업하는 태도, 전문 기술과 배경지식들, 그리고 이슈를 해결하는 방식들이 나를 놀라게 했다.

그리고 나도 그런 순간들을 함께 경험하면서 조금은 성장했다고 생각한다. 

7월즈음에 SA IH님이 AWS innovate 행사에 노미네이트 해보자고 제안해 주셔서, 일단 오케이 했는데 운이 좋게 발표 할 수 있게 됐다. (음.. IH님은 정말 .. 교수님 같은 인자한 느낌을 주는 좋은 분이다.)

발표는 프로젝트 진행에 큰 도움을 주셨던 YH님과 함께 하게 됐는데, YH님은 내가 스스로 해결하기 힘든 이슈가 있을 때, 먼저 찾게 되는 개발자이자 쿠버네티스 전문가다. 

준비 시간이 매주 짧았었는데, JH님과 YH님 덕분에 제 시간에 마무리 할 수 있었다.

(음.. JH님은 우리 회사 담당 SA 분이시면서, 개발과 PM 을 정말 잘 하시는 분이다. )

사실 컨퍼런스에서 발표해 보는 건 내 여러 목표 중 하나였다. 이번이 온라인 발표긴 해도, 다음에 혹시 있을 오프라인 발표에 필요한 경험과 준비를 했다고 생각하자.

발표 주제는 빅데이터 플랫폼의 워크로드를 쿠버네티스로 이전한 내용 중 EMR on EKS 부분들을 다뤘다. (더 담고 싶은 내용은 많았지만..)

서비스 소개와 기능과 같은 일반적인 내용보다는 실무적인 팁의 내용을 많이 담으려고 노력했다. 

비슷한 작업을 하고 있는 데이터엔지니어가 있다면 도움이 되길 바란다.

참고 - https://aws.amazon.com/ko/events/aws-innovate/apj/migrate-modernize-build/

ps..프로젝트 대부분을 함께 진행했던 최애 동료 SYAN 에게는 혼자 발표해서 너무 미안.. 다음에 꼭 함께.. 

올해는 드디어 기회가 돼서 AWS submmit 에 다녀온 후기를 남겨볼까 한다. 난 경력이 적지 않은 편이라고 생각하는데, 이런 기술 행사를 다녀온 경험이 별로 없다. 

5월 16일~17일 동안 코엑스 컨벤션 센터에서 열렸고, 엄청난 인기를 경험했다. 

내가 생각하는 AWS 가 잘하는 비지니스 전략은 IT 트렌드한 신기술을 고객 관리형 서비스로 빠르게 출시하면서 시장 점유율을 높이는 것이다. 따라서 AWS 기술 행사에는 고객이 선택하고 집중하는 IT 트렌드를 엿 볼 수 있다고 믿는 편이다.

기조연설에서 기억에 남았던 내용은 2가지다. the frugal architect (검소한 아키텍트)가 돼서 비지니스 전략과 트래픽의 변화에 맞게 인프라 비용을 유연하게 절감하자는 내용과 생성형 AI 애플리케이션 개발 트렌드와 Amazon Bedrock 이다. 

우리 회사도 파트에서 Data on EKS 전략으로 넘어가면서 비용 절감에 큰 노력을 하고 있기 때문에,  배경과 목적이 크게 공감이 됐다. 그리고 앞으로 데이터 엔지니어링 영역이 생성형 AI 개발안에서도 RAG 영역에서 활용될 수 있는 부분이 흥미롭게 들렸다. 

개인적으로 EMR on EKS 를 주제로 발표한 우아한 형제들과 쿠팡의 레드시프트,  karpenter 주제를 맡은 요기요, 그리고 당근마켓의 실시간 분석에 대한 주제가 궁금했는데, 아쉽게도 당근마켓만 듣지 못했다. 세션 간 대기 시간이 30분이나 되는데도, 미리 줄을 서지 못해 못 들어갔다.. ㅎㅎ

내가 들었던 세션은 모두 큰 도움이 될 만한 내용들이었다. emr on eks 의 스케쥴러 도입과 karpenter 최적화 (사용 중인 provisioner 가 nodepool 로 대체됨) 등 해야 할 일들이 많이 생겼다.  

나도 내년에는 의미 있는 내용과 경험으로 저런 큰 행사에서 발표를 해보고 싶은 마음이 크게 들었다.

조금 더 열심히 해야겠다.

“패턴 시커”는 책 제목이다. 

자폐적 성향을 보인 인물들이 뛰어난 체계화 능력으로 높은 성과를 이뤄낸다는 주제를 담은 책인데, 사실은 나도 읽어보진 못했다. 

자폐에 대한 얘기가 하고 싶어서보다는 책의 제목이 마음에 들었기 때문이다. 

어떻게 보면 내가 하는 일도 Pattern seek이다. 업무에서 규칙을 찾고, 이를 자동화하는 업무도 내 일이다.

에디슨을 좋아하진 않지만, 그는 ‘만일-그리고-그렇다면’ 패턴으로 1만 번씩 검토하는 연구와 실험을 통해 새로운 패턴을 발견하고, 발명품 개발로 이어졌다고 한다. Pattern seek 은 좋은 결과를 만들어내는 중요한 작업임이 틀림없다.

우리도 가끔은 멈춰서 해결해야 할 문제를 정리하고 체계화해서 패턴을 찾는 방법을 써보는 것도 좋을 것 같다. 

지난 주 이제는 정말 가족같이 편해져버린 오래된 지인들과 일본여행을 다녀왔다.

그리고 여행에서 “엔저니까..” 라는 이유로 함께 구매한 키보드 세개를 기념샷으로 올려봤다.

9월 부터 열심히 달렸던 프로젝트가 11월 13일에 쉼표를 찍었다. 마침표가 아니라 쉼표다. 주말에도 공부하고, 열심히 일했던 것 같다. 마지막 발표가 있던 주말에는 새벽 3시까지 보고서 PT를 수정했다.

고생했던 순간들을 이 블로그에 남겨서 티도 내고 싶지만.. 빅데이터 워크로드를 쿠버네티스로 이전했던 주제의 후기를 남기고 싶다. (혹시 누군가에게는 도움이 될 것 같다.)

나는 관리형 쿠버네티스 eks위에 emr on eks, airflow on eks 를 구축했는데, 아직까지는 만족 스럽다.

보름정도 지나서 airflow의 한 차례 첫 장애를 맞았지만 해결할 수 있었다.

나의 경우처럼 회사에서 망분리 환경이나 제한된 aws 역할을 갖고 있고, 운영중인 서비스별로 CI/CD 구성이 덜 되있다고 한다면 더 효과를 볼 수 있을지도 모른다. 쿠버네티스의 알려진 장점도 분명이 있다. 하지만 나의 경우에는 결과적으로 각 서버에 터미널로 접속할 일이 줄었고, 워크로드에 따라 스케일 인/아웃, 그리고 서비스 버저닝과 롤백 등의 여러 이점들이 작업시간을 단축해줬다. 앞으로 신규 서비스나 오픈소스를 서버에 올릴 때 EC2를 발급받지 않아도 되고 말이다. 특히 고성능 오토스케일러인 카펜터(karpenter)는 정말 필수적으로 함께 사용해야 한다. Spot,on-demand 인스턴스를 할당할때 놀라운 성능을 보여준다.

단점은 단축된 작업시간이 쿠버네티스 운영과 공부, 트러블 슈팅으로 쓰다보니 아직은 도입 전과 후의 고생의 총양이 같다고 할 수있다. 쿠버네티스 버전 업그레이드 시 데이터 플레인쪽의 수동 업그레이드 작업은 덤이다.

데브옵스 조직이 많이 생겨나고 있는 시대에 데이터 엔지니어가 쿠버네티스 운영 경험이 필요할까? 싶다. 그래도 뭐.. 알아두고 익혀둬서 나쁠 건 없다. 아직은 재미있어서 같이 하고 있다.

앞으로는 짧은 시간동안 몰입했던 여러 기술들을 정리하고 기술 페이지 쪽에 하나하나 포스팅 해보려고 한다.

가족들과 프로젝트 진행에 큰 도움을 준 협력사분들과 부사수에게 감사하다.

앞으로는 적당히 바쁘고 싶다.

2015년쯤 신한 데이터 시스템이라는 곳에서 짧게 첫 직장 생활을 하다 패기와 도전 정신으로 넷마블 인턴십에 지원했다. 당시 너무 오래전 일이라 직급은 기억나지 않지만 ( 아마도 CTO분이셨겠지.. ) 대회의실에 100명이 넘는 모든 인턴을 모아두고 정규직 전환을 뽑는 기준에 대해 얘기했다.  

“우리는 일 잘하는 사람, 머리 좋고 똑똑한 사람을 뽑지 않아요.” 

“함께 일하고 싶은 사람을 뽑을겁니다.”

그리고 기억에 남는 합격자가 있다. 

동료들의 어려움과 기술적 고민을 해결해 주다 본인의 프로젝트를 완료하지 못한 분이었는데 모두의 예상을 깨고 합격했다. 

그것은 단순히 배려와 희생이 아니다.

그런 사람과 일했을 때, 딱딱한 업무가 재밌고 즐거운 분위기가 되거나, 어떤 어려움에 부딪혀도 이겨낼 수 있을 것 같다는 믿음이나 신뢰가 될 수 있다. 

음.. 사실 오늘 쓰고 싶은 얘기는 다음부터다.

얼마 전 내가 리딩하게된 프로젝트 킥오프에 여러 도움을 주시는 다양한 전문가분들이 함께하게 됐다. 

그중에는 aws 인프라 업무를 담당해 주시는 외주 협력사 A님이 있다. 작년에 입사하셔서 우리 회사에 도움을 주시는 분이다

킥 오프 회의가 끝나고, A님이 따로 내게 했던 질문들이 매우 놀랍다.

“그래서..  목표가 000로 수정된 거죠?”

“실제 운영환경은 DEVOPS 계정에서 수행되는 걸까요?”

“제가 다음주에는 일주일 동안 휴가인데 일정을 제가 좀 수정할까요?” —> ‘물론 당연히 그러지 마시라고 했다..’

“팀장님의 00이런 의견이 00런 의미였나요??”

..등등..

심지어 내가 듣고 놓쳤던 회의 내용까지 나에게 상기시켜 줬다..

이런 질문들로 관심과 열정을 보인 A님이 더 고맙고, 함께 오래 일하고 싶은 마음이 드는건 당연하다.

이 글을 읽는 당신도 누군가에게 함께 일하고 싶은 동료로 기억될 수 있으면 좋겠다.

== 비하인드 ==

작년에 EKS 클러스터를 구성하면서 도움을 많이 받았던 동료 K 님이 있다. K님 역시 함께 일하고 싶은 동료였다.

K님을 팀에 모셔 오기 위해 추천도 써봤지만, 최종 면접에서 떨어졌고, 더 좋은 곳으로 가셨다.

A님은 K님과 사수 부사수 관계였다.

역시.. 좋은 사수 밑에는 좋은 부사수가 있나 보다.. 

동료가 나간다. 더 좋은 곳으로 가기에 .. 축하와 응원을 해줬다. 그렇지만 속으로 많이 아쉽다.

가족들과 보내는 시간을 빼면, 직장에서 동료들과 보내는 시간이 그 다음으로 긴데.. 어떻게 보면 가족 같은 느낌이 들 때도 있었다. 

다른 곳에 가서도 계속 볼 동료지만, 앞으로 매일 회사에서 기술적인 고민과 소소한 일상을 나눌 수 없다는 부분에서 슬프다.  

동료가 떠나면 파트에서 주요한 배치 플랫폼을 주로 운영해야 하는 부담감도 있다. 

물론 난 잘 하겠지만.. 

새로운 동료가 언제 올지 모르겠다.. 좋은 분이 오시길 기대해 본다.

[개발자 일상] 두 번의 깨달음

사회 초년생일 때는 야근이 잦았다. 

그때 항상 사무실에 남아 멀리서 나와 야근을 함께 하는 40대 동료 사우가 있었다. (40대 동료라고 하면 놀랄 수 있겠다. 첫 회사는 수평 문화의 회사였다.) 

왜 저 사람은 맨날 집에 늦게 갈까? 매일 야근 할 정도로 일이 많을까? 혹시 아기 보기 싫어서, 늦게 퇴근하는 거 아냐?  정말 별로인 아빠네.. 라고, 속으로 욕했던 기억도 난다. 

이런… 그 사람의 모습을 내가 갖게 됐다…

이상하게 저녁에 업무 집중이 잘 되고, 야근 후에 집에 돌아가면 아이가 자고 있어 몸이 편했다. 왜 아빠들이 늦게 퇴근하는지 깨달은 것 같아..  

애기가 생기면서 주말과 개인 시간이 사실상 소멸했고, 게임은 커녕 공부할 시간도 모자라다보니 집중할 수 있는 시간이 보장된 회사에서 채우게 되고, 그러다 보니 퇴근 시간이 늦어지는 것 같다는 나의 그럴듯한 핑계다.

그렇게 점점 회사에서 보내는 시간이 길어지면서 육아 시간도 줄었다.

너무 더워진 요즘 아기 방의 온도를 체크하러 잠깐 들어갔는데 자고 있는 얼굴을 보다 행복을 느꼈다. 

“아빠”라는 말을 마지막으로 들은 지 꽤 된 것 같다. 휴대폰에는 마지막 아이의 사진이 2주 전이다. 

무엇이 중요한지 깨달았다. 힘들어도 아이와 보내는 시간과 추억이 더 소중할 것 같다. 

주말에는 책을 많이 읽어줘야겠다. 

친한 선배이자 개발자 동료인 지인이 1일 1글쓰기를 시작 했다며 블로그를 공유해줬다. 그는 교육 강사, 개발자, 또는 회사 대표로서 꾸준히 일한다.

주변 사람에게 선한 영향력을 주고, 그를 보면서 자극을 많이 받아 열심히 노력하게 된다. ( 여기 -> https://www.alghost.co.kr/ )

그래서..   

나 역시 내가 겪는 경험과 생각을 정리하면서, 자유롭게 글을 써보기로 마음먹었다. (마침 창 밖에 빗소리가 내 감성을 채워준다.)

마침 회고할 것이 있다. 가끔 머릿 속 생각을 입밖으로 꺼낼 때가 있다. 그리고 대부분 후회한다.

팀이 하반기 해야 할 일과 방향성을 고민해보고 나눠보는 자리에서, 타부서의 업무지만 우리가 함께 해야 할 것 같아 이야기를 꺼냈다가 싫은 소리를 듣게 됐다.

부서가 담당한 역할과 일이 분명히 구분되있다. 그리고 회사에서는 업무 하나라도 A팀에서 할지 B팀에서 할지.. 담당자들의 보이지 않는 줄다리기를 해야 한다.

난 데이터 엔지니어 입장에서 본다면, 데이터를 수집하는 영역은 우리가 참여해야 할 일이라고 생각했다. 그 데이터는 팀에서 활용 의존도가 높아지고 있다. 우리도 직접 만들면 요청하고 기다리지 않아도 되고, 모두가 좋은거 아닌가 싶었다.

그렇게 오전 회의에서 하지 않아도 될 말을 입 밖으로 꺼내 긁어 부스럼을 만드는 꼴이 됐다. 이런 부분에서 내가 아직 많이 부족하다고 느꼈다. 사실 이전 직장에서도 나의 이런 부분은 고쳐야 한다고 팀장님께서 많이 말씀하셨다. (쉽게 고쳐지지 않지만…)

데이터 엔지니어로서의 나와 빅데이터 플랫폼팀에서 팀원으로서 나의 역할은 같은 것 같지만 다르다. 난 두가지 Role 안에서 신중히 고민하고 의견을 내야 한다.

아직은 R&R 을 따져가며 정치적으로 일하고 싶지 않은 심리가 솔직히 어느정도 있다.

현실적인 것보다 이상적인 것에 더 끌리는 편이다.

내 머릿속 고민의 총량이 있다면, 정치적인 고민보다는 기술적인 고민으로 채우고 싶은 거다.

결론은.. 난 팀장을 하면 안되는 사람이다. 팀원이 피곤해질거니까