하루 100억 트래픽도 끄떡없는 시스템을 만드는 팀으로
Soeun Choi — 최소은
AB180이 직접 개발한 마케팅 성과분석 소프트웨어 에어브릿지는 200개가 넘는 고객사의 마케팅 데이터를 실시간으로 수집, 처리하고 있습니다. 비즈니스의 성장에 따라 분당 100만건, 하루 10억건이 넘는 대용량 이벤트 데이터가 들어오고 있고, 트래픽은 지금도 빠르게 증가하고 있죠.
이번 글에서는 Backend Engineering Group의 Data Pipeline Team Lead 김재원님과 팀에 대해 더 자세히 알아보고, 재원님이 AB180에서 느낀 개발 커리어 성장, 더불어 앞으로 더 커질 팀에서의 목표, AB180과 DP팀에 관심 있는 분들에게 전하는 메시지까지 다양한 이야기를 나누어 보았습니다.
들어가며,
Q. 재원님께서 AB180에 합류하기로 결정하신 계기는 무엇인가요? 지금도 그 생각이 유효한지 궁금합니다.
AB180은 당시 제 주변에서 가장 개발을 잘 하는 지인이 다니던 회사였습니다. 그래서 회사에 대해 잘 모름에도 불구하고 의심 없이 합류했어요. 막상 들어와 보니 그분 말고도 훌륭한 동료들이 많았고, 여러모로 일할 맛이 나는 회사라 지금까지 오래 다니고 있습니다.
Q. 일할 맛 나는 회사! 어떤 점에서 그렇게 느끼셨나요?
무엇보다 개개인이 의사결정 과정에 참여해서 목소리를 내고, 의견이 제품에 반영되면서 보람을 느끼고 성장을 체감할 수 있다는 것이 AB180의 큰 장점이라고 생각합니다. 특히 열정적으로 토론하다가도 더 나은 의견이 있다면 그 의견을 겸허히 수용하고 지원해주는 구성원 덕분에 다들 의견 내는 것을 꺼리지 않는 문화가 자리잡았다 생각해요. 그래서 더 건설적인 토론이 오가고, 더 좋은 제품이 만들어지는 것 같습니다.
더불어 몇 년 사이에 트래픽도 10배 이상 늘고, 여러 글로벌 기업들과 파트너십도 맺는 등 회사가 빠르게 성장했는데요. 요구사항을 뛰어난 동료들과 어떻게든 해결하면서 제 스스로도 많이 성장함을 느꼈어요. 앞으로도 회사나 저나 지금보다 더 빠르게 성장하리라는 확신이 있고, 일도 적성에 맞아서 재미있게 일하고 있습니다.
Q. AB180이 속해 있는 Mar-tech 도메인, 개발자의 관점으로 조금 더 쉽게 설명해주실 수 있을까요?
AB180은 마케팅 성과 분석 솔루션 회사입니다. 마케팅 성과 분석이란 어떤 광고를 사용자가 봤다는 것에 대한 기록, 이를 통해 설치나 구매 등의 전환을 일으켰다는 기록을 놓치지 않고 수집해서 인과관계 분석을 돕는 것인데요, Mar-Tech는 이 과정을 기술적으로 풀어 가는 비즈니스 분야라고 생각해 주시면 됩니다.
사업 초기 데이터가 적을 때는 문제가 많지 않았지만, 지금은 하루 10억건이 넘는 데이터가 수집되고 있고, 빠르게 확장되는 비즈니스 덕에 지금도 데이터 트래픽이 빠르게 증가하고 있습니다. 이 과정에서 자연스럽게 해결할 일이 많아지고, 개발한 서비스를 직접 띄우고, 모니터링하고, 유지보수하면서 풍부한 경험을 통해 개발자로서 성장하기 더할 나위 없이 좋은 환경이라고 생각합니다.
Data Pipeline Team, 그리고 AB180에서의 커리어
Q. Data Pipeline Team을 소개해주세요!
Data Pipeline 팀은 하루 10억 건이 넘는 대용량 데이터를 안정적이고 효율적으로 처리하는 파이프라인을 만드는 팀입니다. 여러 소스로부터 오는 데이터를 잘 받아서 비즈니스 로직에 따라 처리하고, 사용하기 쉬운 형태로 가공하고 있어요. 이 과정에서 필요한 실시간, 배치, 웹 서비스 개발 및 인프라 관리를 모두 하고 있습니다.
제가 합류했을 당시엔 Data Pipeline ‘팀’이 아니라 ‘파트’였는데요, 백엔드 조직 규모도 작았고 한 사람이 담당하는 백엔드 시스템의 범위도 넓어서, 각자 담당하는 파트 리드를 맡는 방식이었어요. 이후 팀원이 늘어나면서 점점 파트 규모가 커졌고, 최근에는 팀으로 승격하게 되어 제가 리드를 맡게 되었습니다. 지금 백엔드 엔지니어링 그룹은 총 19명, Data Pipeline 팀에는 저까지 7명의 팀원이 함께하고 있어요.
많은 고객사가 월 수억 원에 달하는 마케팅 예산을 집행하고 비용을 정산할 때 사용하는 데이터를 다루기 때문에, 저희 팀에게는 안정성과 효율성이 가장 중요한 키워드입니다. 그래서 신규 기능 개발만큼이나 기존 서비스의 성능 최적화 또는 안정성 보완 작업을 많이 합니다.
보통 최적화나 안정화 작업은 잘 보이지도 않고, 설명하기도 쉽지 않아 외부에서는 잘 몰라줄 때가 많지만, 정말 중요한 작업이고 나름의 성취감도 커서 보람을 많이 느낍니다. 특히 큰 장애를 잘 방지했거나 큰 비용 절감을 이뤄낸 작업을 했을 땐 “오늘 밥값 했다” 하며 자랑할 때가 많아요.
Q. Data Pipeline 팀의 자세한 업무 내용도 궁금합니다.
저를 포함한 AB180 백엔드 그룹의 엔지니어 분들은 흔히 말하는 백엔드, 데브옵스, 데이터 엔지니어가 하는 일을 복합적으로 하고 있습니다. Data Pipline팀도 마찬가지인데요, 데이터 수집부터 처리, 적재 관리 등 흔히 데이터 엔지니어가 하는 영역까지 담당하고 있습니다. 전문성이 떨어질까 걱정할 수도 있겠지만, 저처럼 어느 한 분야도 놓치기 싫고, 모두 경험해보고 싶은 사람에게는 성장에 큰 도움이 된다고 생각합니다.
장기적으로는 좋은 팀원을 많이 모셔서 각자 하고 싶은 작업에 집중할 수 있도록 하는 것이 목표입니다. 꼭 필요한 업무는 다 같이 해결하지만, 각자 선호하는 분야를 공부하고, 개선할 수 있도록 독려하고 있기 때문이에요.
Q. AB180에서 일하면서 가장 기억에 남는 순간이 있으신가요?
저는 쉬운 문제보다 어려운 문제를 풀 때 더 즐거워요. AB180에서 일하는 게 더 즐거운 이유 중 하나인데요, 제가 처음 입사했을 때 비즈니스 로직이 어렵다고 느꼈고, 동시에 이해가 되지 않는 로직이 많았습니다. 그래서 당시 CTO, CPO님 자리에 찾아가 옆에 앉아서 로직에 대해 토론하는 시간을 자주 가졌는데, 지금 생각하면 입사한 지 얼마 안 된 신입이 그러는 걸 모두 받아주고, 함께 비즈니스 로직을 정리하는 시간을 가지기도 했었던 게 신기합니다.
이런 토론의 경험이 기술적인 성장에 곧바로 이어지지는 않았지만, 나중에 비용 최적화나 개발하는 과정에서 제품 이해에 큰 도움을 주었습니다. 그러다 보니 지금은 제품에 대한 애정으로 이어졌고, 주도적으로 일할 수 있게 된 것 같아서 가장 기억에 남는 순간이라고 할 수 있을 것 같습니다.
Q. 가장 기억에 남는 프로젝트도 있는지 궁금합니다.
팀에서 잘 활용하고 있는 Amazon DynamoDB 비용을 최적화한 프로젝트가 가장 기억에 남습니다. DynamoDB는 사용하기 편하고, 고가용성이 잘 보장되는 만큼 비용이 많이 나가기 때문에 저희 서버 비용의 큰 부분을 차지하는 인프라 중 하나인데요, 처음에는 처리하는 트래픽에 비해 말도 안 되게 많은 비용을 내고 있어서 개선이 많이 필요했습니다.
먼저 필요 없는 기능을 삭제하거나 스펙을 줄이는 등 정책적인 변경을 제안해서 쉽고 크게 비용을 줄였습니다. 그 다음에 기술적으로 할 수 있는 부분도 찾아내기 시작했어요. 처음엔 간단한 실험을 통해 데이터 저장 방식이나 접근 패턴에 따라 어떻게 과금되는지 정확히 파악했고, 더 효율적인 방식으로 테이블 구조를 바꿔 꽤 많은 비용을 절약했습니다. 그 후에 파격적인 비용 절감을 위해 대체 가능한 DB를 알아보고 팀 내 세션에서 공유하기도 했는데, 아직은 안정성, 관리 효율성 측면에서 DynamoDB가 강점이 있어서 그대로 사용하고 있어요.
비용 개선 프로젝트 이전에 비해 7~80% 정도 비용을 절약해서 큰 발전이 있었지만, 아직 가야 할 길이 많이 남았다고 생각해요.
Q. AB180, 그리고 에어브릿지 개발자로서 꼭 이루고 싶은 것은 무엇인가요?
우선 개발자로서 현재보다 10배 이상의 트래픽이 들어와도 더 저렴하고, 안전하게 처리할 수 있는 시스템을 구성해서 기술적인 이슈가 비즈니스 성장의 발목을 잡지 않게 하는 것이 단기 목표입니다.
또 기술적인 것을 떠나서 앞으로도 더 큰 비즈니스 임팩트를 내기 위한 고민을 많이 할 생각이고, 장기적으로는 대체 불가능한 구성원이 되고 싶습니다.
Join Our Team!
Q. DP 팀에는 어떤 개발자분들이 모여 계신가요? 팀이 일하는 방식도 궁금합니다.
DP 팀에는 열정적이고 성장에 목말라 있는, 성장 곡선이 가파른 동료들이 모여있습니다. 팀원들 중에서도 개인 시간을 자기 계발에 투자하는 분들이 많은데요. 업무 시에도 개인이 성장하고 싶은 방향의 업무를 드리고, 그에 따른 아낌없는 지원을 해 드리고 있어요. 때문에 성장 속도가 빠를 수밖에 없고, 한 명이 끌고 나가는 형태가 아닌 팀원 모두가 일에 몰입해서 문제를 해결해 나가는 팀입니다.
또한 기술적인 지식 공유나 토론을 자연스럽게 많이 하는 환경인데, 토론의 수준이 굉장히 높고, 특히 주니어 분들의 성장에 큰 도움이 된다고 생각해요. 실제로 저희가 토론한 주제의 내용이 현 시점에서 가장 이상적인 해결 방안이라고 판단되는 경우도 많고요. 비슷한 사례가 없는 경우 글이나 발표로 공유하기도 하는데, 이런 것들이 외부에서 많은 도움이 되었다고 연락이 오는 경우도 많습니다.
그리고 저희 팀은 새로운 것에 두려움 없이 도전하고, 적용하는 팀입니다. 항상 빠르게 시도해서 빠르게 실패하고, 가능성이 보인다면 모두가 적극적으로 지지해주는 문화가 있다 보니 열린 마음으로 새로운 시도를 하려는 분들이 많아요.
Q. 올해 팀의 목표로는 어떤 것들이 있나요? 앞두고 계신 챌린지나, 함께 풀고 싶은 문제가 있으시다면 공유해 주세요.
첫째로는 더 건강하고 유연한 팀 문화를 만드는 것입니다. 새로운 동료들이 많이 합류할 예정이기 때문에 빠르게 온보딩해서 팀에 적응하고, 문화에 녹아들 수 있게 하는 것이 첫 목표입니다. 지금의 규모와 구조에서는 저희 팀의 문화가 나름대로의 성과를 거두고 있다고 생각하지만, 늘어나는 동료 수에 맞게 소통 방법과 팀 전략을 유연하게 수립하고 싶습니다.
올해는 좋은 동료분들을 많이 모셔서 팀원들이 좀 더 여유를 가지고 각자 하고 싶은 영역에서 능력을 펼칠 수 있게 해드리는 것 또한 목표고요. 팀 브랜딩의 측면에서 글을 쓰거나, 발표에 참여하는 등의 외부 PR도 활발히 할 예정입니다.
기술적인 면에서는 Scalable & Sustainable 시스템을 구축하고 싶습니다. 최근 1년 사이 하루 처리하는 데이터의 양이 대략 10배가 늘었는데요, 지금 상태에서 최소 10배 이상의 트래픽이 더 들어와도 문제가 없는 시스템을 만드는 게 목표입니다. 또 데이터가 느는 만큼 비용이 선형적으로 늘면 안 되니, 최적화를 더 잘 하고 싶은 목표도 있습니다.
Q. 가장 좋아하는 백엔드 그룹/DP 팀의 문화는 무엇인가요?
저는 KT(Knowledge Transfer) 문화를 가장 좋아합니다. KT는 새로 학습한 내용, 새로 도입할 만한 것들, 작업에서 배운/공유할만한 것들, 큰 장애가 있었을 때의 회고, 재발 방지 액션 아이템, 외부 발표 정리 등 공유하고 싶은 지식이 있다면 함께 모여서 공유하는 문화인데요. 처음에는 비정기적으로 세션을 가지다가 이제는 매주 정기적으로 진행하고 있습니다.
내부 발표다 보니 편하게 질문할 수 있어서 더 생산적인 시간이라고 생각하고, 영상 자료로 기록하고 있어 새로운 동료 분이 오셨을 때 학습하는 자료로도 활용하고 있습니다. 백엔드 조직에서 KT를 최초로 시작했는데, 저희를 보고 다른 팀들도 많이 시작하시는 걸 보고 뿌듯하기도 해요.
매주 진행되는 Knowledge Transfer
Q. 어떤 분들이 AB180, 그리고 DP 팀에서 즐겁게 일할 수 있다고 생각하시나요?
AB180은 새로운 것들을 받아들일 준비가 되어있는 사람에게 최적의 환경을 갖춘 회사입니다. 끊임없이 새로운 것들을 시도하고, 있는 것에 만족하기보다는 시도해보고 부딪혀볼 수 있는 사람들이 어울린다고 생각해요.
또 팀에서 추구하는 인재상으로 Strong Views, Weakly Held 라는 슬로건이 있습니다. ‘소신은 있지만 고집은 없는 사람’이라고 생각해주시면 좋을 것 같습니다.
DP 팀 같은 경우 언어에 관계없이 기반 지식이 탄탄한 분들이 잘 어울린다고 생각합니다. 저희 팀은 이론적으로는 가능할 것 같은데 시도하기 어려웠던 것을 실험해보고, 토론할 수 있는 환경입니다. 따라서 그런 기반 지식이 탄탄한 분, 토론을 즐기시는 분들이 저희 팀에서 즐겁게 일하실 수 있다고 생각합니다.
Q. AB180을 선택해야 하는 이유, 무엇이 있을까요?
자유로운 의견 개진과 빠른 의사 결정 등 스타트업의 장점, 큰 기업만이 가질 수 있는 많은 트래픽과 같은 장점을 동시에 갖추고 있다는 점이 차별점입니다. 또한 유능하고 따뜻한 동료들이 모여 있는 만큼, 일하면서 사람으로 인한 스트레스를 받은 적이 없다는 점도 큰 장점입니다.
AB180의 마테크, 마케팅 테크놀로지라는 도메인이 어렵고 지엽적이라고 생각하실 수 있는데, 마케팅은 사실 굉장히 일반적인 키워드이고 도메인입니다. 페이스북이나 카카오톡처럼 우리가 매일 쓰는 서비스 안에서도 마케팅 캠페인(광고)이 돌아가고 있고, 이런 기업들도 마케팅에 당면한 문제를 기술적으로 풀어 가려는 니즈가 있죠. 마테크 개발자로서의 경험은 이후 다양한 방향으로 커리어를 뻗어갈 수 있는 발판이 되리라고 생각해요.
더불어 AB180에서는 직접 개발하고 있는 에어브릿지 외에도 다양한 글로벌 마케팅 툴을 가까이에서 접할 수 있습니다. 예를 들어 Amplitude, Braze 등의 글로벌 솔루션을 직접 사용해보면서 프로덕트에 대해 깊이 이해할 수 있는데요. 이런 경험을 통해 개발자로서 더 넓은 시야를 가질 수 있고, 사이드 프로젝트를 하거나 제품을 분석하는 데에 많은 도움을 받을 수도 있습니다.
Q. 마지막으로 AB180, 그리고 DP Team에 관심 있는 미래의 동료 분들께 팁을 전해주시면 좋을 것 같습니다.
채용 관련해서 자주 받는 질문이 몇 가지 있는데, 여기서 답변해 드리면 좋을 것 같습니다.
우선 T/O가 정해져 있어 채용이 완료되면 포지션이 닫히는지 궁금해하시는 분들이 많더라구요. 저희는 좋은 분들이라면 제한 없이 계속해서 동료로 모실 계획입니다. 앞서 말씀드린 것처럼 팀원들이 좀더 여유있는 환경에서 성장하고 싶은 방향의 업무에 집중할 수 있도록 해 드리기 위함이에요.
그리고 저희 팀은 특정 개발 언어나 도구에 구애받지 않는 채용을 추구하는데요, 덕분에 다양성 있는 환경이 조성되고, 매번 새로운 도전이 생겨나고 있습니다. 팀에서 주로 사용하는 기술 스택이 있지만, 후보자 분의 백그라운드나 기존에 사용하던 기술 스택이 채용 여부에 큰 영향을 주지는 않습니다. 마찬가지로 위에 말씀드린 ‘언어에 관계없이 기반 지식이 탄탄한 분들'이 잘 어울린다는 것도 같은 맥락입니다.
10배, 100배의 트래픽에도 끄떡없는 시스템을 함께 만들어 가실 엔지니어 분들은 주저 없이 커피챗 신청 주시거나 지원해 주세요. 곧 만나뵙겠습니다!
ᴡʀɪᴛᴇʀ
Soeun Choi
Tech Recruiter @AB180
