데이터 엔지니어의 시선: “AI의 밥을 짓는 사람들”
AI가 밥을 먹는다면, 그 밥을 짓는 사람은 누구일까요?
요즘 ChatGPT, Claude, Gemini 같은 AI 서비스들이 넘쳐나고 있죠. 근데 저처럼 데이터 엔지니어를 준비하다 보면 자연스럽게 이런 생각이 들더라고요. “저 AI들은 도대체 어떻게 그렇게 똑똑한 거지? 그리고 나는 거기서 어떤 역할을 하게 되는 걸까?”
오늘은 그 질문에 대한 답을 같이 찾아보려고 해요. AX(AI Transformation) 시대에 데이터 엔지니어가 왜 중요한지, Garbage In Garbage Out이 뭔지, 그리고 요즘 엄청 많이 들리는 RAG가 뭔지까지. 비전공자 취준생 눈높이로 최대한 쉽게 풀어볼게요.
AI 시대, 왜 갑자기 “데이터 엔지니어”가 뜨는 걸까요?
솔직히 2~3년 전만 해도 데이터 엔지니어라는 직무가 뭔지 아는 사람이 많지 않았어요. 그냥 “개발자 중 하나겠지” 정도였죠.
근데 지금은 달라요. 기업들이 앞다퉈 AI를 도입하는 AX(AI Transformation) 시대가 되면서, AI를 잘 쓰려면 먼저 “데이터”가 잘 갖춰져 있어야 한다는 걸 모두가 깨달은 거예요.
AI는 데이터를 먹고 자라요. 사람이 밥을 먹어야 힘을 쓰듯, AI도 데이터를 먹어야 똑똑해지거든요. 그럼 그 데이터를 수집하고, 정리하고, 잘 차려내는 사람이 필요하겠죠? 그게 바로 데이터 엔지니어예요.
데이터 엔지니어 = AI의 밥을 짓는 사람
데이터 엔지니어, 실제로 뭘 하는 사람인가요?
여러분도 이런 경험 있으시죠? 요리를 하려고 냉장고를 열었는데 재료가 여기저기 흩어져 있고, 유통기한 지난 것도 있고, 뭐가 있는지도 모르는 상태.
기업의 데이터도 딱 이 상태인 경우가 많아요. 서버 여기저기에 데이터가 흩어져 있고, 중복된 데이터도 있고, 형식도 제각각이에요.
데이터 엔지니어는 이 상황을 정리하는 사람이에요. 크게 세 가지 역할을 해요.
- 수집 (Extract): 여러 곳에 흩어진 데이터를 한 곳으로 모아요
- 변환 (Transform): 제각각인 형식을 일관된 형태로 바꿔요
- 적재 (Load): 분석하거나 AI가 쓸 수 있도록 데이터 창고(웨어하우스)에 쌓아요
이 세 단계를 줄여서 ETL 파이프라인이라고 불러요. 데이터 엔지니어 취준을 시작하면 정말 자주 듣게 될 단어이니 기억해두세요.
정리: 데이터 엔지니어는 데이터를 모으고, 다듬고, 쌓는 ETL 파이프라인을 만드는 사람이에요.
Garbage In Garbage Out — 이 개념 하나가 전부를 설명해요
데이터 엔지니어를 공부하다 보면 반드시 마주치는 말이 있어요.
“Garbage In, Garbage Out”
직역하면 “쓰레기를 넣으면, 쓰레기가 나온다”예요. 처음 들었을 때 저도 “아, 당연한 말 아닌가?” 싶었어요. 근데 이게 현업에서 얼마나 중요한 개념인지 알게 되면 생각이 달라져요.
아무리 뛰어난 AI 모델을 만들어도, 학습 데이터 품질이 나쁘면 결과도 나빠요. 예를 들어볼게요.
고객 리뷰로 “이 제품이 좋은지 나쁜지” 판단하는 AI를 만든다고 해요. 근데 학습 데이터에 스팸 리뷰, 오탈자 가득한 리뷰, 전혀 관련 없는 내용이 잔뜩 섞여 있다면? AI는 그 쓰레기 데이터를 열심히 학습해서 쓰레기 같은 판단을 내리게 돼요.
반대로 말하면, AI 모델 학습 데이터의 품질을 관리하는 것이 AI 성능을 결정하는 가장 중요한 요소 중 하나라는 뜻이에요. 그래서 데이터 엔지니어의 역할이 AI 시대에 더 빛나는 거예요.
실제로 많은 AI 프로젝트가 모델 자체의 문제가 아니라 데이터 품질 문제로 실패해요. 업계에서는 “AI 프로젝트 실패의 80%는 데이터 문제”라는 말이 돌 정도예요.
정리: Garbage In Garbage Out — AI의 품질은 데이터의 품질이 결정해요. 좋은 밥 재료가 있어야 맛있는 밥이 나오는 것처럼요.
그럼 데이터 엔지니어가 어떻게 “쓰레기”를 걸러내나요?
데이터 품질 관리, 말은 쉬운데 실제론 어떻게 할까요? 현업에서는 크게 이런 작업들을 해요.
1. 결측값 처리
데이터에 빈칸이 있는 경우예요. “나이”를 수집했는데 일부 행에 값이 없다면, 그냥 두면 AI가 혼란스러워해요. 평균값으로 채우거나, 해당 행을 제거하는 식으로 처리해요.
2. 중복 제거
같은 데이터가 두 번 들어오는 경우예요. 쇼핑몰에서 같은 주문이 두 번 기록되면 AI가 “이 상품이 엄청 잘 팔리네”라고 착각할 수 있어요.
3. 형식 통일
날짜가 어떤 데이터는 “2024-01-01”, 어떤 데이터는 “01/01/2024″로 섞여 있다면 AI가 이걸 다른 값으로 인식해요. 형식을 하나로 맞춰줘야 해요.
4. 이상값(Outlier) 탐지
평균 연봉이 4,000만 원인 데이터셋에 갑자기 10억이라는 값이 들어오면 이상한 거잖아요. 이런 값이 학습에 포함되면 AI가 왜곡된 판단을 하게 돼요.
이런 작업들을 자동화해서 파이프라인으로 만드는 게 데이터 엔지니어의 핵심 업무예요.
정리: 데이터 품질 관리는 결측값 처리, 중복 제거, 형식 통일, 이상값 탐지로 구성돼요. 이걸 자동화하는 게 진짜 실력이에요.
RAG가 뭔지 아직 모르신다면, 지금 바로 알아두세요
요즘 데이터 엔지니어 직무 공고나 기술 블로그를 보면 RAG라는 단어가 자주 등장해요. Retrieval-Augmented Generation, 검색 증강 생성이라고 불려요.
이름이 무섭게 생겼지만 개념은 생각보다 직관적이에요.
ChatGPT 써보셨죠? 근데 가끔 이런 경험 하셨을 거예요. “우리 회사 내부 규정에 대해 알려줘”라고 물으면 ChatGPT가 엉뚱한 말을 하거나 “모르겠다”고 해요. 당연하죠. ChatGPT는 우리 회사 내부 문서를 본 적이 없으니까요.
그럼 어떻게 해야 할까요? 두 가지 방법이 있어요.
방법 1: 회사 문서를 전부 AI에게 다시 학습시킨다 → 비용이 엄청 많이 들고, 데이터가 바뀔 때마다 또 학습해야 해요.
방법 2 (RAG): AI가 대답하기 전에 관련 문서를 먼저 검색해서 “참고 자료”로 같이 넘겨준다 → 훨씬 효율적이에요!
쉽게 말하면 이래요. 시험을 볼 때 모든 걸 외우는 게 아니라, 오픈북 시험처럼 필요한 자료를 찾아보면서 대답하는 방식이에요. AI가 “검색 + 생성”을 동시에 하는 거죠.
RAG의 3단계 흐름을 간단히 보면요:
- 문서 저장: 회사 내부 문서, 매뉴얼 등을 벡터 데이터베이스에 저장해요
- 검색: 사용자가 질문하면 관련 문서를 빠르게 찾아와요
- 생성: AI가 찾아온 문서를 참고해서 정확한 답변을 만들어요
그럼 데이터 엔지니어는 여기서 뭘 할까요? 바로 1단계예요. 문서가 잘 검색될 수 있도록 데이터를 잘 정리하고 저장하는 파이프라인을 만드는 거예요. 결국 여기서도 Garbage In Garbage Out이 적용돼요. 저장된 문서 데이터가 엉망이면 AI가 엉뚱한 문서를 참고해서 틀린 답변을 내놓게 되거든요.
정리: RAG는 AI가 답변하기 전에 관련 문서를 검색해서 참고하는 방식이에요. 데이터 엔지니어는 그 검색이 잘 되도록 데이터 파이프라인을 만들어요.
비전공자 데이터 엔지니어 취준생에게 드리는 한 마디
저도 비전공자로 데이터 엔지니어를 준비하면서 처음엔 막막했어요. “나 같은 사람이 이걸 할 수 있을까?” 싶기도 했고요.
근데 공부하면 할수록 느끼는 건, 데이터 엔지니어링의 핵심 개념들은 생각보다 논리적이고 직관적이에요. Garbage In Garbage Out처럼 “좋은 재료가 있어야 좋은 결과가 나온다”는 당연한 원리에서 출발하거든요.
AX 시대에 기업들은 AI를 잘 쓰고 싶어해요. 그러려면 데이터가 잘 갖춰져야 해요. 그 데이터를 잘 갖춰주는 사람이 데이터 엔지니어예요. 수요는 분명히 있어요.
비전공자라서 코딩이 익숙하지 않아도, 지금 이 개념들을 이해하고 있다는 것 자체가 시작이에요. AI의 밥을 짓는 사람, 한번 같이 도전해봐요.