외부 API 없이 AI를 만든다 — 바능의 온프레미스 LLM 구축 이야기

"AI를 도입하고 싶은데, 우리 데이터를 외부 서버로 보내도 되는 건가요?"

금융사·공공기관 담당자들에게 가장 많이 듣는 질문입니다. ChatGPT API, Claude API, Gemini API — 성능은 뛰어나지만, 데이터가 외부 서버를 거친다는 사실은 금융 규제 환경에서 큰 장벽이 됩니다.

바능은 이 질문에 다르게 답합니다.

"데이터를 외부로 보내지 않아도 됩니다. AI를 안으로 가져오면 됩니다."

이 글에서는 바능이 자체 GPU 서버에서 LLM을 직접 구축·운영하는 방식과, 그 과정에서 쌓은 기술적 노하우를 공유합니다.

왜 온프레미스 LLM인가

외부 API의 한계

상용 LLM API는 강력하지만, 엔터프라이즈 환경에서는 명확한 제약이 있습니다.

데이터 주권 : 입력한 프롬프트와 데이터가 외부 서버에 전송됩니다.
금융 규제 : 개인정보보호법, 신용정보법상 고객 데이터의 외부 전송 제한.
공공 보안 : 국가정보보안 기본지침에 따른 망분리 환경에서 외부 API 호출 불가.
비용 예측 불가 : 토큰 단위 과금으로 대규모 사용 시 비용 통제 어려움.
레이턴시 : 외부 API 호출에 따른 응답 지연.

바능이 주로 다루는 뱅킹·반도체·공공 도메인은 이 제약들이 모두 해당됩니다. 외부 API가 아닌 온프레미스 LLM이 선택이 아닌 필수인 이유입니다.

바능의 LLM 인프라 스택

바능은 현재 세 가지 모델을 자체 GPU 서버에서 운영하고 있습니다.

Qwen — 텍스트 생성 · 문서 분석

Alibaba가 공개한 Qwen 시리즈는 한국어 성능이 우수하고, 금융·법률 도메인 문서 처리에 강점이 있습니다.

업무 문서 요약 및 분류
금융 보고서 자동 초안 생성
코드 리뷰 및 문서화 자동화 (SK AX 개발생산성 혁신 프로젝트 적용)
RAG 기반 사내 지식 검색 엔진

DeepSeek — 코드 생성 · 기술 문서

DeepSeek-Coder는 코드 생성 벤치마크에서 GPT-4에 근접한 성능을 보입니다. 레거시 코드 분석과 자동 문서화에 특히 유용합니다.

Java · Spring Boot 레거시 코드 분석 및 현대화 가이드 생성
API 명세서 자동 작성
테스트 시나리오 및 코드 자동 생성
보안 취약점 사전 검토

Flux — 이미지 생성 · 시각화

Flux는 텍스트-이미지 생성 모델입니다. UI/UX 기획 단계에서 시각적 프로토타입을 빠르게 생성하는 데 활용합니다.

UI 컴포넌트 시각화 프로토타이핑
발주사 제안서용 이미지 자동 생성
교육 콘텐츠 삽화 생성

핵심 기술 1 — Fine-tuning (도메인 특화)

범용 LLM을 그대로 쓰면 금융·반도체·공공 도메인의 전문 용어와 맥락을 정확히 이해하지 못합니다. 바능은 각 도메인에 맞게 모델을 파인튜닝하는 방식으로 이 문제를 해결합니다.

파인튜닝 파이프라인

도메인 데이터 수집
데이터 정제 · 레이블링
Instruction Tuning (지시 학습)
RLHF / DPO (선호도 학습)
평가 · 검증
도메인 특화 모델 배포

적용 사례 — 금융 규제 문서 처리

카카오뱅크 프로젝트에서 수백 개의 금융 약관·규제 문서를 학습 데이터로 활용해 파인튜닝한 결과, 범용 모델 대비 금융 용어 정확도가 크게 향상됐습니다. "연 이율", "원리금균등상환", "중도상환수수료" 등 금융 특화 표현을 문맥에 맞게 정확히 처리합니다.

파인튜닝 시 고려 사항

데이터 품질 : 양보다 질. 잘못된 데이터 10개가 좋은 데이터 1,000개를 망칩니다.
Catastrophic Forgetting 방지 : LoRA · QLoRA 기법으로 기존 범용 능력을 유지하면서 도메인 지식 추가.
평가 지표 : BLEU · ROUGE 외에 도메인 전문가 Human Evaluation 필수.

핵심 기술 2 — RAG (검색 증강 생성)

파인튜닝이 "모델 자체를 전문가로 만드는 것"이라면, RAG(Retrieval-Augmented Generation)는 "모델에게 실시간으로 자료를 찾아주는 것"입니다.

RAG 아키텍처

사용자 질문 입력
질문 임베딩 (Embedding Model)
Vector DB 유사도 검색
관련 문서 청크 추출 (Top-K)
프롬프트 + 컨텍스트 결합
LLM 응답 생성
최종 답변 반환

바능의 Vector DB 선택

바능은 SK하이닉스·카카오뱅크 프로젝트에서 이미 Elasticsearch 8을 운영한 경험이 있어, 기존 인프라 위에 Vector 검색을 추가하는 방식으로 비용과 운영 복잡도를 낮춥니다. 순수 벡터 검색 성능이 필요한 경우 Qdrant를, PoC 단계의 빠른 프로토타이핑에는 ChromaDB를 활용합니다.

적용 사례 — 사내 지식 검색 시스템

SK AX AI기반 ITS개발생산성 혁신 프로젝트에서, 수천 개의 사내 개발 가이드·API 명세·코드 스니펫을 Vector DB에 인덱싱하고 RAG로 검색하는 시스템을 구축했습니다. 개발자가 자연어로 "Spring Boot에서 JWT 토큰 갱신 처리 방법"을 질문하면, 사내 가이드와 과거 유사 코드를 실시간으로 찾아 맥락에 맞는 답변을 생성합니다.

핵심 기술 3 — AI Agent 오케스트레이션

단일 LLM 호출을 넘어, 여러 Agent가 협력해 복잡한 업무를 처리하는 멀티 에이전트 구조를 실험 중입니다. 제안서 자동 생성을 예로 들면, 오케스트레이터 Agent가 전체를 조율하며 검색 Agent·작성 Agent·검토 Agent가 각 역할을 분담해 최종 제안서 초안을 완성합니다.

검색 Agent : 유사 프로젝트 사례, 기술 스펙 자동 수집
작성 Agent : 수집된 정보를 바탕으로 제안서 섹션별 초안 생성
검토 Agent : 생성된 초안의 일관성·규정 준수 여부 검토

보안 설계 원칙

온프레미스 LLM이라도 보안 설계 없이는 의미가 없습니다. 바능이 지키는 원칙들입니다.

데이터 격리 : 모델 추론 서버는 인터넷과 완전히 분리된 내부 네트워크에만 존재합니다. 외부 아웃바운드 트래픽을 차단합니다.
입력 검증 : 프롬프트 인젝션 공격 방지를 위한 입력값 사전 필터링. 시스템 프롬프트와 사용자 입력을 명확히 분리합니다.
출력 검증 : 모델 응답에서 PII(개인식별정보)·민감 정보 자동 감지 및 마스킹 처리.
접근 제어 : RBAC로 모델별·기능별 사용 권한 분리. 모든 API 호출에 인증 토큰 필수.
감사 로그 : 모든 LLM 요청·응답을 로깅하고, 이상 패턴 감지 시 알림 발송.

온프레미스 LLM 도입 시 자주 묻는 질문

Q. 상용 API 대비 성능이 많이 떨어지지 않나요?

범용 성능은 GPT-4 수준에 미치지 못합니다. 그러나 도메인 특화 파인튜닝 후에는 특정 업무에서 범용 모델을 능가하는 경우도 많습니다. "금융 약관 요약"이라는 좁은 태스크에서 파인튜닝된 Qwen이 범용 GPT-4보다 더 정확한 결과를 내는 것을 확인했습니다.

Q. 구축 비용이 너무 크지 않나요?

초기 GPU 서버 투자 비용이 있지만, 장기적으로는 API 과금 비용 대비 절감 효과가 있습니다. 대규모 문서 처리나 배치 작업이 많은 기업일수록 온프레미스 ROI가 빠르게 나옵니다.

Q. 모델 업데이트는 어떻게 하나요?

오픈소스 커뮤니티(Hugging Face)에서 새 버전이 출시되면 내부 테스트 후 교체합니다. 파인튜닝 데이터셋을 보유하고 있어 새 베이스 모델에 재학습하는 파이프라인을 운영합니다.

마치며

AI 도입을 고민하는 금융·공공 기관에게 "외부 API를 쓰지 않아도 됩니다"라고 말할 수 있는 것, 그게 바능의 차별점입니다.

2018년 React를 선택했을 때처럼, 우리는 지금 온프레미스 LLM이라는 더 어렵지만 더 옳은 길을 선택하고 있습니다. LLM 도입을 검토 중이신 담당자라면, 바능과 먼저 이야기해 보세요.

Tech Blog