반응형 전체 글708 모델 서빙 — TorchServe와 BentoML로 모델을 API로 만들기 AI/ML 엔지니어링 · MLOps 모델 서빙 — TorchServe와 BentoML로 모델을 API로 만들기 학습이 끝난 모델은 그 자체로는 가치를 만들지 못한다. 누군가 요청을 보내고 예측을 받을 수 있어야 비로소 서비스가 된다. 모델 서빙은 학습된 모델을 컨테이너에 담고 API로 노출해, 들어오는 요청을 받아 추론하고 결과를 돌려주는 단계다. Flask로 대충 감쌀 수도 있지만, 배칭·다중 모델·메트릭 같은 프로덕션 요구를 만나면 전용 도구가 필요해진다. 서빙 런타임과 서빙 플랫폼 먼저 용어를 정리하자. 서빙 런타임은 모델을 컨테이너로 패키징하고 추론 API를 세우는 도구(TorchServe, BentoML, Triton 등)이고, 서빙 플랫폼은 들어오는 트래픽에 맞춰 컨테이너 수를 동적으로.. 2026. 10. 19. Vertex AI — 구글 클라우드의 통합 ML 플랫폼과 제미나이 게이트웨이 AI/ML 엔지니어링 · MLOps Vertex AI — 구글 클라우드의 통합 ML 플랫폼과 제미나이 게이트웨이 Vertex AI는 SageMaker의 구글 클라우드(GCP) 대응물이다. 데이터 준비부터 학습·튜닝·배포·모니터링까지 매니지드 서비스로 묶되, 구글의 강점인 대규모 인프라와 제미나이(Gemini) 같은 파운데이션 모델로의 직접 접근을 전면에 내세운다. 전통적 ML과 생성형 AI를 하나의 플랫폼에서 다루려는 팀에게 자연스러운 선택지다. 하나의 플랫폼, 두 개의 세계 Vertex AI의 설계 의도는 '예측형 AI와 생성형 AI를 한 지붕 아래'다. 한쪽에는 표 데이터·이미지·텍스트에 대한 커스텀 모델 학습과 AutoML이 있고, 다른 쪽에는 Model Garden을 통한 파운데이션 모델 .. 2026. 10. 18. Amazon SageMaker — AWS가 통째로 묶은 매니지드 ML 라이프사이클 AI/ML 엔지니어링 · MLOps Amazon SageMaker — AWS가 통째로 묶은 매니지드 ML 라이프사이클 Kubeflow가 '직접 운영하는' 길이라면, Amazon SageMaker는 '맡기는' 길이다. 데이터 라벨링부터 학습, 튜닝, 배포, 모니터링까지 ML 라이프사이클 전 단계를 AWS 매니지드 서비스로 제공한다. 인프라 운영 부담을 없애는 대신 AWS 생태계에 깊이 들어간다는 트레이드오프 위에 서 있다. 매니지드 플랫폼이라는 발상 SageMaker의 핵심 약속은 단순하다. 쿠버네티스 클러스터를 세우거나 GPU 드라이버를 관리하거나 오토스케일링을 직접 구성할 필요 없이, API 호출 또는 SDK 몇 줄로 ML 작업을 실행한다는 것이다. 학습 작업을 제출하면 AWS가 인스턴스를 띄우.. 2026. 10. 18. Kubeflow — 쿠버네티스 위에 세우는 엔드투엔드 ML 플랫폼 AI/ML 엔지니어링 · MLOps Kubeflow — 쿠버네티스 위에 세우는 엔드투엔드 ML 플랫폼 실험 추적 도구가 '무엇을 학습했는가'를 기록한다면, Kubeflow는 '어떻게 대규모로 학습하고 서빙하는가'를 책임진다. 쿠버네티스 네이티브로 설계된 이 플랫폼은 파이프라인 오케스트레이션, 분산 학습, 하이퍼파라미터 튜닝, 모델 서빙을 하나의 생태계로 묶는다. 강력하지만 운영 부담이 따르는, 명백히 '큰 팀을 위한' 도구다. 모듈형 생태계로서의 Kubeflow Kubeflow는 단일 제품이 아니라 쿠버네티스 컨트롤 플레인 위에서 협력하는 컴포넌트들의 모음이다. 각 컴포넌트는 컨테이너화된 서비스로 독립 실행되어 장애 격리와 확장성을 보장한다. 핵심 구성은 다음과 같다. 컴포넌트역할 .. 2026. 10. 18. Weights & Biases — 실험 시각화와 협업을 무기로 삼은 AI 개발 플랫폼 AI/ML 엔지니어링 · MLOps Weights & Biases — 실험 시각화와 협업을 무기로 삼은 AI 개발 플랫폼 MLflow가 오픈소스 진영의 표준이라면, Weights & Biases(W&B)는 매끄러운 시각화와 팀 협업 경험으로 자리를 굳힌 SaaS 플랫폼이다. OpenAI·NVIDIA·Microsoft 같은 조직이 모델 개발의 기록 시스템으로 채택했고, 최근에는 LLM 애플리케이션을 위한 Weave를 더하며 전통적 ML 학습 너머로 영역을 넓혔다. 한 줄로 시작하는 실험 추적 W&B의 핵심 가치는 '낮은 진입 장벽 + 높은 시각적 완성도'다. 학습 루프에 코드 몇 줄만 넣으면, 손실 곡선·메트릭·시스템 자원 사용량이 실시간으로 대시보드에 흐른다. PyTorch, TensorFlow,.. 2026. 10. 17. MLflow — 실험 추적부터 모델 레지스트리까지, MLOps의 표준 허브 AI/ML 엔지니어링 · MLOps MLflow — 실험 추적부터 모델 레지스트리까지, MLOps의 표준 허브 머신러닝 프로젝트가 노트북 한 칸을 벗어나는 순간, "이 모델은 어떤 데이터·파라미터로 만들어졌는가"라는 질문이 따라온다. MLflow는 이 질문에 답하기 위한 오픈소스 플랫폼으로, 실험 추적·모델 패키징·레지스트리·배포를 하나의 일관된 인터페이스로 묶는다. 최근 버전에서는 LLM·에이전트 관측(observability)까지 품으면서 'AI 엔지니어링 플랫폼'으로 외연을 넓혔다. MLflow가 푸는 문제 모델 개발은 본질적으로 실험의 연속이다. 학습률을 0.01에서 0.001로 바꾸고, 피처를 추가하고, 다른 아키텍처를 시도한다. 며칠만 지나면 어떤 조합이 최고 성능을 냈는지 기억나지 않.. 2026. 10. 17. 임베딩 모델: 의미를 벡터로 번역하는 기술 AI/ML 엔지니어링 · RAG & LLM 애플리케이션 임베딩 모델: 의미를 벡터로 번역하는 기술 텍스트를 숫자 벡터로 바꿔 "의미의 거리"를 계산할 수 있게 한다. RAG의 검색 품질을 좌우하는 임베딩 모델의 원리와 선택 기준을 정리합니다. 임베딩 모델은 텍스트(또는 이미지·오디오)를 고정 길이의 숫자 벡터로 변환하는 모델입니다. 핵심은 의미가 비슷한 입력은 벡터 공간에서 가깝게, 다른 입력은 멀게 배치하는 것입니다. 이 덕분에 컴퓨터가 "고양이"와 "고양이과 동물"이 가깝다는 의미적 관계를 거리로 계산할 수 있게 됩니다. RAG에서의 역할 임베딩은 RAG 파이프라인의 출발점이자 검색 품질의 토대입니다. 문서를 청크로 나눠 각각 임베딩해 벡터 DB에 저장하고, .. 2026. 10. 17. Weaviate: 하이브리드 검색에 강한 모듈형 벡터 데이터베이스 AI/ML 엔지니어링 · RAG & LLM 애플리케이션 Weaviate: 하이브리드 검색에 강한 모듈형 벡터 데이터베이스 의미 검색과 키워드 검색을 한 번에 결합한다. 내장 벡터화와 모듈형 설계로 RAG 정확도를 끌어올리는 Weaviate를 정리합니다. Weaviate는 벡터 검색과 전통적 키워드 검색을 자연스럽게 결합하는 데 강점을 가진 오픈소스 벡터 데이터베이스입니다. 가장 큰 차별점은 네이티브 하이브리드 검색으로, 의미 기반 검색만으로는 놓치기 쉬운 정확한 키워드 일치까지 함께 잡아냅니다. 왜 하이브리드 검색인가 RAG의 검색에는 두 가지 실패 양상이 있습니다. 의미 불일치: 개념적으로는 비슷하지만 정작 필요한 내용이 아닌 청크를 가져옴. .. 2026. 10. 16. Chroma: 개발자 친화적인 임베디드 벡터 데이터베이스 AI/ML 엔지니어링 · RAG & LLM 애플리케이션 Chroma: 개발자 친화적인 임베디드 벡터 데이터베이스 몇 줄의 코드로 시작하는 가장 쉬운 벡터 DB. 프로토타이핑과 소규모 프로덕션에 최적화된 Chroma의 성격을 정리합니다. Chroma는 "개발자 경험"을 최우선으로 설계된 오픈소스 벡터 데이터베이스입니다. 복잡한 인프라 설정 없이 pip install 한 번과 몇 줄의 코드로 임베딩 저장·검색을 시작할 수 있어, RAG를 처음 배우거나 빠르게 프로토타입을 만들 때 가장 자주 선택됩니다. Chroma의 자리: 극한의 확장성보다는 학습·실험·소규모 프로덕션에 최적화되어 있습니다. 학습 곡선이 거의 없어 데이터베이스 설정이 아니라 애플리케이션 로직에 .. 2026. 10. 15. 벡터 데이터베이스: Pinecone와 Milvus로 보는 의미 검색의 기반 AI/ML 엔지니어링 · RAG & LLM 애플리케이션 벡터 데이터베이스: Pinecone와 Milvus로 보는 의미 검색의 기반 임베딩 벡터를 저장하고 "의미가 비슷한 것"을 빠르게 찾아낸다. 벡터 DB의 원리와 두 대표 주자의 성격을 정리합니다. 벡터 데이터베이스는 임베딩 벡터를 저장하고, 주어진 질의 벡터와 가장 유사한 벡터들을 빠르게 찾아주는 특화 데이터베이스입니다. 전통적 DB가 정확히 일치하는 값을 찾는다면, 벡터 DB는 의미적으로 가까운 것을 찾습니다. RAG·시맨틱 검색·추천의 핵심 인프라입니다. 왜 일반 DB로는 안 되나 임베딩은 보통 수백~수천 차원의 벡터입니다. 질의 벡터와 모든 저장 벡터의 거리를 일일이 계산하면(완전 탐색) 데이터가 수백만 .. 2026. 10. 14. LlamaIndex: 검색에 특화된 데이터 프레임워크 AI/ML 엔지니어링 · RAG & LLM 애플리케이션 LlamaIndex: 검색에 특화된 데이터 프레임워크 "문서를 LLM에 연결한다"는 한 가지 목표에 집중한 RAG 전문 프레임워크. 인덱싱과 검색의 깊이를 정리합니다. LlamaIndex는 LLM을 자신의 데이터에 연결하는 데 특화된 데이터 프레임워크입니다. LangChain이 폭넓은 오케스트레이션을 지향한다면, LlamaIndex는 문서 수집·인덱싱·검색·응답 합성이라는 RAG 파이프라인 자체를 시스템의 중심으로 삼습니다. 2026년의 위치: 순수 RAG — 문서 Q&A, 시맨틱 검색, 지식 베이스 — 에서는 LlamaIndex가 기본 선택지로 꼽힙니다. 계층적 청킹, 자동 병합, 하위 질문 분해 같은.. 2026. 10. 13. LangChain: LLM 애플리케이션을 조립하는 오케스트레이션 프레임워크 AI/ML 엔지니어링 · RAG & LLM 애플리케이션 LangChain: LLM 애플리케이션을 조립하는 오케스트레이션 프레임워크 모델 호출, 도구, 메모리, 검색을 하나의 흐름으로 엮는다. LangChain의 핵심 개념과 에이전트 시대의 LangGraph까지 정리합니다. LangChain은 대규모 언어 모델을 중심으로 한 애플리케이션을 빠르게 조립하기 위한 오케스트레이션 프레임워크입니다. 단순히 모델을 한 번 호출하는 것을 넘어, 여러 단계의 작업·외부 도구·메모리·검색을 하나의 파이프라인으로 엮는 데 초점을 둡니다. 2026년의 위치: LangChain은 폭넓은 통합과 생태계를 갖춘 범용 오케스트레이션 프레임워크로 자리 잡았습니다. 복잡한 에이전트 워크플.. 2026. 10. 12. LoRA / QLoRA: 적은 자원으로 거대 모델을 길들이기 AI/ML 엔지니어링 · 생성형 AI LoRA / QLoRA: 적은 자원으로 거대 모델을 길들이기 수십억 파라미터를 전부 학습하지 않고도 모델을 특화시킨다. 파라미터 효율적 파인튜닝의 핵심 기법을 원리부터 풀어봅니다. 전체 파인튜닝은 강력하지만 막대한 자원을 요구합니다. LoRA와 그 진화형 QLoRA는 모델의 극히 일부만 학습시켜 비슷한 효과를 내는 PEFT(파라미터 효율적 파인튜닝)의 대표 기법으로, 개인용 GPU 한 장으로도 거대 모델 튜닝을 가능케 했습니다. LoRA의 핵심 아이디어 LoRA(Low-Rank Adaptation)의 통찰은 "파인튜닝으로 일어나는 가중치 변화는 사실 낮은 차원(low-rank)으로 표현할 수 있다"는 것입니다. 원본 가중치 행.. 2026. 10. 11. 파인튜닝(Fine-tuning): 사전학습 모델을 내 과제에 맞추기 AI/ML 엔지니어링 · 생성형 AI 파인튜닝(Fine-tuning): 사전학습 모델을 내 과제에 맞추기 방대한 지식을 가진 범용 모델을 특정 작업·도메인·말투에 특화시키는 기술. 언제 필요하고 어떻게 하는지 정리합니다. 파인튜닝은 대규모로 사전학습된 모델을 가져와 특정 과제나 도메인에 맞는 추가 데이터로 다시 학습시켜 특화시키는 과정입니다. 처음부터 모델을 만드는 막대한 비용 없이, 이미 똑똑한 모델의 능력을 빌려 내 목적에 맞게 조정하는 실용적 방법입니다. 사전학습 vs 파인튜닝 사전학습은 인터넷 규모의 방대한 데이터로 언어의 일반적 패턴과 지식을 배우는 단계로, 천문학적 비용이 듭니다. 파인튜닝은 그 위에 비교적 적은 양의 목적별 데이터를 얹어 특정 행동을 .. 2026. 10. 11. 프롬프트 엔지니어링: 모델에게 제대로 묻는 기술 AI/ML 엔지니어링 · 생성형 AI 프롬프트 엔지니어링: 모델에게 제대로 묻는 기술 같은 모델도 어떻게 묻느냐에 따라 결과가 천차만별이다. 검증된 프롬프트 설계 원칙과 패턴을 체계적으로 정리합니다. 프롬프트 엔지니어링은 언어 모델에서 원하는 출력을 끌어내기 위해 입력(프롬프트)을 체계적으로 설계하는 기술입니다. 모델을 재학습하지 않고도 입력만 바꿔 성능을 크게 끌어올릴 수 있어, 생성형 AI 활용의 가장 기본이자 비용 효율적인 도구입니다. 좋은 프롬프트의 4요소 명확한 지시: 모호함을 줄이고 무엇을 원하는지 구체적으로 명시. 맥락 제공: 배경 정보, 대상 독자, 제약 조건을 함께 전달. 형식 지정: 출력 형태(목록, 표, JSON, .. 2026. 10. 11. DALL-E: 프롬프트 충실도와 ChatGPT 통합의 이미지 생성 AI/ML 엔지니어링 · 생성형 AI DALL-E: 프롬프트 충실도와 ChatGPT 통합의 이미지 생성 복잡한 지시를 정확히 따르고 ChatGPT 안에서 바로 그림을 그린다. OpenAI 이미지 생성의 계보와 현재 상황을 정리합니다. DALL-E는 OpenAI가 개발한 텍스트-이미지 생성 모델 계열입니다. 이름은 초현실주의 화가 살바도르 달리와 픽사 캐릭터 월-E를 합친 것으로, "예술과 기술의 결합"이라는 정체성을 담고 있습니다. 가장 큰 특징은 길고 복잡한 프롬프트도 정확히 따르는 높은 프롬프트 충실도와 ChatGPT 생태계와의 긴밀한 통합입니다. 중요 — 브랜드 전환: 2026년 기준 OpenAI는 DALL-E 브랜드를 정리하는 방향으로 이동했습니다. .. 2026. 10. 10. Midjourney: 예술적 완성도를 앞세운 이미지 생성 AI/ML 엔지니어링 · 생성형 AI Midjourney: 예술적 완성도를 앞세운 이미지 생성 셋업 없이 프롬프트 한 줄로 작품 같은 이미지를 뽑아낸다. 미학적 품질로 차별화된 Midjourney의 작동 방식과 활용법을 정리합니다. Midjourney는 텍스트 프롬프트로부터 이미지를 생성하는 독립 AI 서비스입니다. 가장 큰 특징은 별도의 후보정 없이도 고급 사진이나 일러스트에 가까운 미학적 완성도를 보여준다는 점입니다. 기술적 제어보다 "보기 좋은 결과"를 빠르게 원하는 사용자에게 강력한 도구입니다. 버전 현황: 2026년 6월 기준 V7이 안정 기본 모델이며, 2026년 3월 출시된 V8 알파(네이티브 2K 해상도, 약 5배 빨라진 생성 속도)와 그 개선.. 2026. 10. 10. Stable Diffusion: 오픈소스 이미지 생성의 자유 AI/ML 엔지니어링 · 생성형 AI Stable Diffusion: 오픈소스 이미지 생성의 자유 로컬에서 돌리고, 마음대로 미세조정하고, 픽셀 단위로 제어한다. 잠재 확산 모델의 원리와 오픈 생태계의 힘을 정리합니다. Stable Diffusion은 Stability AI가 공개한 오픈소스 이미지 생성 모델입니다. 클라우드에 갇힌 다른 도구들과 달리 가중치가 공개되어 있어 자신의 GPU에서 직접 실행하고, 원하는 대로 미세조정하며, ControlNet 같은 확장으로 세밀하게 제어할 수 있다는 점이 가장 큰 매력입니다. 확산 모델의 원리 Stable Diffusion은 확산(diffusion) 원리로 작동합니다. 학습 시에는 이미지에 점진적으로 노이즈를 더해 완전.. 2026. 10. 10. 이전 1 2 3 4 ··· 40 다음 반응형
