LLMOps
4 posts
여러 모델의 응답을 비교하고 권한과 사용량을 관리할 때 LLM Gateway가 맡는 역할과 도입 기준을 정리합니다.
- Updated:
AI Agent 과정을 정리합니다. LLM 기초와 프롬프트 엔지니어링에서 시작해 RAG, Evaluation, Agent 설계, Observability, Cost, Security, Fine-tuning까지 운영 가능한 AI 시스템을 만들기 위해 필요한 흐름을 되짚습니다.
- Updated:
LLM Observability는 AI Agent가 어떤 입력을 받았고, 어떤 prompt와 context로 model을 호출했으며, 어떤 retrieval과 tool 실행을 거쳐 답변을 만들었는지 추적하는 운영 체계입니다. Evaluation이 결과를 판정한다면, Observability는 그 결과가 만들어진 과정을 다...
- Updated:
RAG 파이프라인 구축 시 Golden Dataset으로 품질을 객관적으로 측정하고, PDF 로더, 청킹 전략, 임베딩 모델을 단계별로 최적화하여 신뢰성 높은 AI 시스템을 만드는 방법을 소개합니다.