메뉴얼
멀티모달 / 툴 확장

외부 런타임 연결

vLLM·Ollama·MLX·LoRAX·Flower 등 실행기 URL·헬스·키를 한 화면에서 점검합니다.

풀스펙 구현 범위

ABCD 공통 — 외부 엔진은 프로브·어댑터로 묶습니다

  • Factory 프로브: GET /api/factory/probe
  • 추론 호출: lib/llm.ts — ollama / gemini / vllm/
  • 배포: deployAdapter 가 엔드포인트 ping

환경 변수 (예시)

.env.factory.example 참고

  • LEAF_VLLM_OPENAI_BASEOpenAI 호환 게이트웨이
  • LEAF_LORAX_OPENAI_BASELoRAX (선택)
  • LEAF_OLLAMA_HOST로컬 Ollama
  • LEAF_DATABASE_URLpgvector RAG (선택)

오픈소스 참고 (다운로드·설치는 각 레포)

로컬 콘솔 링크

체크리스트 (운영 전)

  1. 허브에서 vLLM·Qdrant·Postgres 슬롯이 녹색인지
  2. 방화벽 뒤 서버는 TLS 종단·API 키 회전 정책