5cacc5dbb5
- mcp-server: 하드코딩된 모델명을 llm-model.json 기반 config.py로 외부화 - C#: AppendPointsAsync로 기존 데이터 유지하면서 포인트 추가 - C#: LlmConfigController로 LLM 모델명 조회/저장 API - Frontend: LLM 설정 UI 카드 + 포인트 빌더에서 추가하기 버튼
22 lines
552 B
Python
22 lines
552 B
Python
import json
|
|
import os
|
|
|
|
_SERVER_DIR = os.path.dirname(os.path.abspath(__file__))
|
|
_MODEL_FILE = os.path.join(_SERVER_DIR, "llm-model.json")
|
|
|
|
_DEFAULT_MODEL = "Qwen3.6-27B-FP8"
|
|
|
|
|
|
def get_vllm_model() -> str:
|
|
env = os.environ.get("VLLM_MODEL")
|
|
if env:
|
|
return env
|
|
if not os.path.isfile(_MODEL_FILE):
|
|
return _DEFAULT_MODEL
|
|
try:
|
|
with open(_MODEL_FILE, "r", encoding="utf-8") as f:
|
|
data = json.load(f)
|
|
return data.get("vllm_model", _DEFAULT_MODEL)
|
|
except Exception:
|
|
return _DEFAULT_MODEL
|