11 lines
1.1 KiB
JSON
11 lines
1.1 KiB
JSON
{
|
|
"_comment": "로컬 보유 모델 사다리. :8001에 한 번에 하나만 띄우는 환경이면 현재 서빙 중인 rung만 --model 로 단건 실행 권장(결과는 results/에 모델명으로 쌓임). model 값은 vLLM --served-model-name 과 일치해야 함.",
|
|
"_criteria": "지시이행 우선, 자기주장 약함, 코딩 무관, dense(LoRA 깨끗) + 빠름 선호.",
|
|
"models": [
|
|
{ "name": "qwen2.5-7b-instruct", "base_url": "http://localhost:8001/v1", "model": "Qwen2.5-7B-Instruct", "note": "1순위: dense 7B, 순수 instruct(사고모드 없음), 자기주장 약함" },
|
|
{ "name": "qwen3-8b", "base_url": "http://localhost:8001/v1", "model": "Qwen3-8B", "note": "dense 8B, 한국어 약간↑. thinking OFF 권장(enable_thinking=false)" },
|
|
{ "name": "qwen3.6-27b", "base_url": "http://localhost:8001/v1", "model": "Qwen3.6-27B-FP8", "note": "천장(dense, 느림)" },
|
|
{ "name": "qwen3.6-35b-a3b", "base_url": "http://localhost:8001/v1", "model": "Qwen3.6-35B-A3B-FP8", "note": "천장(MoE, 빠름, LoRA 취약)" }
|
|
]
|
|
}
|