92 lines
3.2 KiB
JSON
92 lines
3.2 KiB
JSON
{
|
|
"35B": [
|
|
{
|
|
"tag": "원료-invention",
|
|
"flags": [
|
|
"find_tags-first"
|
|
],
|
|
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"원료 투입 feed\\\", \\\"area\\\": \\\"P6\\\", \\\"top_k\\\": 20}\"}"
|
|
},
|
|
{
|
|
"tag": "area-형식-invention",
|
|
"flags": [],
|
|
"out": "{\"name\": \"generate_status_report\", \"arguments\": \"{\\\"area\\\": \\\"P6\\\"}\"}"
|
|
},
|
|
{
|
|
"tag": "abstain-P7",
|
|
"flags": [],
|
|
"out": "\n\nP7(7차) 플랜트는 현재 시스템에 등록되지 않은 유효하지 않은 area입니다.\n\n현재 운영 중인 유효한 플랜트 목록은 다음과 같습니다:\n- P1, P2, P3, P4, P5, P6\n- P8, P9, P10\n- UTIL, PACKING\n\n조회하고 싶은 유효한 플랜트(area)를 알려주시면 해당 플랜트의 활성 알람을 확인해 드리겠습니다."
|
|
},
|
|
{
|
|
"tag": "abstain-no-maintenance",
|
|
"flags": [
|
|
"find_tags-first"
|
|
],
|
|
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"p-6102\\\", \\\"top_k\\\": 5}\"}\n{\"name\": \"search_kb\", \"arguments\": \"{\\\"query\\\": \\\"p-6102 정비 일정\\\"}\"}"
|
|
},
|
|
{
|
|
"tag": "scaffold",
|
|
"flags": [
|
|
"find_tags-first"
|
|
],
|
|
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"ficq-6113\\\"}\"}\n{\"name\": \"active_alarms\", \"arguments\": \"{\\\"area\\\": \\\"P6\\\", \\\"limit\\\": 20}\"}"
|
|
}
|
|
],
|
|
"8B": [
|
|
{
|
|
"tag": "원료-invention",
|
|
"flags": [
|
|
"find_tags-first"
|
|
],
|
|
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"6-1차 플랜트 원료 투입\\\", \\\"area\\\": \\\"P6\\\", \\\"top_k\\\": 5}\"}"
|
|
},
|
|
{
|
|
"tag": "area-형식-invention",
|
|
"flags": [],
|
|
"out": "{\"name\": \"generate_status_report\", \"arguments\": \"{\\\"area\\\": \\\"P6\\\", \\\"hours\\\": 24}\"}"
|
|
},
|
|
{
|
|
"tag": "abstain-P7",
|
|
"flags": [],
|
|
"out": "{\"name\": \"active_alarms\", \"arguments\": \"{\\\"area\\\": \\\"P7\\\"}\"}"
|
|
},
|
|
{
|
|
"tag": "abstain-no-maintenance",
|
|
"flags": [
|
|
"find_tags-first"
|
|
],
|
|
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"p-6102\\\", \\\"area\\\": \\\"P6\\\"}\"}"
|
|
},
|
|
{
|
|
"tag": "scaffold",
|
|
"flags": [
|
|
"find_tags-first"
|
|
],
|
|
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"ficq-6113\\\", \\\"area\\\": \\\"P6\\\", \\\"top_k\\\": 1}\"}"
|
|
}
|
|
],
|
|
"invention_rate": {
|
|
"35B": "0/5",
|
|
"8B": "0/5"
|
|
},
|
|
"probe_config": {
|
|
"tools_defined": 8,
|
|
"max_tokens": 2048,
|
|
"temperature": 0,
|
|
"seed": 42
|
|
},
|
|
"decision": {
|
|
"recommended_c2_base": "8B (Qwen3-8B bf16)",
|
|
"rationale": "Invention parity 0/5 both. 8B abstain gap covered by Verifier R2. 35B MoE incompatible with LoRA.",
|
|
"findings": {
|
|
"35B_invention": "0/5",
|
|
"8B_invention": "0/5",
|
|
"fake_param": "0/0",
|
|
"scaffold_5level": "0/5 both (tool-first pattern)",
|
|
"abstain_35B": "text refusal (correct)",
|
|
"abstain_8B": "R2.unknown_area catch (Verifier covers)"
|
|
},
|
|
"r6_candidate_needed": false,
|
|
"r6_note": "FAKE-param 0건. tool definitions 전달 시 두 모델 모두 clean. 추가 R6 불필요."
|
|
}
|
|
} |