Files
HC900-Crawler/mcp-server/training/probe_8b_vs_35b_result.json
windpacer 16fc7a2598 Initial commit: HC900 Crawler
Honeywell HC900을 Modbus TCP로 직접 폴링 → gRPC → C# 크롤러 → PostgreSQL.
기존 Experion OPC UA 데이터 경로를 HC900 직접 통신으로 대체.

- industrial-comm/cpp: C++ Modbus 게이트웨이 (gRPC 서버)
- src: C# .NET 8 ASP.NET Core 크롤러 + 웹 UI (3-Layer)
- mcp-server: Python FastMCP (RAG/NL2SQL/P&ID)
- 다중 컨트롤러(N-Controller) 지원

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-03 20:28:14 +09:00

92 lines
3.2 KiB
JSON

{
"35B": [
{
"tag": "원료-invention",
"flags": [
"find_tags-first"
],
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"원료 투입 feed\\\", \\\"area\\\": \\\"P6\\\", \\\"top_k\\\": 20}\"}"
},
{
"tag": "area-형식-invention",
"flags": [],
"out": "{\"name\": \"generate_status_report\", \"arguments\": \"{\\\"area\\\": \\\"P6\\\"}\"}"
},
{
"tag": "abstain-P7",
"flags": [],
"out": "\n\nP7(7차) 플랜트는 현재 시스템에 등록되지 않은 유효하지 않은 area입니다.\n\n현재 운영 중인 유효한 플랜트 목록은 다음과 같습니다:\n- P1, P2, P3, P4, P5, P6\n- P8, P9, P10\n- UTIL, PACKING\n\n조회하고 싶은 유효한 플랜트(area)를 알려주시면 해당 플랜트의 활성 알람을 확인해 드리겠습니다."
},
{
"tag": "abstain-no-maintenance",
"flags": [
"find_tags-first"
],
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"p-6102\\\", \\\"top_k\\\": 5}\"}\n{\"name\": \"search_kb\", \"arguments\": \"{\\\"query\\\": \\\"p-6102 정비 일정\\\"}\"}"
},
{
"tag": "scaffold",
"flags": [
"find_tags-first"
],
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"ficq-6113\\\"}\"}\n{\"name\": \"active_alarms\", \"arguments\": \"{\\\"area\\\": \\\"P6\\\", \\\"limit\\\": 20}\"}"
}
],
"8B": [
{
"tag": "원료-invention",
"flags": [
"find_tags-first"
],
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"6-1차 플랜트 원료 투입\\\", \\\"area\\\": \\\"P6\\\", \\\"top_k\\\": 5}\"}"
},
{
"tag": "area-형식-invention",
"flags": [],
"out": "{\"name\": \"generate_status_report\", \"arguments\": \"{\\\"area\\\": \\\"P6\\\", \\\"hours\\\": 24}\"}"
},
{
"tag": "abstain-P7",
"flags": [],
"out": "{\"name\": \"active_alarms\", \"arguments\": \"{\\\"area\\\": \\\"P7\\\"}\"}"
},
{
"tag": "abstain-no-maintenance",
"flags": [
"find_tags-first"
],
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"p-6102\\\", \\\"area\\\": \\\"P6\\\"}\"}"
},
{
"tag": "scaffold",
"flags": [
"find_tags-first"
],
"out": "{\"name\": \"find_tags\", \"arguments\": \"{\\\"query\\\": \\\"ficq-6113\\\", \\\"area\\\": \\\"P6\\\", \\\"top_k\\\": 1}\"}"
}
],
"invention_rate": {
"35B": "0/5",
"8B": "0/5"
},
"probe_config": {
"tools_defined": 8,
"max_tokens": 2048,
"temperature": 0,
"seed": 42
},
"decision": {
"recommended_c2_base": "8B (Qwen3-8B bf16)",
"rationale": "Invention parity 0/5 both. 8B abstain gap covered by Verifier R2. 35B MoE incompatible with LoRA.",
"findings": {
"35B_invention": "0/5",
"8B_invention": "0/5",
"fake_param": "0/0",
"scaffold_5level": "0/5 both (tool-first pattern)",
"abstain_35B": "text refusal (correct)",
"abstain_8B": "R2.unknown_area catch (Verifier covers)"
},
"r6_candidate_needed": false,
"r6_note": "FAKE-param 0건. tool definitions 전달 시 두 모델 모두 clean. 추가 R6 불필요."
}
}