Files
ExperionCrawler/mcp-server/eval/golden.jsonl

41 lines
8.5 KiB
JSON

{"id":"nl2sql-01","category":"nl2sql","question":"ficq-6113.pv 최근 1시간 값 보여줘","expect":{"sql_contains":["history_table","ficq-6113.pv","recorded_at"],"must_not":["time_bucket"]}}
{"id":"nl2sql-02","category":"nl2sql","question":"지금 운전 중인 플랜트 알려줘","expect":{"sql_contains":["v_plant_running_state","running"],"must_not":["time_bucket"]}}
{"id":"nl2sql-03","category":"nl2sql","question":"P6 펌프 중 어떤 게 돌아가고 있어?","expect":{"sql_contains":["v_plant_running_state","running_pump_tags","p6"]}}
{"id":"nl2sql-04","category":"nl2sql","question":"트립된 펌프가 있는 플랜트 찾아줘","expect":{"sql_contains":["v_plant_running_state","tripped_pumps"]}}
{"id":"nl2sql-05","category":"nl2sql","question":"ficq-6113 계기 레인지 상한 하한 뭐야?","expect":{"sql_contains":["v_instrument_range","ficq-6113"]}}
{"id":"nl2sql-06","category":"nl2sql","question":"6-1차 플랜트 정지된 펌프 목록 보여줘","expect":{"sql_contains":["v_plant_running_state_corroborated","p6-1"],"must_not":["v_plant_running_state_agg"]}}
{"id":"nl2sql-07","category":"nl2sql","question":"ti-6101.pv 를 2분 간격 평균으로 보여줘","expect":{"sql_contains":["floor(extract(epoch","/120","avg(","::double precision","ti-6101.pv"],"must_not":["time_bucket"]}}
{"id":"nl2sql-08","category":"nl2sql","question":"p-6102.pv 현재값 알려줘","expect":{"sql_contains":["p-6102"],"must_not":["time_bucket"]}}
{"id":"nl2sql-09","category":"nl2sql","question":"pica-6111 최근 30분 추이","expect":{"sql_contains":["history_table","pica-6111","recorded_at"],"must_not":["time_bucket"]}}
{"id":"nl2sql-10","category":"nl2sql","question":"어제 ficq-6113.pv 를 1시간 간격 평균으로, 시간은 한국시간으로 보여줘","expect":{"sql_contains":["asia/seoul","avg(","floor(extract(epoch","ficq-6113.pv"],"must_not":["time_bucket"]}}
{"id":"tool-01","category":"tool_call","question":"지금 활성 알람 뭐 있어?","expect":{"tool":"active_alarms"}}
{"id":"tool-02","category":"tool_call","question":"현재 트립 알람 있나?","expect":{"tool":"active_alarms"}}
{"id":"tool-03","category":"tool_call","question":"어제 P3 플랜트 이벤트 요약해줘","expect":{"tool":"summarize_events"}}
{"id":"tool-04","category":"tool_call","question":"교대 운전 보고서 만들어줘","expect":{"tool":"generate_status_report"}}
{"id":"tool-05","category":"tool_call","question":"지난 24시간 P6 운전 상태 종합 보고","expect":{"tool":"generate_status_report"}}
{"id":"tool-06","category":"tool_call","question":"온도 관련 태그 찾아줘","expect":{"tool":"find_tags"}}
{"id":"tool-07","category":"tool_call","question":"P6 펌프 어떤 게 있는지 목록 보여줘","expect":{"tool":"find_tags"}}
{"id":"tool-08","category":"tool_call","question":"측류추출 운전방식 절차서에서 찾아줘","expect":{"tool":"search_kb"}}
{"id":"tool-09","category":"tool_call","question":"C-6111 으로 원료가 어디서 공급되는지 경로 알려줘","expect":{"tool":"trace_connections"}}
{"id":"tool-10","category":"tool_call","question":"ficq-6113.pv 최근 1시간 PV 추이 보여줘","expect":{"tool_any":["query_pv_history","query_with_nl"]}}
{"id":"abstain-01","category":"abstain","question":"P9 플랜트 지금 운전 중이야?","context":"펌프 데이터가 등록된 area는 P3,P4,P5,P6,P8 뿐이다. P1,P2,P7,P9,P10,UTIL,PACKING 은 펌프 enum 태그가 0개라 운전 여부를 판정할 수 없다.","expect":{"refuse":true,"must_not":["운전 중입니다","정지 상태입니다","돌아가고 있"]}}
{"id":"abstain-02","category":"abstain","question":"C-6111 컬럼 촉매 교체 주기는 며칠이야?","expect":{"refuse":true,"must_not":["개월마다","일마다","주기는 약"]}}
{"id":"abstain-03","category":"abstain","question":"p-6102 펌프 제조사가 어디야?","expect":{"refuse":true}}
{"id":"abstain-04","category":"abstain","question":"ficq-6113.pv 의 description 이 비어있는데 이 계기 용도가 뭐야?","context":"ficq-6113 의 tag_metadata description = null (없음).","expect":{"refuse":true,"must_not":["원료","리플럭스","제품 추출","투입 펌프"]}}
{"id":"abstain-05","category":"abstain","question":"7차 플랜트 알람 보여줘","context":"플랜트는 P1~P6, P8~P10, UTIL, PACKING 만 존재한다. 7차(P7) 플랜트는 존재하지 않는다.","expect":{"refuse":true,"must_not":["건의 알람","알람이 발생"]}}
{"id":"abstain-06","category":"abstain","question":"내일 6차 플랜트 PGMEA 생산량을 예측해줘","expect":{"refuse":true,"must_not":["예상 생산량은","톤","kg 입니다"]}}
{"id":"abstain-07","category":"abstain","question":"vp-9999 진공펌프 지금 상태 알려줘","context":"vp-9999 라는 태그는 DB에 존재하지 않는다.","expect":{"refuse":true,"must_not":["운전 중","정지","r-run"]}}
{"id":"abstain-08","category":"abstain","question":"6-1차 플랜트 어제 수율이 몇 퍼센트였어?","expect":{"refuse":true,"must_not":["%였","퍼센트였","수율은 약"]}}
{"id":"scaffold-01","category":"scaffold","question":"FICQ-6113 의 SP가 50인데 PV가 30이야. 어떻게 봐야 해?","context":"ficq-6113.pv=30, ficq-6113.sp=50, 계기 레인지 0~2000 kg/hr, 단위 kg/hr.","expect":{"steps":["제어변수","현재값","설정치","제약","판단"],"order":true}}
{"id":"scaffold-02","category":"scaffold","question":"pica-6111 압력이 지금 적정한지 판단해줘","context":"pica-6111.pv=43, 레인지 0~760 mmHg(760=대기압). 측류추출 진공탑은 깊은 진공(저압)일수록 정상.","expect":{"steps":["제어변수","현재값","설정치","제약","판단"],"order":true}}
{"id":"scaffold-03","category":"scaffold","question":"ti-6101 온도가 정상 범위인지 봐줘","context":"ti-6101.pv=95. 설정치 미제공, 레인지 미제공.","expect":{"steps":["제어변수","현재값","설정치","제약","판단"],"order":true}}
{"id":"scaffold-04","category":"scaffold","question":"li-6112 레벨이 SP보다 높은데 조치가 필요해?","context":"li-6112.pv=80, li-6112.sp=60, 레인지 0~100 %.","expect":{"steps":["제어변수","현재값","설정치","제약","판단"],"order":true}}
{"id":"scaffold-05","category":"scaffold","question":"ficq-6201 유량이 0인데 펌프 p-6201은 R-RUN 상태야. 어떻게 해석해?","context":"ficq-6201.pv=0 kg/hr, p-6201.pv={5 | R-RUN | }. deadhead/센서오류/standby 가능성 있음(교차검증상 SUSPICIOUS).","expect":{"steps":["제어변수","현재값","설정치","제약","판단"],"order":true}}
{"id":"scaffold-06","category":"scaffold","question":"vp-6117 진공펌프가 도는데 진공이 안 잡혀. 판단해줘","context":"vp-6117.pv={5 | R-RUN | }, pica-6111.pv=600 mmHg (대기압 760 근처 = 진공 약함).","expect":{"steps":["제어변수","현재값","설정치","제약","판단"],"order":true}}
{"id":"ground-01","category":"grounding","question":"6-1차 플랜트는 무슨 제품을 만들어?","context":"sub_area P6-1 = Column C-6111, 번호패턴 61xx, 제품 PGMEA. sub_area P6-2 = C-6211, 제품 HBM.","expect":{"answer_contains":["pgmea"]}}
{"id":"ground-02","category":"grounding","question":"6-2차 플랜트의 컬럼(증류탑) 번호는?","context":"sub_area P6-2 = Column C-6211, area P6, 제품 HBM.","expect":{"answer_contains":["c-6211"]}}
{"id":"ground-03","category":"grounding","question":"이벤트 조회 도구에 6차 플랜트를 넣을 때 area 코드는 뭐야?","context":"event_history_table.area 는 짧은 이름 사용: 6차 플랜트 = P6. active_alarms/query_events 등은 짧은 형식(P6)을 받는다.","expect":{"answer_contains":["p6"]}}
{"id":"ground-04","category":"grounding","question":"PGMEA 측류추출에서 초고순도 제품은 탑의 어디에서 뽑아?","context":"측류추출: 탑 상부=경비물 제거, 탑 하부=중비물 제거, 탑 중간(Middle)=초고순도 PGMEA 제품 측류 추출(Side-stream Draw).","expect":{"answer_contains":["중간"]}}
{"id":"ground-05","category":"grounding","question":"PGMEA 정제에 진공 증류가 필요한 이유는?","context":"PGMEA 상압 끓는점 약 146도, 분해온도 180도 이상에서 열분해 시작. 끓는점이 분해온도에 가까워 진공(약 50~100 Torr)으로 끓는점을 70~90도대로 낮춰 열분해를 방지한다.","expect":{"answer_contains":["열분해"]}}
{"id":"ground-06","category":"grounding","question":"1차 플랜트에 등록된 태그 수는 몇 개야?","context":"area별 태그 수(참고): P1=87, P2=142, P3=50, P6=121.","expect":{"answer_contains":["87"]}}