302183c97e
- P&ID: 연결 분석 API, Prefix 규칙 관리, 카테고리 분류, DXF 그래프 빌드 - LLM: 대화 요약, tool card 영구 보존, 시계열 차트(uPlot), 에이전트 모드 - KB: 청크 미리보기, Field Instrument Inference, 인증/Qdrant 클라이언트 - MCP: 서버 기능 확장, 파이프라인 수정, timeout 개선 - Frontend: P&ID UI, LLM UI, KB UI, OPC UA Write 탭 추가 - 설정: AGENTS.md, plant_context, README, opencode.json 업데이트 - 정리: 진단 체크리스트 문서 삭제
41 lines
1.0 KiB
Bash
41 lines
1.0 KiB
Bash
#!/usr/bin/env bash
|
|
set -euo pipefail
|
|
|
|
WORKER_PORT="${1:-8001}"
|
|
|
|
echo "Starting Qwen3-8B-FP8 worker on port ${WORKER_PORT}..."
|
|
docker exec -d vllm_node sh -c "
|
|
cd /root/.cache/huggingface/hub
|
|
|
|
exec vllm serve 'Qwen/Qwen3-8B-FP8' \
|
|
--served-model-name 'Qwen3-8B-FP8' \
|
|
--max-model-len 32768 \
|
|
--max-num-seqs 8 \
|
|
--gpu-memory-utilization 0.20 \
|
|
--port '${WORKER_PORT}' \
|
|
--host 0.0.0.0 \
|
|
--enable-chunked-prefill \
|
|
--enable-auto-tool-choice \
|
|
--tool-call-parser hermes \
|
|
--trust-remote-code \
|
|
--kv-cache-dtype fp8 \
|
|
-tp 1 \
|
|
>> /tmp/qwen3-8b-worker.log 2>&1 &
|
|
"
|
|
|
|
echo "Waiting for worker to start..."
|
|
sleep 10
|
|
|
|
for i in $(seq 1 30); do
|
|
if curl -sf "http://localhost:${WORKER_PORT}/v1/models" > /dev/null 2>&1; then
|
|
echo "✓ Worker ready on port ${WORKER_PORT}"
|
|
curl -s "http://localhost:${WORKER_PORT}/v1/models" | python3 -m json.tool 2>/dev/null || true
|
|
exit 0
|
|
fi
|
|
echo " Waiting... (${i}/30)"
|
|
sleep 2
|
|
done
|
|
|
|
echo "✗ Worker failed to start. Check /tmp/qwen3-8b-worker.log"
|
|
exit 1
|