302183c97e
- P&ID: 연결 분석 API, Prefix 규칙 관리, 카테고리 분류, DXF 그래프 빌드 - LLM: 대화 요약, tool card 영구 보존, 시계열 차트(uPlot), 에이전트 모드 - KB: 청크 미리보기, Field Instrument Inference, 인증/Qdrant 클라이언트 - MCP: 서버 기능 확장, 파이프라인 수정, timeout 개선 - Frontend: P&ID UI, LLM UI, KB UI, OPC UA Write 탭 추가 - 설정: AGENTS.md, plant_context, README, opencode.json 업데이트 - 정리: 진단 체크리스트 문서 삭제
20 lines
592 B
Bash
20 lines
592 B
Bash
docker run -d --name vllm_gemma4 \
|
|
--restart unless-stopped \
|
|
--gpus all --network host --ipc host \
|
|
--ulimit memlock=-1 --ulimit stack=67108864 \
|
|
--entrypoint "" \
|
|
vllm-node-tf5 \
|
|
bash -c "
|
|
exec vllm serve RedHatAI/gemma-4-26B-A4B-it-FP8-Dynamic \
|
|
--max-model-len 65536 \
|
|
--gpu-memory-utilization 0.4 \
|
|
--port 8001 --host 0.0.0.0 \
|
|
--enable-prefix-caching \
|
|
--override-generation-config '{\"temperature\": 0.2}' \
|
|
--enable-auto-tool-choice --tool-call-parser gemma4 \
|
|
--reasoning-parser gemma4 \
|
|
--kv-cache-dtype fp8 \
|
|
--max-num-batched-tokens 8192 \
|
|
-tp 1
|
|
"
|