 Qwen3.6-35B-A3B FP8 

 추론 프레임워크
vLLM, SGLang, KTransformers, Hugging Face Transformers 지원 

권장 실행 설정 (vLLM 기준)
DGX Spark 단일 시스템에서 최적 성능을 위한 예시 명령어입니다 

vllm serve Qwen/Qwen3.6-35B-A3B-FP8 \
  --host 0.0.0.0 --port 8000 \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.7 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --reasoning-parser qwen3 \
  --load-format fastsafetensors \
  --kv-cache-dtype fp8 \
  --attention-backend flashinfer \
  --default-chat-template-kwargs '{"preserve_thinking": true}'

⚡ 성능 참고사항
컨텍스트 길이: 기본 262,144 토큰 지원 (YaRN 기법으로 최대 ~100만 토큰 확장 가능) 
huggingface.co
메모리 효율: FP8 양자화로 인해 35B 모델도 128GB 통합 메모리 내에서 원활 실행 가능 
satgeo.blog
실제 벤치마크: DGX Spark 단일 시스템에서 ~50 tokens/sec 수준의 안정적인 추론 속도 보고됨

vLLM 버전: 최신 nightly 빌드 또는 vllm>=0.19.0 권장 (FP8 및 GB10 지원 필수) 
huggingface.co
Docker 환경: ./build-and-copy.sh --tf5 스크립트로 TF5 호환 컨테이너 빌드 권장 
NVIDIA
Hugging Face 접근: 모델 다운로드 전 Hugging Face 에서 이용약관 동의 및 API 토큰 설정 필요