使用vllm部署
 
 

1 lines
48 B

gunicorn flask_predict:app -c gunicorn_config.py