【vLLM推理问题】在AMD mi308x推理结果异常，车轱辘话

[lifuzhen1024]

用Kimi-K2-Instruct-0905本地推理结果不符合预期。
推理框架为ms-swift，结果异常，如下：
{
"response": "你好！我是 Kimi，很高兴见到你！我是 Kim，很高兴见到你Kim，我是 Kimi你好，很高兴认识你！我是 Moonshot我是 kimi**，很高兴见到你～ \n“你好～很高兴见到你 ——中文名，我是 KimiShot（或中文名我是 Moonshot \n我 Kimi 月之友月之面我，我是 Kimmi～kimi，我是 kimi**，我是中文Kimmi，一个由月之月之月之月之助手 \n\n——很高兴在，月之 \n很高兴认识你月之是 亮Kimi，由月之友能帮助你Moonshot 很高兴来和 问： \n\n你！有作之kimi，亮**： \n如果你有任何问题（Kimi**。 \n我是kimi，之叫Kini的你见以中文！ \n\n我是kimi 和中文名 Kimi月！ \n\n我是之kimi：*哦之 Kimi kimi，月kimi**，位智能我是 很高兴见到你（有时月之己很高兴为！ \n很高兴为你： \n\n我是** \n很高兴认识你你kimi我的名字～月之叫 Kimikmini** \n\n你好！很高兴。 \n\n哦！月亮** \n\n**",
"labels": "",
"logprobs": null,
"messages":
[
{
"role": "user",
"content": "你好，你是谁？",
"loss": null
},
{
"role": "assistant",
"content": "你好！我是 Kimi，很高兴见到你！我是 Kim，很高兴见到你Kim，我是 Kimi你好，很高兴认识你！我是 Moonshot我是 kimi**，很高兴见到你～ \n“你好～很高兴见到你 ——中文名，我是 KimiShot（或中文名我是 Moonshot \n我 Kimi 月之友月之面我，我是 Kimmi～kimi，我是 kimi**，我是中文Kimmi，一个由月之月之月之月之助手 \n\n——很高兴在，月之 \n很高兴认识你月之是 亮Kimi，由月之友能帮助你Moonshot 很高兴来和 问： \n\n你！有作之kimi，亮**： \n如果你有任何问题（Kimi**。 \n我是kimi，之叫Kini的你见以中文！ \n\n我是kimi 和中文名 Kimi月！ \n\n我是之kimi：*哦之 Kimi kimi，月kimi**，位智能我是 很高兴见到你（有时月之己很高兴为！ \n很高兴为你： \n\n我是** \n很高兴认识你你kimi我的名字～月之叫 Kimikmini** \n\n你好！很高兴。 \n\n哦！月亮** \n\n**"
}
]
}

pip list如下：
Package Version

---

absl-py 2.3.1
accelerate 1.7.0
addict 2.4.0
aiofiles 24.1.0
aiohappyeyeballs 2.6.1
aiohttp 3.12.15
aiosignal 1.4.0
aiter 0.1.5.dev95+g6a4e6e358
aliyun-python-sdk-core 2.16.0
aliyun-python-sdk-core-v3 2.13.33
aliyun-python-sdk-kms 2.16.5
amdsmi 26.0.0+37d158ab
annotated-types 0.7.0
antlr4-python3-runtime 4.9.3
anyio 4.11.0
argon2-cffi 25.1.0
argon2-cffi-bindings 25.1.0
astor 0.8.1
asttokens 3.0.1
attrdict 2.0.1
attrs 25.3.0
audioread 3.1.0
av 16.0.1
babel 2.17.0
beautifulsoup4 4.14.2
binpacking 1.5.2
blake3 1.0.6
bleach 6.3.0
blinker 1.4
blobfile 3.1.0
boto3 1.40.39
botocore 1.40.39
brotli 1.2.0
build 1.3.0
cachetools 6.2.0
cbor2 5.7.0
certifi 2025.8.3
cffi 2.0.0
charset-normalizer 3.4.3
click 8.3.0
cloudpickle 3.1.1
cmake 3.31.6
comm 0.2.3
compressed-tensors 0.11.0
conch-triton-kernels 1.2.1
contourpy 1.3.3
cpm-kernels 1.0.11
crcmod 1.7
cryptography 3.4.8
cupy-cuda12x 13.6.0
cycler 0.12.1
Cython 3.1.4
dacite 1.9.2
datasets 3.6.0
dbus-python 1.2.18
debugpy 1.8.17
decorator 5.2.1
defusedxml 0.7.1
depyf 0.19.0
dill 0.3.8
diskcache 5.6.3
distro 1.7.0
distro-info 1.1+ubuntu0.2
dnspython 2.8.0
docstring_parser 0.17.0
einops 0.8.1
email-validator 2.3.0
executing 2.2.1
fastapi 0.117.1
fastapi-cli 0.0.13
fastapi-cloud-cli 0.2.1
fastjsonschema 2.21.2
fastrlock 0.8.3
ffmpy 1.0.0
filelock 3.19.1
fire 0.7.1
flash_attn 2.8.3
fonttools 4.60.1
frozendict 2.4.6
frozenlist 1.7.0
fsspec 2025.3.0
future 1.0.0
gguf 0.17.1
gitdb 4.0.12
GitPython 3.1.45
Glances 4.4.1
gradio 5.31.0
gradio_client 1.10.1
groovy 0.1.2
grpcio 1.76.0
h11 0.16.0
hf-xet 1.1.10
hiredis 3.2.1
httpcore 1.0.9
httplib2 0.20.2
httptools 0.6.4
httpx 0.28.1
huggingface-hub 0.35.1
humanize 4.13.0
idna 3.10
importlib-metadata 4.6.4
iniconfig 2.1.0
inotify 0.2.12
inquirerpy 0.3.4
interegular 0.3.3
ipykernel 7.1.0
ipython 9.7.0
ipython-genutils 0.2.0
ipython_pygments_lexers 1.1.1
jedi 0.19.2
jeepney 0.7.1
jieba 0.42.1
Jinja2 3.1.6
jiter 0.11.0
jmespath 0.10.0
joblib 1.5.2
json_repair 0.54.1
json5 0.12.1
jsonschema 4.25.1
jsonschema-specifications 2025.9.1
jupyter_client 8.6.3
jupyter_core 5.9.1
jupyter-server 1.2.2
jupyterlab_pygments 0.3.0
jupyterlab_server 2.28.0
keyring 23.5.0
kiwisolver 1.4.9
lark 1.2.2
launchpadlib 1.10.16
lazr.restfulclient 0.14.4
lazr.uri 1.0.6
lazy_loader 0.4
libnacl 2.1.0
librosa 0.11.0
llamafactory 0.9.3
llguidance 0.7.30
llvmlite 0.44.0
lm-format-enforcer 0.11.3
lxml 6.0.2
Markdown 3.10
markdown-it-py 4.0.0
MarkupSafe 3.0.2
matplotlib 3.10.7
matplotlib-inline 0.2.1
mdurl 0.1.2
mistral_common 1.8.5
mistune 3.1.4
modelscope 1.32.0
more-itertools 8.10.0
mpmath 1.3.0
ms_swift 3.10.1
msgpack 1.1.1
msgspec 0.19.0
multidict 6.6.4
multiprocess 0.70.16
nbclassic 0.2.6
nbclient 0.10.2
nbconvert 7.16.6
nbformat 5.10.4
nebula-jupyterlab 3.0.5.15
nebula-notebook-agent 0.1.16
nebulactl 1.1.20
nest-asyncio 1.6.0
networkx 3.5
ninja 1.13.0
nltk 3.9.2
notebook 6.4.13
numba 0.61.2
numpy 1.26.4
oauthlib 3.2.0
omegaconf 2.3.0
openai 1.109.1
openai-harmony 0.0.4
opencv-python-headless 4.12.0.88
orjson 3.11.4
oss2 2.9.1
outlines_core 0.2.11
packaging 25.0
pandas 2.3.2
pandocfilters 1.5.1
parso 0.8.5
partial-json-parser 0.2.1.1.post6
peft 0.15.2
pexpect 4.9.0
pfzy 0.3.4
pillow 11.3.0
pip 25.2
platformdirs 4.5.0
pluggy 1.6.0
pooch 1.8.2
prettytable 3.17.0
prometheus_client 0.23.1
prometheus-fastapi-instrumentator 7.1.0
prompt_toolkit 3.0.52
propcache 0.3.2
protobuf 6.32.1
psutil 7.1.0
ptyprocess 0.7.0
pure_eval 0.2.3
py-cpuinfo 9.0.0
pyarrow 21.0.0
pybase64 1.4.2
pybind11 2.13.6
pycountry 24.6.1
pycparser 2.23
pycryptodome 3.23.0
pycryptodomex 3.23.0
pydantic 2.10.6
pydantic_core 2.27.2
pydantic-extra-types 2.10.5
pydantic-settings 2.12.0
pydub 0.25.1
Pygments 2.19.2
PyGObject 3.42.1
PyJWT 2.3.0
pyparsing 3.2.5
pyproject_hooks 1.2.0
pytest 8.4.2
pytest-asyncio 1.2.0
python-apt 2.4.0+ubuntu4
python-dateutil 2.9.0.post0
python-dotenv 1.1.1
python-json-logger 3.3.0
python-multipart 0.0.20
pytz 2025.2
PyYAML 6.0.3
pyzmq 27.1.0
ray 2.49.2
redis 6.4.0
referencing 0.36.2
regex 2025.9.18
requests 2.32.5
requests-unixsocket2 0.4.2
rich 14.1.0
rich-toolkit 0.15.1
rignore 0.6.4
rouge 1.0.1
rpds-py 0.27.1
ruff 0.14.6
runai-model-streamer 0.11.0
runai-model-streamer-s3 0.11.0
s3transfer 0.14.0
safehttpx 0.1.7
safetensors 0.6.2
scikit-learn 1.7.2
scipy 1.16.2
SecretStorage 3.3.1
semantic-version 2.10.0
Send2Trash 1.8.3
sentencepiece 0.2.1
sentry-sdk 2.39.0
setproctitle 1.3.7
setuptools 80.9.0
setuptools-scm 9.2.0
shellingham 1.5.4
shtab 1.8.0
simplejson 3.20.2
six 1.17.0
smmap 5.0.2
sniffio 1.3.1
sortedcontainers 2.4.0
soundfile 0.13.1
soupsieve 2.8
soxr 1.0.0
sse-starlette 3.0.3
ssh-import-id 5.11
stack-data 0.6.3
starlette 0.48.0
sympy 1.14.0
tensorboard 2.20.0
tensorboard-data-server 0.7.2
tensorizer 2.10.1
termcolor 3.2.0
terminado 0.18.1
threadpoolctl 3.6.0
tiktoken 0.11.0
timm 1.0.20
tinycss2 1.4.0
tokenizers 0.22.1
tomlkit 0.13.3
torch 2.9.0a0+git1c57644
torchvision 0.23.0a0+824e8c8
tornado 6.5.2
tqdm 4.67.1
traitlets 5.14.3
transformers 4.57.2
transformers-stream-generator 0.0.5
triton 3.4.0
triton_kernels 1.0.0
trl 0.24.0
typer 0.19.2
typing_extensions 4.15.0
typing-inspection 0.4.2
tyro 0.8.14
tzdata 2025.2
unattended-upgrades 0.1
urllib3 2.5.0
uvicorn 0.37.0
uvloop 0.21.0
vllm 0.11.0rc2.dev160+g790d22168.rocm700
wadllib 1.3.6
watchfiles 1.1.0
wcwidth 0.2.14
webencodings 0.5.1
websocket-client 1.9.0
websockets 15.0.1
Werkzeug 3.1.3
wheel 0.45.1
xgrammar 0.1.25
xxhash 3.5.0
yarl 1.20.1
zipp 1.0.0
zstandard 0.25.0