MindSpeed LLM 文档按照不同的训练框架进行组织，主要包含以下核心目录：
- pytorch/：基于 PyTorch 训练框架的文档，主要支持 Mcore和FSDP2 两种训练后端，包含安装指南、模型清单、特性说明、训练方案和工具链等
- mindspore/：基于 MindSpore 训练框架的文档，仅支持Mcore训练后端，提供 MindSpore 框架下的使用指南和特性说明
MindSpeed LLM 文档目录层级介绍如下：
docs/zh/
├── introduction.md # 项目介绍
├── project_guide.md # 项目导读
├── docs_guide.md # 文档导读
├── install_guide.md # 安装指南
├── appendixes.md # 附录文档
├── pytorch/ # PyTorch 训练框架相关文档
│ ├── quick_start.md # 快速入门指南
│ ├── develop/ # 开发指南
│ │ ├── mcore/ # Mcore 开发指南
│ │ │ └── lora_finetune_adaptation.md # LoRA微调迁移开发
│ │ └── fsdp2/ # FSDP2 开发指南
│ │ └── model_adaptation.md # FSDP2 模型适配
│ ├── features/ # 特性文档
│ │ ├── mcore/ # Mcore 特性文档
│ │ └── fsdp2/ # FSDP2 特性文档
│ │ ├── arguments.md # FSDP2 参数说明
│ │ └── fsdp2_basic_features.md # FSDP2 特性说明
│ ├── figures/ # 图片资源
│ ├── models/ # PyTorch 框架支持的模型
│ │ └── supported_models.md
│ ├── training/ # 训练解决方案文档
│ │ ├── evaluation/ # 模型评估
│ │ │ ├── evaluation_guide.md
│ │ │ ├── models_evaluation.md
│ │ │ └── evaluation_datasets/ # 评估数据集
│ │ ├── finetune/ # 模型微调
│ │ │ ├── mcore/ # Mcore 微调方案
│ │ │ └── fsdp2/ # FSDP2 微调方案
│ │ │ └── finetune_fsdp2.md
│ │ ├── inference/ # 模型推理
│ │ │ ├── inference.md
│ │ │ └── chat.md
│ │ └── pretrain/ # 模型预训练
│ │ └── mcore/ # Mcore 预训练方案
│ │ ├── pretrain.md
│ │ ├── pretrain_eod.md
│ │ └── train_from_hf.md
│ └── tools/ # 工具文档
│ ├── data_process_sft_alpaca_style.md # Alpaca格式数据处理
│ ├── data_process_sft_sharegpt_style.md # ShareGPT格式数据处理
│ ├── data_process_dpo_pairwise.md # Pairwise数据处理
│ ├── data_process_pretrain.md # 预训练数据处理
│ ├── checkpoint_convert_hf_mcore.md # 权重转换
│ ├── checkpoint_convert_hf_mcore_large_params.md # 权重转换V2
│ ├── checkpoint_convert_hf_dcp.md # HF-DCP权重转换
│ ├── profiling.md # 性能分析
│ └── deterministic_computation.md # 确定性计算
└── mindspore/ # MindSpore 训练框架相关文档
├── readme.md # MindSpore 文档说明
├── quick_start.md # 快速入门指南
├── features/ # MindSpore 特性文档
└── models/ # MindSpore 框架支持的模型快速跳转：入门指南 | Mcore后端 | FSDP2后端 | 工具链
| 内容 | 说明 |
|---|---|
| install_guide | 环境安装指导 |
| quick_start_pytorch | Mcore后端的快速上手指导，基于PyTorch框架从环境安装到模型预训练和微调 |
| quick_start_mindspore | Mcore后端的快速上手指导，基于MindSpore框架从环境安装到模型预训练和微调 |
| finetune_fsdp2 | FSDP2后端的快速上手指导，从环境安装到模型训练 |
| supported_models | 模型支持列表 |
特性
| 内容 | 说明 |
|---|---|
| features | 收集了部分仓库支持的性能优化和显存优化的特性 |
开发指南
| 内容 | 说明 |
|---|---|
| lora_finetune_adaptation | LoRA微调迁移开发指南 |
训练方案
| 分类 | 内容 | 说明 |
|---|---|---|
| 预训练 | pretrain | 多样本预训练方法 |
| pretrain_eod | 多样本pack预训练方法 | |
| 微调 | instruction_finetune | 模型全参微调方案 |
| multi_sample_pack_finetune | 多样本Pack微调方案 | |
| multi_turn_conversation | 多轮对话微调方案 | |
| lora_finetune | 模型lora微调方案 | |
| qlora_finetune | 模型qlora微调方案 | |
| 推理 | inference | 模型推理 |
| chat | 对话 | |
| yarn | 使用yarn方案来扩展上下文长度，支持长序列推理 | |
| 评估 | evaluation_guide | 模型评估方案 |
| models_evaluation | 仓库模型评估清单 | |
| evaluation_datasets | 仓库支持评估数据集 |
特性
| 内容 | 说明 |
|---|---|
| fsdp2_basic_features | FSDP2后端特性介绍 |
| arguments | FSDP2后端全量参数说明 |
开发指南
| 内容 | 说明 |
|---|---|
| model_adaptation | FSDP2后端模型适配指南 |
训练方案
| 分类 | 内容 | 说明 |
|---|---|---|
| 微调 | finetune | 全参微调方法 |
| 内容 | 说明 |
|---|---|
| checkpoint_convert_hf_mcore | 支持Huggingface、Megatron-core两种格式的权重互转，支持LoRA权重合并 |
| checkpoint_convert_hf_mcore_large_params | 支持大参数模型mcore、hf等各种不同格式权重间的转换 |
| checkpoint_convert_hf_dcp | HF和DCP之间的权重转换工具 |
| data_process_pretrain | 预训练任务的数据预处理 |
| data_process_sft_alpaca_style | 指令微调alpaca风格数据预处理 |
| data_process_sft_sharegpt_style | 指令微调sharegpt风格数据预处理 |
| data_process_dpo_pairwise | 偏好对齐pairwise数据处理 |
| profiling | 基于昇腾芯片采集profiling数据 |
| deterministic_computation | 基于昇腾芯片开启确定性计算 |