模型蒸馏：让0.6B模型媲美235B模型

方案概述

大参数模型效果好，但成本高、响应慢。针对该问题，可以用大参数模型的输出去微调小参数模型，使其在特定任务中的表现接近大参数模型，这一过程也被称为模型蒸馏。本方案介绍如何通过模型蒸馏提升 Qwen3-0.6B 模型在特定任务的表现（本案例中准确率从14%提升至90%以上）。

方案优势

• 降低90%
• 在线 Notebook 微调难度适中查看详情

适用客户

• 本低 多种微调方案零代码微调难度低查看详情

相关云产品

• 人工智能平台
• PAI对象存储开始微调基于
• PAI-DSW
• 微调基于
• DSW
• 微调本方案将用到
• PAI
• DSW（Data
• Science
• Workshop），其为您提供云端

部署信息

• 20分钟（微调过程约10分钟）预估费用：5元（假设您选择此方案示例规格资源，完成微调与部署，且时间不超过 20分钟，预计费用 5 元左右。实际情况中可能会因您操作过程中实际使用的资源差异，导致费用有所变化，请以控制台显示的实际报价以及最终账单为准。）