阿里：紧急撤回了一个“ Qwen 3！” 疑可自定义思考内容.....
发布时间：
2025-10-10
Qwen3 作为 Qwen 系列的最新大型语言模型，提供了包括密集型和混合专家（MoE）在内的多种模型选项。相较于之前的 Qwen2.5 版本，Qwen3 通过在训练数据、模型架构及优化技术上的显著进步，实现了多项关键提升：
- 更大规模、更高质量的预训练数据：
Qwen3 使用了高达 36 万亿个词元（token）进行预训练，覆盖 119 种语言，是 Qwen2.5 语言覆盖范围的三倍。其训练语料库包含了更丰富的高质量数据组合，特别加强了编程、科学技术工程数学（STEM）、推理、书籍、多语言以及合成数据等方面的内容。 - 优化的训练技术与模型架构：
为了提升模型的稳定性和整体效能，Qwen3 采用了一系列先进的训练技术和架构改进。例如，为 MoE 模型引入了全局批次负载均衡损失（global batch load balancing loss），并为所有模型应用了 qk 层归一化（qk layer normalization）。 - 分阶段精细化预训练流程：
Qwen3 的预训练分为三个阶段。第一阶段侧重于广泛的语言建模和通用知识学习；第二阶段着力提升推理能力，尤其是在 STEM、编程和逻辑推理方面；第三阶段则通过将训练序列长度扩展至 32,000 个词元，专门增强模型对长上下文的理解能力。 - 基于缩放法则（Scaling Law）指导的超参数调优：
通过对三阶段预训练流程进行全面的缩放法则研究，Qwen3 为密集型模型和 MoE 模型分别系统地调整了关键的超参数（如学习率调度器和批处理大小）。这种方法改善了不同模型规模下的训练动态，并提升了最终的模型性能。
可靠内部测试内容：
重磅：可以自定义思考内容！
会不会使得道德审查，更容易被突破呢？
深圳市社会组织交流服务展示点项目是一项旨在展示深圳市社会组织在服务社会、推动经济发展、促进社会和谐等方面所做贡献的创新举措。
通过遴选党建引领突出、代表性强、公信力高、枢纽功能发挥明显和对深圳“双区”建设具有重大贡献的相关领域社会组织成为交流服务展示点，搭建全市社会组织交流展示与服务平台，多维度、多领域展示我市社会组织在不同领域对深圳经济社会发展和“双区”建设的突出贡献，涵盖了社会组织在党建引领、内部治理、诚信建设、人才建设、社区治理、科创信息、国际交流、乡村振兴、生态环保、文教卫体等多个领域的服务和成果。充分发挥展示点对同类别社会组织的示范引领作用，鼓励社会组织之间的交流与合作，推动社会组织高质量发展。
编 辑 | 陈泽砚
责 编 | 梁锦滢
校 对 | 谭斐
审 校 | 付孟姣
值班编委 | 梁锦滢
