小米公司发布了其首个开源推理大模型Xiaomi MiMo，拥有超过OpenAI o1-mini的7B参数，这一模型展现了小米在人工智能领域的强大实力，通过优化算法和深度学习技术，实现了更高效和精准的推理能力，MiMo的发布标志着小米在人工智能领域的布局进一步深化，有望推动人工智能技术的发展和应用。
小米公司今日正式宣布推出首个专为推理任务设计的大模型——小米MiMo，这一开源模型在业界引起了广泛关注。 据官方消息，MiMo在数学推理和代码竞赛的公开测评集上表现出色，令人瞩目的是，MiMo仅以7B的参数规模就超越了OpenAI的闭源推理模型o1-mini以及阿里Qwen的开源推理模型QwQ-32B-Preview，这充分显示了其强大的推理能力。 MiMo的推理能力提升得益于预训练和后训练阶段中数据和算法等多层面的创新，在预训练阶段，模型通过接触大量的推理模式来丰富其推理能力，数据方面，小米挖掘了大量的富推理语料，并合成了约200B tokens的推理数据，训练过程分为三个阶段，逐步提升训练难度，总训练量为25T tokens。 在后训练阶段，小米采用了高效稳定的强化学习算法和框架，他们提出了Test Difficulty Driven Reward来缓解困难算法问题中的奖励稀疏问题，并引入了Easy Data Re-Sampling策略以稳定RL训练，他们还设计了Seamless Rollout系统，使得RL训练加速2.29倍，验证加速1.96倍。 所有技术细节已在技术报告中详细阐述，小米已经开源了MiMo-7B系列的4个模型至HuggingFace供公众访问和使用，这不仅为开发者提供了一个强大的工具，也为人工智能领域的发展做出了重要贡献。 此次开源的MiMo模型展示了小米在人工智能领域的实力和技术进步,我们期待未来小米能继续带来更多创新和突破性的技术成果。
