国外团队称用50美金跑出媲美deep sick的大模型。2月6号，AI教母李飞飞所在团队放出消息，他们用不到50美金的费用，成功训练出了一个名为S一的人工智能推理模型。该模型在数学和编码能力测试中的表现，据称与OpenAI的O一和deep sick的RE不相上下。而训练这样一个性能的模型，他们的团队仅仅用了16个英伟达的H100的GPU训练，耗时26分钟。这个训练过程消耗了不到50美金的计算成本。怎么做到的？ICE团队表示秘诀只有一个，蒸馏。简单来说，团队是以阿里通义团队的QN2.5 32b instruct作为基础模型，通过蒸馏谷歌的DeepMind的推理模型GMI2.0的flash thinking的实验版，最终得到了SE的模型。为了训练S一研究团队创建了一个包含1000个问题的数据集。当然这一千个问题是精心挑选的，且每个问题都附有答案，以及金发在2.0 flash thinking实验版的思考过程。所以说S一模型实际上只是用从谷歌模型中提炼出来的1000个样本，然后对千问模型进行微调而成。说的直白一点，S一看上去很厉害，但里面真正起到大作用，节省了大量费用和时间的是通义千问。
《探索人工智能推理模型：50美金训练的奥秘与通义千问的神奇》

在当今科技飞速发展的时代，人工智能领域不断有新的突破。国外团队宣称仅用50美金就训练出了媲美deep sick的大模型，这一消息引起了广泛关注。今天，我们就来深入探讨一下其中的奥秘。

首先，这个名为S一的人工智能推理模型究竟有何特别之处呢？它在数学和编码能力测试中的表现，据称与OpenAI的O一和deep sick的RE不相上下。而训练这样一个高性能的模型，团队仅仅用了16个英伟达的H100的GPU，耗时26分钟，计算成本还不到50美金。这是怎么做到的呢？

秘诀就在于蒸馏技术。团队是以阿里通义团队的QN2.5 32b instruct作为基础模型，通过蒸馏谷歌的DeepMind的推理模型GMI2.0的flash thinking的实验版，最终得到了SE的模型。为了训练S一，研究团队创建了一个包含1000个问题的数据集，这些问题都是精心挑选的，且每个问题都附有答案以及在2.0 flash thinking实验版的思考过程。

简单来说，S一模型实际上只是用从谷歌模型中提炼出来的1000个样本，然后对千问模型进行微调而成。这里面真正起到大作用，节省了大量费用和时间的就是通义千问。

对于想要深入了解人工智能推理模型训练的朋友们来说，这无疑是一个很好的案例。我们可以从中学习到如何巧妙运用现有资源，通过创新的方法来实现高效的模型训练。

如果你也对人工智能充满热情，不妨尝试借鉴这种思路，结合自己的需求和资源，探索更多可能。说不定，你也能在这个领域创造出属于自己的精彩。
人工智能推理模型,S一模型,50美金,蒸馏,通义千问
[Q]：国外团队是如何用50美金训练出S一模型的？
[A]：团队采用蒸馏技术，以阿里通义QN2.5 32b instruct为基础模型，蒸馏谷歌DeepMind的GMI2.0的flash thinking实验版得到SE模型。
[Q]：S一模型在哪些方面表现出色？
[A]：在数学和编码能力测试中表现出色，与OpenAI的O一和deep sick的RE不相上下。
[Q]：训练S一模型用了多少硬件资源？
[A]：仅用了16个英伟达的H100的GPU训练，耗时26分钟。
[Q]：训练S一模型的计算成本是多少？
[A]：训练过程消耗了不到50美金的计算成本。
[Q]：训练S一模型创建了什么数据集？
[A]：创建了一个包含1000个精心挑选的问题的数据集，每个问题附有答案及相关思考过程。
[Q]：S一模型是如何得到的？
[A]：用从谷歌模型中提炼出的1000个样本对千问模型进行微调而成。
[Q]：S一模型训练中起到关键作用的是什么？
[A]：通义千问在S一模型训练中起到了关键作用，节省了大量费用和时间。
[Q]：国外团队训练S一模型有什么秘诀？
[A]：秘诀是蒸馏，通过特定基础模型和实验版模型蒸馏得到最终模型。