全球主机交流论坛

标题: 推荐最新的开源大语言模型Llama-3_1-Nemotron-Ultra-253B-v1 [打印本页]

作者: julie 时间: 2025-4-12 17:49
标题: 推荐最新的开源大语言模型Llama-3_1-Nemotron-Ultra-253B-v1
前几天nvidia推出了新模型Llama-3_1-Nemotron-Ultra-253B-v1, 今天我试了一下, 感觉很好. 看测试数据的话, 比deepseek r1还高, 当然数字只能作为参考.

主要它是只有253B的参数, 不用太多的显存. deepseek r1是671B的参数, 本地跑的话要太多的显存了. nvidia的模型和deepseek的模型都是带思考的, 不过 nvidia的模型可以关掉, deepseek的模型不行. deepseek r1是MoE架构的, 这个不是.

要是有条件的话, 可以试一试.

作者: 奧巴马 时间: 2025-4-12 18:14
自己部署意义何在？

作者: kindlecon 时间: 2025-4-12 18:55
本帖最后由 kindlecon 于 2025-4-12 19:04 编辑

253b就算就算4bit量化也要170g显存。
如果用CPU和内存跑，那前提是你有多通道服务器主板，否则那速度谁受得了。

作者: 吊打华伪 时间: 2025-4-12 19:10
我昨天才听说整个，还没弄。你实际测试了吗？

作者: acm 时间: 2025-4-12 19:27
有llama4 为啥用3.1,而且4需要的显存更少

作者: julie 时间: 2025-4-12 19:57

acm 发表于 2025-4-12 19:27
有llama4 为啥用3.1,而且4需要的显存更少

llama 4 是个很失败的模型.

作者: julie 时间: 2025-4-12 20:04

吊打华伪发表于 2025-4-12 19:10
我昨天才听说整个，还没弄。你实际测试了吗？

我只是大概地试了一些问题, 感觉不错. 你如果不本地部署的话, 可以通过openrouter测试看看.

欢迎光临全球主机交流论坛 (https://gebi.eu.org/)