评论删除后，数据将无法恢复
Llama 3.1 是 Meta 发布的新一代开源大模型 ，提供 8B、70B 及 405B 参数版本。
Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。
架构方面，该模型选择标准的仅解码器 transformer 模型架构进行调整，而不是混合专家模型，以最大化训练稳定性。
此外，Llama 3 采用了迭代的后训练程序，每一轮使用监督微调和直接偏好优化。
Meta 表示，Llama 3.1 系列在推理能力和多语言支持方面进行了改善，其上下文长度被提升至 128K，而模型参数也被提高到了 4050 亿规模，是近年来规模最大的大语言模型之一。该模型在通用常识、可引导性、数学、工具使用和多语言翻译等广泛任务中足以对标 GPT-4、Claude 3.5 Sonnet 等领先闭源模型。
删除一条评论
Meta 发布 Llama 3.2 多模态 AI 模型
Meta 今天发布了 Llama 3.2 系列开源模型，其中包括小型和中型视觉 LLMs（11B 和 90B），以及适合边缘和移动设备的小型纯文本模型（1B 和 3B），包括预训练和指令调整版本。 LLaMA 3.2 支持同...
Mistral AI 发布 1230 亿参数 Large 2 大模型 —— 狙击 Llama 3.1
继 Meta 昨天发布最强开源大模型 Llama 3.1 后，法国 AI 初创公司 Mistral AI 也加入了竞争，今天发布了全新的旗舰开源模型 Mistral Large 2。 该模型拥有 1230 亿个参数，可在单个 H100 节点...
开源日报 | Meta发布最强AI模型；微软全球宕机加速巨头洗牌；扎克伯格称用闭源防中国行不通；LLM模型大小竞争愈演愈烈
欢迎阅读 OSCHINA 编辑部出品的开源日报，每天更新一期。 # 2024.7.24 今日要闻 Meta 发布新一代开源大模型 Llama 3.1 今天凌晨，Meta 正式发布新一代开源大模型 Llama 3.1 系列，提供 8B、7...
扎克伯格：开源是 AI 积极发展的必要条件
Meta 在今天凌晨正式发布新一代开源大模型 Llama 3.1 系列。与此同时，Meta 创始人兼首席执行官马克·扎克伯格也发布了一封名为“Open Source AI Is the Path Forward”的公开信，描绘了 AI...
Meta 发布新一代开源大模型 Llama 3.1
今天凌晨，Meta 正式发布新一代开源大模型 Llama 3.1 系列，提供 8B、70B 及 405B 参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面，该...
没有更多内容
加载失败，请刷新页面
没有更多内容
暂无问答
{{formatAllHtml(o.title)}}
{{o.pubDate | formatDate}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
