评论删除后,数据将无法恢复
Llama 3.1 是 Meta 发布的新一代开源大模型 ,提供 8B、70B 及 405B 参数版本。
Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。
架构方面,该模型选择标准的仅解码器 transformer 模型架构进行调整,而不是混合专家模型,以最大化训练稳定性。
此外,Llama 3 采用了迭代的后训练程序,每一轮使用监督微调和直接偏好优化。
Meta 表示,Llama 3.1 系列在推理能力和多语言支持方面进行了改善,其上下文长度被提升至 128K,而模型参数也被提高到了 4050 亿规模,是近年来规模最大的大语言模型之一。该模型在通用常识、可引导性、数学、工具使用和多语言翻译等广泛任务中足以对标 GPT-4、Claude 3.5 Sonnet 等领先闭源模型。
Meta 发布 Llama 3.2 多模态 AI 模型
Meta 今天发布了 Llama 3.2 系列开源模型,其中包括小型和中型视觉 LLMs(11B 和 90B),以及适合边缘和移动设备的小型纯文本模型(1B 和 3B),包括预训练和指令调整版本。 LLaMA 3.2 支持同...
Mistral AI 发布 1230 亿参数 Large 2 大模型 —— 狙击 Llama 3.1
继 Meta 昨天发布最强开源大模型 Llama 3.1 后,法国 AI 初创公司 Mistral AI 也加入了竞争,今天发布了全新的旗舰开源模型 Mistral Large 2。 该模型拥有 1230 亿个参数,可在单个 H100 节点...
开源日报 | Meta发布最强AI模型;微软全球宕机加速巨头洗牌;扎克伯格称用闭源防中国行不通;LLM模型大小竞争愈演愈烈
欢迎阅读 OSCHINA 编辑部出品的开源日报,每天更新一期。 # 2024.7.24 今日要闻 Meta 发布新一代开源大模型 Llama 3.1 今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,提供 8B、7...
扎克伯格:开源是 AI 积极发展的必要条件
Meta 在今天凌晨正式发布新一代开源大模型 Llama 3.1 系列。与此同时,Meta 创始人兼首席执行官马克·扎克伯格也发布了一封名为“Open Source AI Is the Path Forward”的公开信,描绘了 AI...
Meta 发布新一代开源大模型 Llama 3.1
今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,提供 8B、70B 及 405B 参数版本。 Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。 架构方面,该...
没有更多内容
加载失败,请刷新页面
没有更多内容
暂无问答
没有更多内容