MoE架构

字节发布豆包1.5深度思考模型:多模态深度思考、延迟低

在4月17日的火山引擎 AI 创新巡展杭州站上,字节跳动旗下的火山引擎总裁谭待正式发布了最新的豆包1.5・深度思考模型。此次发布会吸引了众多行业人士的关注,谭待在会上分享了该模型在多个领域的优异表现。据悉,豆包1.5模型在数学、编程、科学推理等专业领域,以及创意写作等任务中,都展现出了卓越的能力。这款新模型采用了 MoE(混合专家)架构,总参数达200亿,而激活参数仅为20亿,显著低于行业同类模型

Meta 发布 Llama 4 大模型:混合专家架构引领 AI 新时代

Meta 公司推出了其最新的开源人工智能模型 Llama4,标志着其在人工智能领域的又一重大进展。Llama4分为两个版本,分别命名为 Scout 和 Maverick,旨在提升 AI 模型的功能与表现。Meta 表示,Llama4是一个多模态大模型,能够处理文本、图像、视频和音频等多种数据类型,并能在这些格式之间自由转换。值得一提的是,Llama4系列首次采用了 “混合专家”(MoE)架构,这一