AI人物 13小时前 93 浏览次数 0 评论

北京邮电大学副教授、博士生导师徐梦炜博士确认出席 QCon 上海,分享终端大模型操作系统的架构、优化与展望

InfoQ
InfoQ

发布了 264 文章

如果你也关注 Agent、AI 搜索、多模态、工程化等话题,一定不要错过这 100+可落地的实践案例!


10 月 23 日-10 月 25 日,QCon 全球软件开发大会将在上海举办。本次大会将聚焦 Agentic AI、具身智能、强化学习框架、端侧大模型实践、多智能体协作等热门话题,以及 AI 时代下的软件研发、可观测、开源等技术实践,邀请来自腾讯、阿里、字节跳动、华为、蚂蚁集团、小红书等企业的技术专家,和来自清华大学、北京邮电大学、浙江大学的顶尖高校讲师,和你一起重构技术认知与能力边界!


北京邮电大学副教授、博士生导师徐梦炜博士已确认出席并发表题为终端大模型操作系统的架构、优化与展望的主题分享。通过本地化搭载大模型,终端设备的智能能力将获得飞跃式提升,铸造移动计算的下一个黄金时代,对学术界和产业界都是巨大的机遇。为了更好地适应这个过程中上层应用编程接口、用户交互范式、底层资源管理的重要变化,操作系统可能会被重新定义和改写。面向以大模型能力为核心的未来智能终端硬件,本次演讲将介绍团队在大模型操作系统设计和优化方向的思考和尝试,包括 GUI/API 终端智能体构建、面向 NPU 的端侧大模型推理优化加速等。


<!---->


徐梦炜博士,北京邮电大学副教授、博士生导师,在端侧智能方向发表 CCF-A 类论文 30 余篇,获 USENIX ATC 2024 最佳论文奖等,入选中国科协青托、北京市科技新星、微软研究院“铸星计划”等,主导了开源端侧大模型推理引擎 mllm 等。他在本次会议的详细演讲内容如下:


演讲提纲

1. 背景

  • 以大模型为核心的终端硬件发展

  • 为什么需要一个新的操作系统

2. 构建大模型操作系统的主要技术挑战

  • 面向上层智能体应用的易用接口

  • 面向受限硬件资源的高效调度

3. 技术尝试

  • GUI/API 系统级智能体

  • 面向 NPU 的端侧大模型推理优化加速

  • 端侧 KV Cache 高效压缩和管理

4. 未来展望

  • 演化路径和关键节点

  • 学术研究和产业机遇


您认为,这样的技术在实践过程中有哪些痛点?

  • 具体未来大模型操作系统的发展需要结合场景、硬件形态、模型能力发展来看,本次演讲内容偏展望性质


演讲亮点

  • 较为前沿,偏算法-系统-硬件垂直整合


听众收益

  • 了解学术界对端侧大模型的前沿尝试和思考

  • 碰撞大模型操作系统相关思想火花


除此之外,本次大会还策划了多模态融合技术与创新应用混沌工程与全链路压测实践Data Infra for AIAgentic AI加速与反哺:AI 时代的可观测实践Vibe Coding端侧大模型的创新与应用大模型推理的工程实践AI 搜索技术的深水区模型训练与微调具身智能:当 AI 学会“动手思考”大模型驱动的制造革命AI4SE:软件研发提质增效实践AI 重塑视觉创作体验从“炫技”走向“实用”的 AI 产品大模型驱动的智能数据分析等 20 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 上海站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可联系票务经理 18514549229 咨询。

<!---->


InfoQ

InfoQ

264 文章 37326 浏览次数 0 粉丝

评论 (0)

睡觉动画