A high-throughput and memory-efficient inference and serving engine for LLMs
11569 Articles
2144100 Views
950300 Fans
Comment (0)
Recommended Articles
刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展
2 days ago
•
开源项目
AI的开源战略
1 days ago
•
开源项目
开源即爆火！英伟达重磅推出OmniVinci全模态大模型
1 days ago
•
开源项目
国际刑事法院也“踢掉”了微软Office！因邮箱一度“被封”，决定改为开源替代品openDesk
2 days ago
•
开源项目
14.7Kstar！开源项目ebook2audiobook：一键将电子书转为有声读物
2 days ago
•
开源项目
360开源全球最强图文模型FG-CLIP2：中英文任务双双登顶 SOTA！
2 days ago
•
开源项目
速抢（2核2G）77元/年香港免备案服务器
0 seconds ago
•
开源项目
Awesome Llm Apps
3 weeks ago
•
开源项目
