我的模型消耗了大量的内存。一个包含 270 亿个参数的 AI 模型（按行业标准来看属于中等规模）需要大约 54 GB 内存才能以半精度运行。大多数笔记本电脑都无法承受这一点。有些台式机也不能。 本周早些时候，PrismML 发布了一款 3.9 GB 的产品，小到足以安装在 iPhone 上。 参数是模型可以处理的刻度盘和调整的数量。参数越多，模型越密集、能力越强。 Bonsai 27B 是第一个突破消费类智能手机内存上限的 27B 级模