

?来自MLX作者的梗图,这实在是太有趣了,MLX on DGX Spark。虽然Nvidia靠cuda统一了云端服务和训练,但消费级的桌面AI工作站以及推理框架很可能被Apple的MLX占据,这不,老黄都忍不住出了DGX Spark。
可以说这是一个未曾被开发的新市场,Libra AI算是最早一批加入MLX生态的Agent应用。尽管MLX提供了很好的中间层,但从框架到用户产品之间是全新的warp。
想实现高效的端侧Agent仍然依赖完全私有化的Context Engineering设计,经历过才明白端侧Agent的探索是和云端Agent完全不一样的,需要大量的研究和工程设计构造正确的模型、实现不同Agent之间的Context 通信、特殊的tools、通过Test-Time的Context Evolving来增强小模型的能力,最重要的是所有的一切都需要在有限的Memory空间完成
#mlx #agent #ai #nvidia #科技的力量 #startup
可以说这是一个未曾被开发的新市场,Libra AI算是最早一批加入MLX生态的Agent应用。尽管MLX提供了很好的中间层,但从框架到用户产品之间是全新的warp。
想实现高效的端侧Agent仍然依赖完全私有化的Context Engineering设计,经历过才明白端侧Agent的探索是和云端Agent完全不一样的,需要大量的研究和工程设计构造正确的模型、实现不同Agent之间的Context 通信、特殊的tools、通过Test-Time的Context Evolving来增强小模型的能力,最重要的是所有的一切都需要在有限的Memory空间完成
#mlx #agent #ai #nvidia #科技的力量 #startup


