小型AI模型在不稳定网络中崛起
2019年的一个清晨，阿德巴约·阿隆吉（Adebayo Alonge）[https://adebayoalonge.com/]在开普敦的一间酒店房间里，准备展示他创业公司研发的人工智能（AI）解决方案，目标是解决非洲医疗领域的一大顽疾：假药问题——每年全非洲有数千人因此丧生。
当时这套系统已经在加纳、肯尼亚、缅甸，以及阿隆吉的祖国尼日利亚等十多个国家的药房投入使用。但那天在南非[https://spectrum.ieee.org/tag/africa]，系统却失灵了。“我当时震惊极了，”阿隆吉回忆道。
光谱仪能连上AI模型，但数据中心远在1.4万公里之外，带宽十分有限。“我们的服务器在美国，光是获取一次扫描结果就要花5分钟以上。”
于是阿隆吉立刻要求工程师把AI模型压缩成一个体积更小、功耗更低、无需联网的版本，让它能完全在安卓手机上运行。短短2小时后，新模型就完成了，演示也得以顺利进行。
更重要的是，这次应急改造催生了设备的全新版本——它能在没有宽带、电脑，甚至连稳定电力都没有的地区完成药品鉴定。这件事也让阿隆吉成了这类“小型AI”的倡导者。
服务全球医疗可及性的小型AI
“大多数人讨论的都是大语言模型或生成式AI，但这类技术需要大量算力、电力、海量数据，还要有专业人员运维，”世界银行行长阿贾伊·班加去年1月在达沃斯世界经济论坛上表示[https://www.ndtv.com/world-news/small-ai-is-indias-secret-weapon-ajay-banga-tells-ndtv-at-davos-10833458]，“除了印度和中国，发达国家之外很少有国家能同时具备这些条件。”
班加认为，相比之下，小型AI能在不具备上述资源的地区提供实用甚至能救命的服务。印度政府的AI规划就大力推动小型AI发展，当地已有不少这类系统在为农民服务。
例如，印度韦洛尔理工学院的巴拉·穆鲁甘及其团队开发的无人机系统[https://www.science.org/doi/epdf/10.1126/science.adw7713]，能拍摄腰果植株照片，并快速识别出带有病害斑点的植株。所有数据处理都在无人机本地完成，无需现场配备电脑，也不用连接中央服务器。
借助针对特定问题训练的小型语言模型，有时只需在廉价低功耗设备上运行，人们还开发出了其他小型AI应用：比如识别乌拉圭葡萄园中的蚁害[https://universe.roboflow.com/juan-abedala/deteccion-hormigas-cortadoras]、在多国检测携带疟疾的蚊子[https://dl.acm.org/doi/fullHtml/10.1145/3524458.3547258]，以及在巴西部分缺乏复杂设备的地区，用Arduino设备完成心电图检测[https://link.springer.com/chapter/10.1007/978-3-031-49407-9_63]。
“这是如今AI领域最重要的方向，”参与了上述三个项目的巴西伊塔茹巴联邦大学工程与信息系统学院教授马塞洛·若泽·罗瓦伊（Marcelo José Rovai）[https://www.linkedin.com/in/marcelo-jose-rovai-brazil-chile/]表示，“它发展得非常快。”
低功耗设备上的小型AI模型
小型AI模型可在多种低功耗设备上运行，从左到右分别是：Arduino Nano 33 BLE Sense、Seeed Wio Terminal和Arduino Portenta。Moez Altayeb
对阿隆吉、罗瓦伊等倡导者而言，小型AI并不像世界银行去年11月的报告所说的那样只是“一个有前景的趋势”。从长远来看，它或许会成为覆盖人群最广、且在部分大模型因成本过高难以为继时，仍能保持可持续性的AI形态。
“我认为AI的未来不是一个中心化的巨型模型，而是数百万个部署在终端的小型精准模型，每个模型针对特定场景解决特定问题，”阿隆吉说。一方面，全球很多人——包括发达国家的部分地区和发展中国家的民众——都无法接触到前沿大模型；另一方面，这些大模型本身也不具备可持续性。
“如果没有补贴，大多数人都用不起这些大模型。所以我们这些小型AI开发者，必须为世界上的大多数人打造适用的工具，”阿隆吉表示。
目前“小型AI”没有严格定义，但人们通常用这个词指代参数最多几十亿的语言模型（相比之下，前沿大模型的参数可超过万亿）。这样的规模足以直接在手机或树莓派（Raspberry Pi）上运行，让应用无需连接数据中心，仅靠电池或太阳能供电，功耗仅为几瓦。
罗瓦伊指出，尽管体积小巧，但这些模型的核心技术与巨型AI模型并无本质区别。很多小型语言模型的诞生方式，和阿隆吉那款可在手机上运行的药品扫描模型一样——通过“剪枝”大模型，移除与特定任务无关的参数。罗瓦伊说，这样得到的系统通用性会降低，但在其针对的特定任务上表现依然出色。
RxAll公司的RxScanner光谱仪轻量版，会将扫描结果发送到手机本地运行的AI模型，验证药品分子特征的真实性。RxAll
还有些小型模型是通过“蒸馏”技术生成的：训练它们模仿大模型的表现，直到性能接近其“教师模型”。在另一些情况下，人们会降低大模型的精度，比如让原本在32位架构上运行的模型适配8位设备。而在一些用于数据分类或模式预测（比如检测蚁害）的机器学习[https://spectrum.ieee.org/tag/machine-learning]应用中，模型从一开始就在小型设备上训练，完全不依赖大模型。
罗瓦伊表示，如今运行这些小型专用系统变得越来越容易，主要有两个原因。
首先是硬件性能提升，同时功耗降低。这意味着越来越多的手机能运行小型AI——尤其是配备了神经处理单元（NPU）的机型，这种专用芯片可处理人脸识别、调整照片亮度/阴影/对比度等AI任务。
据科技研究机构Counterpoint的数据[https://counterpointresearch.com/en/insights/genai-smartphone-share-to-rise-to-45-percent-of-global-shipments-in-2026]，2025年全球出货的智能手机中，略多于三分之一支持运行生成式AI，到今年年底这一比例将升至45%；到明年年底，超过半数的智能手机将具备运行小型AI模型的能力。
第二个原因是语言模型的体积不断缩小。罗瓦伊认为，谷歌DeepMind今年4月发布的Gemma 4[https://deepmind.google/models/gemma/gemma-4/]和阿里巴巴的Qwen 3.5[https://qwen.ai/blog?id=qwen3.5]都是小型AI领域的“绝佳选择”。这两款模型均为“开源权重”模型，用户可调整参数间的关联以满足自身需求。比如，“可以导入大量乳业数据，专门针对乳业场景重新训练模型，”罗瓦伊说。
罗瓦伊在一次Zoom会议上用自己最近的实验举例说明上述观点。他举起一个设备说：“这是新款Arduino UNO Q——一款搭载高通芯片组、售价50美元的设备。我在上面运行着一个语言模型，它从传感器收集数据并进行分析，检测可能滋生蚊子的小水洼。整个系统运行仅需3瓦功耗。”
支持小型AI发展
世界银行坚信已有数百万人从这类应用中受益，如今正通过提供 Grants（资助金）、导师计划、融资、技术咨询，以及推广有利于小型AI发展的政府政策模式，积极推动小型AI发展。例如在卢旺达，世界银行正在支持一项政府计划，帮助低收入家庭获得可运行AI的设备。
尽管如此，没人认为大语言模型会彻底消失。罗瓦伊指出，要开发能在手机或其他小型设备上运行的生成式AI，仍需借助大模型的架构思路、数据处理能力和研究成果。“我们需要大模型来打造这些小模型。”
阿隆吉则表示，虽然小型AI能让无法接触大模型的人群受益，但它无法解决发展和数字不平等的深层问题。推广小型AI并不能让各国跳过构建AI支持生态系统的挑战：稳定的电力、可靠的供应链，以及能培养AI工具开发人才的教育体系。
尽管他的药品扫描系统能在无联网的手机上连续运行数天，“你仍然需要定期同步，更新药品特征库和分析数据，”阿隆吉说，“而且就算用电池，稳定电力也很重要——手机电池总有用完的时候。”
他认为，在全球很多地区，小型AI的未来仍不确定。“技术本身是可行的，很多地方最终也需要用到它，但问题在于，政治决策者是否有足够的远见，为其长期发展投资建设配套基础设施。”