AMD Ryzen AI Halo：基于Zen 5架构的迷你AI开发主机

AMD Ryzen AI Halo是一款搭载AMD Ryzen AI Max+ 395处理器的真·迷你主机，专为AI学习与开发打造。该处理器集成AMD Radeon 8060S核显（承担主要算力任务）与AMD XDNA 2 NPU（此前实际应用场景有限，本次终于实现有效利用）。

硬件配置

这款主机仅提供单一硬件配置：配备可更换的2 TB M.2 SSD、128 GB统一寻址LPDDR5x-8000内存（带宽达256 GB/s）。2 TB存储空间足以存储大量本地大语言模型，128 GB内存则可同时加载数个中等规模模型，且预留充足空间供系统运行。

AMD Ryzen AI Max+ 395（16核Zen 5）	20核Arm（10P+10E）GB10	最高32核（24P+8E）M3 Ultra	最高16核Zen 5 AMD Ryzen AI Max+ 395
集成40个RDNA 3.5计算单元的AMD Radeon 8060S	6144个CUDA核心的GB20B	最高80核M3 GPU核心	最高集成40个RDNA 3.5计算单元的AMD Radeon 8060S
AMD XDNA 2 NPU	第五代Tensor核心	最高32核神经引擎	AMD XDNA 2 NPU
128 GB LPDDR5x-8000统一内存	128 GB LPDDR5x统一内存	最高512 GB统一内存	最高128 GB LPDDR5x-8000统一内存
256 GB/s	273 GB/s	最高819 GB/s	256 GB/s
2 TB	4 TB	最高16 TB	最高16 TB

AI Halo售价为3999.99美元，预装Windows 11 Pro或Linux系统。用户可自行更换操作系统，但据了解，AMD不会公开原厂预装的系统镜像（含配套驱动、程序及模型）。

本次测试所用主机为AMD提供的Linux版本，运行基于Debian 13.4定制的AMD Linux发行版：

> hostnamectl
...
Operating System: AMD Ryzen AI Developer Platform 1 (rex)
Kernel: Linux 6.18.35+rex+2-amd64
Architecture: x86-64
Hardware Vendor: Advanced Micro Devices, Inc. _AMD_
Hardware Model: RAH-001
...

点击查看交互式Ryzen AI Halo CT扫描图！

硬件设计

尽管宣传图将其渲染得如同数据中心设备，实际的Halo却是一款极小的主机：机身仅15厘米（6英寸）见方，高度不足5厘米（2英寸），重量1.2千克。若打算随身携带，还需考虑配套的240 W电源适配器重量。

电源按钮与所有接口均位于机身背面：4个USB 3.2 Type-C接口、1个HDMI 2.1接口，此外还支持Wi-Fi 7与蓝牙5.4。其中，最靠近电源按钮的USB Type-C接口为专用PD供电口。

主机虽未设计明确的堆叠结构，但四角的脚垫与四面的进气口使其具备堆叠可行性——若需同时使用Windows与Linux系统，或搭建集群，均可尝试堆叠。

机身内置两个涡轮风扇，从顶部与侧面吸入空气，经散热片后从后部排出。主机日常运行安静，但当处理器达到120 W热设计功耗（TDP）时，风扇会提速散热。

最亮眼的设计是机身边缘的白色灯带（休眠时呈蓝色脉冲闪烁）。灯带亮度柔和，可手动关闭，既提升了外观质感，又不会过于花哨。

拆机解析

作为高度集成的迷你主机，内部结构并不复杂：只需取下磁吸脚垫下的四颗螺丝，即可掀开底盖。

可更换的M.2 2280 SSD无需进一步拆解即可轻松取出；若要露出计算核心，只需断开少量连接线，取下上盖即可。

核心模块可单独取出，但内部无更多可操作空间。首次打开底盖时可见的金属底板，可通过四颗螺丝取下，但为避免破坏下方的导热硅脂，本次未进行拆卸。

性能测试

AMD Ryzen AI Max+ 395（Strix Halo）处理器于2025年春季发布，Halo主机的2 TB SSD与128 GB内存配置符合预期，且类似配置已在Framework Desktop、Beelink GTR9 Pro、X+ Rival、ACEMAGIC M1A PRO等设备上出现。我们通过基准测试验证了其常规性能表现，而这款产品的核心优势在于下文将介绍的"开箱即用"软件生态。

测试方法

此前针对AI硬件，我们主要使用MLPerf与Procyon测试硬件性能的代表性数值。但随着本地大语言模型（LLM）与智能代理工作流的普及，我们的测试维度也进一步深化。

本次测试主要使用llama.cpp附带的基准测试工具llama-bench。我们仍在探索llama-bench及其他工具的测试潜力，欢迎对测试方案提出建设性反馈。需说明的是，几乎所有基准测试及测试决策都存在"仅适用于特定场景"的局限性，我们无法覆盖所有角度，但会如实呈现本次在该硬件上完成的测试结果。

LLM的每秒生成令牌数（token/s）性能对兼容性差异极为敏感，且波动较大，因此请结合多来源结果参考本次测试数据。

llama-bench简介

对于不熟悉llama-bench或llama.cpp的用户，这里简单说明：llama.cpp是一款开源推理引擎，可加载并运行GGUF格式的大语言模型。因其操作简便、兼容性强，被广泛用于本地LLM部署。它负责调度LLM的数值运算，并与硬件专属驱动交互。

llama-bench是llama.cpp附带的命令行工具之一，支持多种配置选项，主要开展两类测试：提示词处理（pp，即推理的预填充阶段）与令牌生成（tg，即推理的解码阶段）。提示词处理是LLM"读取"用户输入的过程，令牌生成则是LLM向用户输出内容的过程。

该工具默认以Markdown格式输出结果，本次测试我们将结果导出为CSV格式以进行更详细分析。

默认llama-bench测试

第一项测试采用llama-bench默认的pp512/tg128配置，模拟用户输入512个令牌、LLM生成128个令牌的场景。测试所用模型为近期备受关注的17-32 GB级模型：Qwen 3.6 35B A3B（Q4_K_M）、Gemma 4 31B IT（IQ4_XS）与GLM 4.7 Flash（Q8_0）。尽管最优测试模型会不断变化，但这些模型足以反映当前主流LLM的性能表现。

我们同时测试了以下设备作为参照：搭载Ryzen AI Max+ 395与128 GB内存的Framework Desktop、配备76核GPU与128 GB统一内存的Mac Studio（M2 Ultra）、配备80核GPU与512 GB统一内存的Mac Studio（M3 Ultra）。其中，AI Halo与Framework Desktop分别测试了ROCm/HIP与Vulkan两种后端。需说明的是，这些设备并非直接竞品，仅用于提供性能参考；另外，本公司所有者对Framework有投资。

测试结果显示，Apple Silicon Mac Studio的性能优于AMD Ryzen AI Max+ 395设备，主要原因是前者的内存带宽远高于Max+ 395的256 GB/s。

LLM推理的提示词处理阶段通常受算力限制，CPU/GPU需批量处理大量计算以解析用户输入。从密集型模型Gemma 4的测试结果可见，Apple Silicon与Max+ 395的性能差距，小于二者内存带宽的差距。我们认为，稀疏混合专家（MoE）模型Qwen 3.6 35B A3B与GLM 4.7 Flash的提示词处理对算力依赖较低，因此Mac Studio凭借更高的内存带宽拉开了差距。

令牌生成阶段通常受内存带宽限制，需要频繁读取LLM数据，而计算量相对较小。处理器往往处于等待数据传输的状态，在密集型模型Gemma 4的测试中，Apple Silicon设备的令牌生成速度是AMD设备的2-3倍。

本次测试中，Ryzen AI Max+ 395的Vulkan与ROCm/HIP后端未分出明显胜负。最优后端的选择取决于兼容性、模型架构、上下文长度、硬件规格及软件优化等多种因素，且两类后端均在持续更新中。

本次测试启用了Flash Attention，但该功能并非总能带来最佳性能，因此建议用户针对自身系统进行测试。

上下文长度扩展测试——智能代理场景模拟

随着LLM智能代理的普及，我们设计了一项llama-bench测试来模拟这类场景，测试命令相对复杂。理论上，该测试模拟了向智能代理发送指令、使其调用工具或生成回答的过程，重点观察上下文长度增加时的性能衰减情况。

llama-bench -m <model> \
-p 512 \
-n 64 \
-b 2048 -ub 2048 \
-fa 1 \
-ngl 999 \
-r 5 \
-d 0,4096,8192,16384,32768,65536 \
-o csv

-p与-n分别指定提示词处理与令牌生成的令牌数量，本次测试为pp512/tg64配置；
-b与-ub指定批次大小与微批次大小：批次大小是llama.cpp分组处理的令牌数，微批次大小是单次发送给硬件计算的令牌数。数值越高通常通过并行化提升速度，但需要更多工作内存。本次测试仅处理512个令牌，因此该参数无影响，但我们此前测试发现，2048的-b/-ub值能带来最佳整体速度；
-fa用于启用或禁用Flash Attention；
-ngl控制卸载到GPU的模型层数，设置为999表示所有计算均在GPU上进行；
-r控制每次测试的重复次数，结果取平均值，默认值为5，此处明确写出；
-d指定LLM"内存"中已有的令牌数（即上下文长度），多个逗号分隔的值可实现多场景连续测试。

尽管llama-bench支持连续测试，我们仍编写了简短脚本实现自定义循环，并在测试间加入延迟，以避免测试过程中因热积累影响结果。

测试结果显示，三款模型均随上下文长度增加出现明显性能衰减，且预填充（pp）与解码（tg）阶段均受影响。（其中，Gemma 4模型在Vulkan后端、65536令牌上下文的场景下，30分钟内未完成测试）

以上是这三款模型的令牌生成速度参考，接下来回到AI Halo主机本身。

功耗与散热测试

AI Halo的机身尺寸极小，我们曾怀疑其能否达到并维持内部计算核心的最大功率。为此，我们开展了简单测试，使Ryzen AI Max+ 395达到120 W的最大热设计功耗（TDP），并可最高boost至140 W。同时，我们测试了搭载同款处理器的Framework Desktop作为参照（非直接竞品，仅作参考）。

测试中，我们连续运行20次llama-bench预填充测试，使用Quarch QTL2843测量整机从插座获取的功耗。两台设备均设置为"性能"模式，未调整其他电源或散热设置（Halo本身也不支持自定义）。测试过程中，我们通过HWInfo与AMD工具监控处理器封装功耗与温度。

测试时长约20分钟，结果显示：Framework中的AI Max+ 395全程稳定维持120 W基线功耗，偶尔短暂飙升至130 W；Halo在测试初始5分钟内以140 W的boost功耗运行，之后回落至120 W TDP并保持至测试结束。

Halo采用涡轮风扇设计，四面进气，热平衡时机身触感凉爽，但底部温度较高（约50℃），两个涡轮风扇从后部排出大量热量。风扇提速时噪音明显，但为较为柔和的"呼呼"声，无尖锐刺耳的异响。

由于Halo完全通过USB-C PD供电（便于堆叠或机架安装），我们还使用Infineon CY4500-EPR分析仪监测供电数据包，相关内容将放在附录中说明。

价值核心：软件生态

如今，多款迷你主机均搭载Ryzen AI Max+ 395处理器，用户可根据接口、散热设计甚至品牌偏好进行选择。而Halo的独特之处在于AMD Ryzen AI开发者中心、经过验证的"最佳已知配置"（BKC），以及AMD承诺的持续官方支持。类似NVIDIA的DGX Spark，它旨在为开发者提供无干扰的开发环境，方便针对AMD或NVIDIA硬件进行测试。

与DGX Spark不同的是，Halo同时提供Linux与Windows版本。本次测试使用的是Linux版本，以下评价均基于该版本的使用体验。

操作系统

AMD提供的Halo预装Windows或Linux系统，搭配定制AMD BIOS。据AMD介绍，主机未锁定系统，用户可自行安装任意操作系统。唯一需要注意的是，AMD不会提供原厂系统镜像，因此用户无法在官方定制的Windows与Linux配置间切换。

系统启动后直接进入AMD Ryzen AI开发者中心，该中心作为软件安装、更新的控制面板，同时提供便捷的文档入口。

"最佳已知配置"（BKC）——开箱即用

除操作系统外，AI Halo与开发者中心还提供AMD的"最佳已知配置"（BKC）。这些配置经过AMD验证，确保所有预装软件、包与驱动相互兼容，为各类开发手册提供了干净、可靠的起点，也为入门用户省去了陷入"依赖地狱"的麻烦。

这一功能极大简化了上手流程，有望节省数小时的试错时间，无需再在网上查找过时教程。AMD AI开发手册则基于这些配置，引导用户进一步探索。

对比AI Halo与其他AI Max+ 395设备的AMD AI开发手册，可清晰看出Halo的目标用户定位：多数常规AI Max+设备的开发手册第一步是通过一系列命令行指令分配内存，而AI Halo将其简化为滑块（Linux）或下拉菜单（Windows）操作。需说明的是，Halo并未禁止用户手动配置或使用更复杂的设置，这种抽象设计虽可能隐藏实现细节与硬件原理，但为用户提供了循序渐进的入门路径。

AMD AI开发手册

AMD AI开发手册于今年发布，为使用AMD硬件的用户提供了探索AI工作流的简易教程。AMD正努力提升市场份额，这些手册旨在吸引新用户，或简化从其他平台的迁移流程。手册主要针对AI Halo，同时也提供适用于Radeon GPU的版本，即使仅用于了解硬件能力，也值得一读。

所有开发手册均发布在GitHub上，与其他AMD实用资源一同开放。AMD承诺将持续更新这些手册（如同最佳已知配置），并每月推出新内容。

我们使用AI Halo约10天，体验了其中数本手册。正如设计初衷，这些手册是熟悉系统与预装软件工具的便捷途径，且全程未遇到问题。

例如，有一本简单的手册介绍了AMD Sync工具——这是一种简化的远程连接方式，可通过网络连接Halo，查看实时指标、打开VSCode项目、启动Jupyter Labs项目或直接访问终端。这正是AI Halo作为AMD开发套件的优势所在：设置流程简单，只需在远程机器上安装AMD Sync并复制SSH信息即可。尽管通过SSH也能实现这些功能，但Halo的快速设置尤其适合频繁将系统重置为出厂状态的场景。

部分开发手册简介

《使用LM Studio运行与部署LLM》与《Lemonade入门》：LM Studio是一款流行的本地LLM管理工具，Lemonade则是AMD近期推出的简化LLM运行工具。这两本手册简短易懂，引导用户完成软件安装、运行时更新与首个模型下载，最终实现本地LLM的实际应用（如作为编程助手或通过OpenAI API交互）。
《使用VSCode与Qwen3-Coder进行本地LLM编程》：基于前两本手册中的本地LLM，将其与IDE中的Cline代理连接。若保持更新，这些教程对非AMD硬件用户也有参考价值，提供了搭建相关环境的完整步骤。
《入门指南》与《LLM微调》：进一步展示了硬件的预期用途，通过预装软件、驱动与模型，只需4-5步即可基于PyTorch运行LLM。

不过，这些手册并未深入讲解脚本工作原理或每一步的必要性，但这并非其核心目标。它们成功实现了快速配置依赖项，并提供"冒烟测试"验证系统正常运行。对于新手，手册还提供了"下一步建议"，引导用户继续探索。

软件整体体验

我个人非常认可Halo提供的软件与兼容性支持。我习惯从底层开始学习，但多次跟随教程后仍无法运行程序的经历令人沮丧。而最佳已知配置与开发手册提供了一个可随时回归的"安全状态"——即使操作失误导致依赖混乱，只需点击开发者中心的"系统重置"按钮即可恢复。

当然，需警惕过度抽象导致用户对后台运行机制一无所知，但Halo并未出现这种情况：它本质上仍是一台普通电脑，用户可完全自由地安装与配置所需内容。此外，BKC与开发手册也可为第三方教程提供统一的起点假设，降低用户进一步探索的难度。

从GitHub上的AI开发手册反馈来看，部分内容目前存在运行失败的问题，我们在测试中也遇到了类似情况。希望AMD能及时修复这些问题，否则将影响整个生态的实用性——这也是购买此类依赖未来支持的产品时需要注意的风险。

NPU的实际应用

最后，我们终于找到一款能真正利用NPU（神经处理单元）的设备。此前我们听过不少关于NPU的宣传，但所有演示均基于CPU或GPU运行。

借助AMD的Lemonade工具，我们成功在XDNA 2 NPU上通过AMD的FastFlowLM（FLM）运行了LLM。遗憾的是，NPU未提供使用情况监控数据，但我们观察到，在CPU/GPU几乎无负载的情况下，AI Max+ 395封装功耗最高达35 W，使用gpt-oss-20b-FLM模型时的令牌生成速度为20 token/s。

为何此前的演示多基于CPU/GPU而非NPU？其实NPU除名称外并无太多亮眼之处：其算力远低于GPU，但能效比显著更高，非常适合传感器（如摄像头）的快速处理任务，从而解放CPU与GPU以处理核心工作。

我们对此方向充满兴趣：这款开发套件搭载带NPU的Ryzen AI Max+ 395，而非高性能GPU，有望推动更节能的本地LLM发展。

附录A：USB-C供电与协商

AMD Ryzen AI Halo完全通过USB-C PD供电。这在几十年前或许令人惊叹，但如今USB-C已支持最高240 W供电。Halo配套的Delta ADP-240KB BA AC/DC适配器支持USB-C PD扩展功率范围（EPR），最高输出48 V/5 A。根据我们的测试，Halo从未超过200 W功耗，因此该适配器完全满足需求。

我们使用Infineon CY4500-EPR测量供电情况，并监控适配器与Halo之间的PD数据包：

适配器通电后，会发送SOURCE_CAPABILITIES消息，告知连接的设备（受电端）其支持的电压与电流模式。但此时仅显示标准功率范围（SPR）模式，最高20 V（5 A时为100 W）。
Halo发送EPR_MODE消息，请求适配器提供EPR模式支持，适配器随后回复完整的EPR能力。
Halo请求固定48 V输出模式，最高支持5 A，即最高240 W功率。

最有趣的是，Halo会持续向适配器发送EXTENDED_CONTROL_MESSAGE消息。我们曾在PD PPS与AVS中见过类似"心跳"或"保活"控制消息，但在固定电压输出模式下尚属首次见到。

AMD Ryzen AI Halo 深度评测：硬件规格与AI推理性能