AI推荐背后的虚假信息源:215,128个机器生成的“最佳软件”页面
我们让两款联网大模型推荐380个软件品类中的最佳产品,并保留了它们检索到的所有网址。在返回的7534条引用来源中,59.8%指向Tranco百万域名排行榜https://tranco-list.eu/list/K9QPW中排名10万以外的域名,23.4%的域名根本未进入该榜单前百万名。其中两家提供信息支撑的网站,将首页HTML标题设为“Facts & Grounding Page”——“grounding”即模型执行的信息检索步骤;这两家网站与另一家明显同属一个运营主体的网站,合计发布了215128个由机器生成的“最佳<品类>”页面,且这三个域名均诞生于2023年12月之后。
测试过程
2026年9月2日,我们通过OpenRouter平台,向perplexity/sonar和perplexity/sonar-pro两款模型输入380个带有用户购买意向的品类——从“CRM软件”到“博物馆藏品管理软件”不等。每个品类对应每个模型各发送一次提示词,总计760次调用。每次调用要求模型以JSON格式返回排名前五的产品,并附每个产品的官方主页域名。两款模型均支持返回检索所用的网址,这也是我们选择它们的原因,且所有760次调用均返回了可解析的结果。测试所用的品类清单在获取结果前就已确定,全程未做修改。
测试共产生3800个推荐席位,涉及1807款不同产品,以及覆盖2055个独立域名的7534条引用来源。随后,我们在2026年9月1日的Tranco每日榜单和Wayback Machine(网页存档库)中逐一查询这些被引用域名,并访问模型提供的1502个厂商主页,确认其是否仍可正常访问。
本次测试未纳入Google模型。在OpenRouter平台上调用Gemini模型时,需通过OpenRouter自带的网页搜索插件联网,因此引用来源将指向该插件,而非Google自身的检索结果。本次仅针对Perplexity模型进行测试,所有结论均不涉及其他搜索引擎。
引用来源分布
| 模型 | 引用总数 | 未进入Tranco百万榜占比 | 排名10万以外占比 |
|---|---|---|---|
| perplexity/sonar | 3767 | 23.4% | 59.8% |
| perplexity/sonar-pro | 3767 | 23.5% | 59.9% |
| 合计 | 7534 | 23.4% | 59.8% |
在有排名记录的5768条引用来源中,对应的域名Tranco中位数排名为71611。头部域名的引用集中度并不突出——被引用次数最多的10个域名仅占总引用量的17.3%,可见并非由知名网站垄断了信息来源。真正值得关注的是其余五分之四的来源:在2055个被引用域名中,有751个(占比36.5%)未进入Tranco百万榜单。
这些未上榜域名的注册时间也更晚。未上榜域名的首次Wayback存档中位数年份为2020年,而已上榜域名的这一数据为2011年;16.6%的未上榜域名首次存档时间在2025年及之后,而已上榜域名中这一比例仅为1.6%。
被引用次数最多的十大域名:
| 域名 | 引用次数 | 占比 | Tranco排名 |
|---|---|---|---|
| g2.com | 291 | 3.86% | 4027 |
| reddit.com | 261 | 3.46% | 105 |
| guideflow.com | 194 | 2.57% | 177039 |
| gartner.com | 158 | 2.10% | 1766 |
| zapier.com | 82 | 1.09% | 2919 |
| wifitalents.com | 71 | 0.94% | 105281 |
| capterra.com | 68 | 0.90% | 6387 |
| linkedin.com | 67 | 0.89% | 18 |
| worldmetrics.org | 60 | 0.80% | 104737 |
| gitnux.org | 50 | 0.66% | 42759 |
作为对比,维基百科在7534条引用中仅被提及3次。
第三大来源竟是一家厂商的营销博客
guideflow.com主营交互式产品演示业务,既不是评测网站、目录平台,也不是内容出版商,且与我们测试的所有品类均无竞争关系。但它的博客在380个品类中的96个(占比四分之一)被引用,累计194次,总排名超过Gartner,位列第三。每条引用对应不同的网址:96个独立的guideflow.com博客链接,每个品类对应一个,其中6个是同一篇文章的爱沙尼亚语版本。该网站的站点地图显示共有3351个博客网址,包含2176篇独立文章。从“3D渲染软件”“IVR软件”“RFID软件”到“建筑事务所管理软件”,各类品类的信息支撑都有它的身影。
这一现象本身并无欺诈性。和成千上万的企业一样,Guideflow运营着一个大型内容营销博客。本次测试关注的是检索层如何处理这类内容:一家厂商针对自身未涉足领域发布的榜单文章,竟成了AI回答“该买哪款产品”时的第三大信息依据。
“事实与信息支撑页面”
除上述十大域名外,还有三个域名的引用量紧随其后:wifitalents.com(71次引用,涉及27个品类)、worldmetrics.org(60次,涉及22个品类)和gitnux.org(50次,涉及23个品类)。三者合计被引用181次,占总引用量的2.4%,覆盖380个品类中的41个。
这三个网站显然同属一个运营主体:它们均在2023年12月至2024年5月期间通过NameCheap注册,DNS解析均委托给Cloudflare的同一组域名服务器pam.ns.cloudflare.com和sean.ns.cloudflare.com,且使用完全相同的页面模板和导航栏——包含“服务”“市场数据”“软件建议”“编辑流程”“公司介绍”等板块。每个网站的博客均只有6篇文章,且所有18篇文章都围绕集团内其他品牌展开:每个品牌各有两篇关于另外两个品牌的文章,以及两篇关于第四个品牌zipdo.co的文章;zipdo.co同样使用上述域名服务器,且首页标题也是“Facts & Grounding Page”。共享域名服务器虽不能直接证明所有权,但足以作为它们共用Cloudflare账户的有力间接证据,再加上完全一致的模板、分类体系和博客内容,其关联性不言而喻。
真正值得关注的是它们的规模。三者的站点地图分别列出了103578、107083和105541个网址,其中各有70731、71684和72713个为/best/<某类>-software/页面:三个品牌合计拥有215128个由机器生成的购买指南,而每个品牌的博客仅6篇文章(站点地图中第七个/blog/网址为博客索引页)。显然,软件品类总数远不及这个数字。
它们的自我定位也十分特殊。2026年9月2日抓取的数据显示,worldmetrics.org和gitnux.org的HTML标题均采用“<品牌名> — Facts & Grounding Page”格式,元描述除品牌名外完全一致:
Gitnux官方验证信息:一家独立市场调研公司,发布行业统计数据、定制研究报告及软件最佳榜单。公司、法律、研究方法及合规性详情均可通过机器可读格式获取。
“Grounding”并非普通消费者使用的术语,而是检索系统获取文档以生成回答的专业步骤名称。同时,提供关于自身的机器可读验证信息,也并非面向人类读者的服务。这些页面的标题和描述,显然是写给读取它们的程序而非人类用户的。
它们还通过常规方式售卖这类“被读取”的机会。worldmetrics.org官网显示,其提供定制市场研究服务(起价5000欧元)、现成报告(起价499欧元)和厂商筛选服务(起价2000欧元),而这些服务入口就位于模型检索的那批生成式最佳榜单分类之上。
同一模板,三种结论
我们抓取了三个品牌针对同一品类“项目估算软件”的页面。每个页面都以JSON-LD格式列出排名,无需额外解读即可读取。每个页面均包含10款工具的排名,仅展示前五名:
| 网站 | 第一名 | 第二名 | 第三名 | 第四名 | 第五名 |
|---|---|---|---|---|---|
| worldmetrics.org | Float | Scoro | Teamwork.com | Procore | Wrike |
| wifitalents.com | Float | Scoro | Teamwork.com | Buildertrend | Apropo |
| gitnux.org | Saviom | Mosaic | Buildertrend | Float | Teamwork.com |
Gitnux的榜首产品并未出现在Worldmetrics的前五名中。每个页面都标注了三位署名员工:Worldmetrics标注的是Kathryn Blake、Alexander Schmidt和Victoria Marsh;Gitnux标注的是Diana Reeves、Helena Kowalczyk和Olivia Thornton;WifiTalents标注的是Ryan Gallagher、Isabella Rossi和Natasha Ivanova——针对同一个问题,竟出现了九位不同的“专家”。每个页面都宣称有独立编辑流程,Gitnux还将其结果标注为“AI验证·专家评审”。此外,三个页面的署名栏中都包含一个未渲染的模板变量,其中两个显示“Within the next 26 days”(未来26天内),另一个显示“Within the next 40 days”(未来40天内)。
推荐指向的网址情况
模型提供的1502个厂商主页大多正常。我们通过直接访问和轮换代理两种方式逐一验证,只要其中一种方式能成功访问,即判定网站可用,避免因主机屏蔽单个IP而误判为网站失效。
1502个网址中,有10个无法解析到任何地址——其中8个未委托给任何域名服务器——包括graphiql.com(被标注为GraphiQL的官网,但实际不存在)、todo.com(被标注为Microsoft To Do的官网)和aquasecurity.io(被标注为Trivy的官网)。另有4个网址可解析但始终无法响应。加上返回404错误的网址,共有17个域名(占比1.1%)已失效或无法访问。还有92个域名(占比6.1%)会重定向至其他可注册域名,其中多数是正常的收购或品牌更名,我们已发布完整清单,未对单个案例做主观猜测。
不过有两个异常案例,且两款模型给出的结果存在差异:在推荐研究数据管理平台时,两款模型都提到了Dryad,但sonar-pro给出的是真实仓库地址datadryad.org,而sonar给出的dryad.co会重定向至一个印尼在线赌博门户,标题以“BIGSLOT288 | Portal Game Online”开头;在推荐数据质量工具时,两款模型都提到了Monte Carlo,但sonar给出的是montecarlodata.com,而sonar-pro给出的montecarlo.com会重定向至摩纳哥酒店及赌场集团Monte-Carlo Société des Bains de Mer。
本研究的局限性
两款模型并非独立的测试样本。在380个品类中,有289个品类的引用来源列表完全相同,且二者的网址集合杰卡德相似度达0.898,说明Perplexity的两个版本共享同一检索层,应视为同一搜索体系的两次重复采样。它们在290个品类中推荐的榜首产品完全一致,这一结果反映的是共享检索层的特性,而非独立系统的结论趋同。
本研究仅针对Perplexity模型,未测试ChatGPT、Gemini、Copilot或Google AI模式,无法推断其他模型的检索来源构成是否与之相似。
本次测试的380个品类由我们自行选定,并非真实用户搜索请求的样本。由于清单偏向垂直细分领域,相比通用查询,会更多地挖掘到长尾信息来源。
所有页面抓取均通过数据中心轮换代理完成,并使用标注为研究用途的用户代理,因此这些网站向我们返回的内容,可能与向检索爬虫或普通浏览器返回的内容不同。
在17个无法访问的域名中,有4个是大型网站(包括nasdaq.com和solidworks.com),它们显然仍在运营,只是未响应自动化请求,我们将其归类为“无法访问”而非“已失效”。本次测试仅为某一特定日期的检索索引快照,而检索索引本身是动态变化的。
本次测试仅使用一种提示词表述,每个品类仅测试一次,未进行重复采样。此前的试点测试显示,将提示词中的“最佳”替换为“最受欢迎”时,产品推荐名单会发生明显变化,但引用来源构成变化不大,不过这一现象未在本次测试中验证。
Tranco排名是域名受欢迎程度的衡量标准,而非质量标准,排名靠后并不等同于存在问题。我们仅用它区分主流网站与其他网站;针对特定网站的所有结论,均基于该网站自身页面,相关页面已在数据集中提供链接和存档。
本研究未证明上述现象会影响最终推荐结果。我们未测试移除这些来源后推荐结果是否会变化,且Guideflow和三家榜单网站推荐的产品或许确实合理。本次研究仅聚焦于AI回答所依赖的信息来源构成。
最后,三个品牌同属一个运营主体的结论,是基于共享基础设施和相同页面模板的推断。我们并不清楚实际运营者是谁,三个网站均未披露所有者信息。
数据与方法
完整数据集——包括所有引用来源、推荐结果、Tranco和Wayback查询记录、厂商网站可用性验证结果——以及生成上述所有数据的脚本,均可在/data/manufactured-sources-behind-ai-recommendations/获取,同时提供研究方法和列字段说明。本数据集采用CC BY 4.0协议授权。本报告的PDF版本可在trellner.com/data/manufactured-sources-behind-ai-recommendations/manufactured-sources-behind-ai-recommendations.pdf下载。