AI宝库

AI宝库首页 › AI 资讯 › 僵尸统计:AI引用的数字来自何处

僵尸统计:AI引用的数字来自何处

来源:Hacker News · 发布时间:10-29 · 由 AI宝库每小时自动聚合

文章 URL: https://trakkr.ai/trakkr-research/zombie-stats. 评论 URL:https://news.ycombinator.com/roble?id=50290283 评论点:89#评论:46

一个号码,跟随。

我们问了ChatGPT,Perplexity,Gemini,Claude和Google的AI概览200个需要数字的问题,就是人们每天问的那种问题。 附注1A 统计是助理人员声称为事实的份额、比率、平均数、计数或费用。 我们忽略了建议和价格(“节省你收入的20%”)。 然后我们点击引文,继续点击。 这里有一个线索,从答案到结尾。

Google AI 概览

在一次后续调查之后,销售人员放弃的比例是多少?

44%的销售人员在一次后续尝试后放弃。

- 44%

- 44%

- 44%

- 44%

- 44%

44%的销售人员在一次后续尝试后放弃(来源).

80%的销售需要5次会后后续电话;44%的销售人员在一次后续之后放弃

没有调查没有样本没有日期

- 在答复中,每个助理都有一个同样的问题:“在一次后续调查之后,销售人员放弃的比例是多少?” 所有5名助手都给出了同样的数字,只有ChatGPT 称背后的证据不清楚。

- 在Google AI Overviews中一击引用了一家销售公司的统计页面,从2020年开始。 号码就在那儿其“来源”链接涉及一个书面样本。

2017年,数字在它的头条。 它列出了两个幻灯片甲板,一个博客列表和两个新闻报道。 无一是对后续行动的研究。

这条路的尽头就是终点。 没有调查,没有样本,没有研究:我们尝试的每一个通往这个数字的路线都停留在一页没有引用任何研究。 照片里还有些数字,这是僵尸统计。

大部分数字不是僵尸。 但你无法从答案中分辨出:一个僵尸带着同样的自信和同样的引用,来到这里,所有五个助手都同意。 因此,我们在1,285项统计中也做了同样的事情。

不到一半到达那里。

我们随机抽取了每个助手所引用的1,285个统计数据样本,走的每条线索都一样:被引用的一页,然后是该页的来源,最深可达5页。 注2 每个助理的样本都是从所引用的统计数据中随机抽取的:ChatGPT 108,Perplexity 277,Gemini 300,Claude 300,Google AI Overviews 300. 5名助学率根据引用的统计资料对每个助学者进行加权,因此它描述了所显示的统计数据。 在一个没有链接的名为源的页面中,我们搜索了它。

40%的研究发现称也是一样另有8%进入研究范围,但数字或背景在路上有所变化。 其余的人从未到过那里:有40%的人停留在一个我们无法查证的源头,因为它被锁住、消失或对数字保持沉默,有11%的人一无所获。 注 3 A AI模型判断了每一条线索,而更强大的一个则重新判断了300条线索。 然后人们随机重新检查了150个线索,只要两人不同意,就进行第三次检查。 人们发现该模型错过了原作:仅通过模型,23%的来源。 这里的每个费率都通过手检查得到纠正,其范围带有两者的不确定性。

ChatGPT成绩最好,并引用了最少的数字:每回1.3,而Claude为6.8. 其他四人登陆率在38%至46%之间,过于接近排名。

我们的问题并不奇怪。 在Google AI Overviews对真实日常搜索的300个统计中,40%是来源,份额相同。 注:4Google AI Overviews回应了Trakkr在2026年9月25日至2026年10月25日期间追踪到的52,930个日常英语搜索。 4.4%的数据,我们追踪到300个同样的数据。 只有计数和费率离开我们的系统。

大赦国际援引的是副本,而不是研究报告。

大部分时间,AI没有编出数字:它引用的页面有82%的时间。 麻烦是哪页引用的一些网页中只有21%是研究本身。

超过一半是公司博客。 加上新闻报道和统计综述,大部分引用内容都出现在为收集别处的数据而建的网页上

踪迹从何而起决定所起。 从一家研究公司或政府网页上,它达到了匹配研究的61%. 从一个公司的博客,37%;从统计综述,35%. 甚至研究公司也少了38%的时间,常常是因为报告全文在表格后面。

一个引用告诉你AI从哪里找到一个号码,而不是这个号码的来源。

数字在路上变化。

访问研究并不一定意味着所持数字。 在获得的数据中,17%在路上有所变化。 数字四分之一只移动过一次通常是上下文:测量到的,年份,来源,或者问到谁。

改变的,我们记录的每一个变化

- 号码变了

- 26%

- 测量到的改变

- 20%

- 一年改变了

- 17%

- 源头变了

- 16%

- 谁被改了

- 14%

- 地方变了

- 4%

15名妇女判断健康网站成为每个网站的第一个印象。 三家公司成为了商业规则。 这里有我们所跟踪的最清楚的线索,每一个都用手检查。 注:5我们称原研究。 重复它们的页面按类型描述,而不是命名。 这些线索的每一步都用手在公开的网上检查,并保存存档副本。

僵尸们

问五个助手同样的问题,在所有五个人给出一个百分比的71个问题中的28个,我们得到了4个或5个不同的数字。 注6 我们比较了每个助理在同一问题的标题数字。 一个范围在中间算起,2分内的数字是相同的。

这不是一个奇怪的问题。 最高数字与最低数字之间的典型差距为16分。

协议是一种证明。 事实并非如此。 所有五个人给出了同样的数字对于10个问题,而我们追踪到的5个,2是来源。 他们最多重复的、有3个或更多人引用的统计资料没有更好:29个中有11个。

而4个被所有5个助手所引用,在他们身后没有任何研究。

AI统计有什么用?

视之为先导,而非从源。 取出六道习取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取出取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取来。取取取取取取取取取取取取取取取取取取取取取。取取取取取取取取取取取取取取取取取取取取

如果你用它们

- 跟着引用,然后再跟着它。 如果引用的页面是统计列表或公司博客,请使用自己的链接再往前走一页。 直到你到达研究本身

- 看看是谁问的,有多少,什么时候问的我们发现的大多数变化都发生在背景上,而不是数字上:一个国家的民调,一个十年的研究,15人。

- 不要把协议当作支票。 提供同样人数的5名助理并非5个来源。 他们最多重复的数字没有其他来源更好。

如果你出版的话

- 把方法放在号码旁边取出样本,取出日期和与出处的链接,与图同一页,于是取出下页,再取出下回回回回回回回回回。

- 把发现公开一份表格背后的报告是一个常见的死胡同:即使是从一家研究公司开始的踪迹也不足38%的时间。 将标题编号和方法放入开页。

- 看AI为你们的号码引用的哪一页通常都是一个综合体或博客复制你,那页决定人们听到什么。

本文由 AI宝库自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(trakkr.ai)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI宝库首页 · 提交工具 · 商务合作 · 关于本站 · 597 款 AI 工具分类导航 · 每日 AI 热门项目与动态