AI宝库

AI宝库首页 › AI 资讯 › 86%的字,你可能只懂38%的动画线

86%的字,你可能只懂38%的动画线

来源:Hacker News · 发布时间:11-01 · 由 AI宝库每小时自动聚合

文章 URL:https://learnfromx.com/research/anime-word-coverage-vs-lines-understood 评论 URL:https://news.ycombinator.com/item?id=503-20028 要点:42#Co.

86%的字,你可能只懂38%的动画线

报道会告诉你口语词的百分比,而不是你能听多少行。 以弗里伦等7个动能测量。

说想看"花花公子",于是学习了节目中最常用的500个单词。 一个覆盖计算器称,你现在知道85.9%的语句。

你做茶和新闻播放。 以下是你听到的三件事:

模糊之词倒出前五百。 跳过或拍出他们。

到了第三个暂停找一个字,你的茶已经凉了。 有了这500个字,你就会知道前3000行中的1,151个字中的每一个字。 这是38.4%的。 其他1,849行各包含至少一个你不知道的词。

两个数字都是真的

覆盖面是大多数学习网站引用的数字。 是说词的百分比,你知道的,所以一个粒子讲了上千次数。 Frieren 列表中最顶端的单词都是语法片段,比如\\(of,'s)和\(专题标记),所以仅前100个单词就给你68.3%的覆盖率。 你只会听8.5%的台词

三个数字描述的是同一个500个字:

manga-kotoba以这种方式建立其覆盖表。 jpdb和jiten也显示一个覆盖数字,虽然他们的帮助页面没有给出准确的公式。

覆盖范围和线路之间的差距来自线路长度。 一条弗里伦行平均有7个字。 须知七根相随。 85.9%的覆盖率,你了解整条线路的机会约为35%. 这是0.859乘以自身7倍。 它接近我们测得的38.4%的线。

试试看你想看的节目

粗线:所选节目中理解的行。 骗局:该节目的报导。 平分行:其他七行中理解行。 对于每个曲线,我们假设你先学会那个节目最常用的词。

所有8个显示都有这个缺口。 连载实验Lain的覆盖率达到95%,词数最少,为1 191个。 即使这样,你也会只听77.5%的台词。

有些显示需要的字比其他的要少得多

串行实验莱恩需要8个词中最少的一句话:大约400个得到你一半的行。 Jujutsu Kaisen需要980号车。

我们以3000行封杀每场演出,这样长篇演出不会因为有更多剧集而显得更难。 如果一个节目以后变得更难,它看起来比它更容易在这里。

你错过的许多台词都只差一个字

回佛来。 你错过了1 849行。 其中1 042个缺一字,即56.4%。 在所有显示中,这一数字从50.2%到63.9%。

从500到1000个字帮助你远远超出覆盖的暗示。 覆盖面只增加6.5分,因为这些新词不常出现。 线条理解得到22.1分,因为一个新词常常是您要遵循一行的最后一个词。

你不能用几个字来填补这些一字的空白。 这1,042行缺了804个不同的词。 你从一个单词得到的最多是4行,来自QQ(regret),QQ(承诺)和QQ(收集)等单词。

两千个普通的日语词最多能给你38%的行数

作为粗略的比较,我们从词freq列表中尝试了一般日语最常用的2000个词。 他们给你23.4%到37.6%的线路。 然后,我们尝试了每场节目的自己的前2000个字。 他们得到74.3%到93.3%的线路。 连环实验 Lain 的字数不到2000个,所以它不在第二个范围。

展出最上等之词能出出相。 弗里伦榜上第304位是"QQ",一位不守誓言的道士,这也是人物们一直叫来"海特"的。 21号是 Q (魔法),领先于活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活活

前几集的列表仍然做了三分之二的工作

说你从一个赛季学到一个节目的顶级词,然后继续到下一个赛季。 我们在四个显示测试了接近这个的东西有足够的线路我们从最初的3000行创建了每个列表,然后在接下来的3000行测试。 在弗里伦接下来的3000行上,旧的榜单获得22.3%,而从这些线条本身构建的榜单获得33.0%. QQ (exam)一词只出现在这些一行中一次,后有51次,因为角色稍后会进行mage考试。 通过这些显示,下降5.5到14.0分。

有几种含义的词使这些数字过高

许多词有几种含义,语言学家称之为多语种。 我们数了一个字,是已知的意思是行用。 在500个单词中,这两个弗里伦行都算作理解:"(我的手在发抖)"和"(我可以像书一样读取)". 你可以完全从第一行知道而在第二行仍然迷路一字不差地说,它称"仿佛把它拿在手中". 我们没有测量有多少行有这个问题。 仅此一项,所了解的行数太高。

我们怎么做到的

食谱

- 清除字幕,删除歌曲,格式化标签,括号中的任何内容和音乐指出。 将文字分为句子大小行。 删除重复行。

- 将每行都与日本自由活字机Sudachi一分为二。 我们用SudachiPy 6.6.11与SudachiDict-core 20260428在分化模式C. Our Python版本为3.13.7. 使用每个单词的词典表,所以QQ(went)和QQ(go)算作一个单词。

- 跳过标语,数字和任何东西 Sudachi标签作为一个正式的名字。

- 跳过填充器,如-(嘘)和-(哈) 当Sudachi将其标记为插音、副词或名词时,声音才算作填充符。 我们还在数结束的语法,它有一个不同的标记。 文章和日常的回答

- 抛出没有留下的字句,逐集排序,保留前三千行。

- 计算每个词出现的次数,然后排列它们。 按字母顺序断开领带

- 把顶尖的N字当成已知覆盖范围是已知的单词事件除以所有单词事件。 所理解的行是每个单词已知行的百分比。

整个事情在Python的29行

{\fn方正粗倩简体\fs12\an8\1cHFFFF00\b0}派普安装苏达奇皮斯

# 第.txt行:每行一行字幕行,按分集顺序,歌曲和重复被删除

# 填充器.txt:您自己不计数的声音列表,每行一个

从收藏导入计数器

从 sudachipy 导入词典,分拆模式

导入再

tok = 词典 (.) 创建 ()

fillers = set(打开("fillers.txt",编码="utf-8"). read (.split ()).

daf 单词(行):

输出 = []

m 为tok.tokenize(行,SplitMode.C):

pos = m.part_of_speech()

如果 pos [0] 在 ("QQ", "XXX", "XXX"") 中:继续 # punctuation

如果 pos[1] 在 (" ", " "):继续 # 名称,数字

如果不是 re.search(r"[0-9A-Za-z-ぁ-コト一-鿿々-]]),m. surface():继续

如果填充器中的m.表面 () 和 pos [0] 中的 (" ", " ", " "):继续

出局。 附录( m.

返回出来

线条 = [l.strip () 对于l在开口("行.txt",编码="utf-8")]

线条 = [l for l in if l][3: 00] # 前三千行有正字

计数 = 计数器(用行表示,用行表示,用行表示,用行表示)

known = {w for w, _ in sorted(count.items(), key=lambda x: (-x[1], x[0]))[:500]}

覆盖 = 和 (n 对于 w, n in count. items () 如果w in sold) /和 (count. values ())

understand=和 (所有(w)在行中为w)在行中为 / len(行)

打印( f) 覆盖:{覆盖:1.

运行在我们的弗里伦行,这印子85.9%和38.4%。 我们不存储未处理的字幕文件。 自己的字幕和填充列表会给您带来略有不同的数字。

所有的数字

每个细胞显示覆盖,然后行理解,在那许多已知的词。

已知的文字需要达到一定比例的行理解:

怎么会这样?

- "明白"的意思是你知道每个字它忽略了语法,kanji读取,说话速度和上下文。

- 我们假设你完全知道节目中最常用的词并且没有忘记任何。 如果你知道其他的字,或者忘了一些,这些数字会更低。 在观看之前,你还需要一份节目的词表。

- 每一行都算一个在节目中,你会听到股道像"(Yeah)"一遍又一遍,这可能会提高行理解。 我们没有测量这个。

台词来自每个节目的最早的剧集,没有跳过任何一集。 链锯人和串行实验 Lain的线路不足3000条,所以我们使用了他们所有的线路。 较少的行表示得分较高。 在500个单词中,其他显示在切到莱恩长度时得分最高可达4.8分。 系列实验 Lain的字幕质量较低,因此其数字的可靠性较低。

- 一些字幕文件重复了几分不同措辞的行,我们只删除了确切的重复。 删除相近的复制件也会改变500字理解的行,最多用2.2分。

- 确定什么才算填充者是判决如果将填充器算作单词,500个单词所理解的行数最多相差2.7分。 变化是双向的,因为我们数的线是转移的。

- 计算所听到的表格,这样,QQ和QQ分别计算,将5.3到7.7分的行数降低到500个字。

- 一个词无论它有多重要都算得上一个字,这使得覆盖度和线条理解都过高。 我们没有计算每行用哪行。 作为一种部分测试,我们对"Sudachi"给出的语音每个部分分别计算出一个单词,在500个单词中将所理解的行数降低为1.2到2.5分。 这个测试只捕捉到名词对动词的区别。

- Sudachi会犯错的它有时会把削减一个字变成碎片。 也把一些名字当作平凡的单词:QQ (Frieren)是她自己的榜单上第31名。 数出每一个词"Sudachi",在500个单词的最多0.6分时不承认为已知的新增。

学习fromx是一个闪卡应用教日语从动漫。 每张卡片都使用一行,除了一个新单词,你知道一切,这就是我们开始计算行数的原因。 上面的数字计算每个词一次,无论它有多重要。 这在应用程序里是行不通的:知道QQ是"那个",这是两张不同的牌。 还没有找到每个这样的词我们正在努力在早期访问期间,它提供一个节目"猎人X猎人".

本文由 AI宝库自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(learnfromx.com)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI宝库首页 · 提交工具 · 商务合作 · 关于本站 · 602 款 AI 工具分类导航 · 每日 AI 热门项目与动态