Subword算法

最新推荐文章于 2026-06-29 21:19:11 发布
原创 最新推荐文章于 2026-06-29 21:19:11 发布 · 538 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#人工智能
subword系列算法
u013596454的博客
09-28 928
1. 前言  nlp领域目前已经发展到一个非常高的层次了，这个层次不仅仅是模型和数据方面，还涌现出了很多非常巧妙的trick，这篇文章就记录一下关于tokenization方面的工作。  所谓的tokenization其实就是将文本切分成words或者subwords，然后转成ids以便模型处理。最初的nlp分词非常简单，对于英语类以空格分割的语言来说，简单的以空格进行分割就行，不过这样简单的处理还存在一些问题，比如说*“Don’t you love ???? Transformers? We sure d
有必要了解的Subword算法模型
BoCong-Deng的博客
12-05 2537
在NLP领域，对语料进行预处理的过程中，我们需要进行分词和生成词典。很多时候用多了框架的API，觉得分词和生成字典就是调用的事情，不过事情并没有那么简单，比如其中涉及到的未登录词的问题，就对任务性能影响很大。一种很朴素的做法就是将未见过的词编码成#UNK ，有时为了不让字典太大，只会把出现频次大于某个阈值的词丢到字典里边，剩下所有的词都统一编码成#UNK 。
理解 NLP Subword算法：BPE、WordPiece、ULM
饲养员的小熊猫博客
04-19 1048
前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配。所以作为NLP界从业者，有必要了解下Subword算法的原理。 1. 与传统空格分隔tokenization技术的对比 传统词表示方法无法很好的处理未知或罕见的词汇（OOV问题）。 ...
Subword三大算法原理：BPE、WordPiece、ULM
lwgkzl的博客
09-18 1406
前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配。所以作为NLP界从业者，有必要了解下Subword算法的原理。 目录 与传统空格分隔tokenization技术的对比 Byte Pair Encoding WordPiece Unigram Language Model 总结 1. 与传统空格分隔tokenization技术的对比
NLP Subword三大算法原理：BPE、WordPiece、ULM
夕小瑶科技说
02-16 5213
一只小狐狸带你解锁NLP/ML/DL秘籍正文作者：Luke正文来源：https://zhuanlan.zhihu.com/p/86965595前言Subword算法如今已经成为了一个重要...
token生成算法_有必要了解的Subword算法模型
weixin_39707693的博客
12-06 699
说明：讲解时会对相关文章资料进行思想、结构、优缺点，内容进行提炼和记录，相关引用会标明出处，引用之处如有侵权，烦请告知删除。转载请注明：DengBoCongSubword算法在预训练语言模型中有着不小的地位，它在分词和字典方面的优化改进带来的影响，间接或直接影响着任务最终的性能效果，因此，作为NLP研究者或开发者，有必要了解下Subword算法的原理。介绍在NLP领域，对语料进行预处理的过程中，我...
【NLP Subword】三大算法原理：BPE、WordPiece、ULM
zenRRan的博客
02-17 537
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要11分钟跟随小博主，每天进步一丢丢编辑：夕小瑶的卖萌屋正文作者：Luke正文来源：https://zhuanlan.zhihu.co...
Subword算法:BPE,WordPiece,ULM
qq_38317254的博客
06-10 1129
本文基本转载于 深入理解NLP Subword算法：BPE、WordPiece、ULM bpe分词 子词技巧：The Tricks of Subword 1. 传统的空格分隔的tokenization技术对比 传统词表示方法无法很好的处理未知或罕见的词汇（OOV, out-of-vocabulary：不在词库） 传统的tokenization方法不利于模型学习词缀之间的关系：E.g. 模型学到的“old”, “older”, and “oldest”之间的关系无法泛化到“smart”, “sma
深入理解NLP Subword算法：BPE、WordPiece、ULM
weixin_44966641的博客
09-18 688
深入理解NLP Subword算法：BPE、WordPiece、ULM
bp算法和nlp算法_NLP中的subword算法及实现
weixin_33364018的博客
12-30 627
最近在做机器翻译相关的工作，发现subword算法在NLP各大任务中无处不在。既然要用到并且用好subword，这里就重点捋一遍关于subword的算法以及几个开源的实现。1.word、subword和character在神经机器翻译中，通常有一个固定的词表，并且模型的训练和预测都非常依赖这个词表。在神经网络的训练过程中，需要对词表中每个词做向量表，每个词对应不同的向量，即embedding的过程...
NLP中Subword算法：WordPiece、BPE、BBPE、SentencePiece详解以及代码实现
TFATS的博客
09-17 1211
本文将介绍以下内容： 1. Subword与传统tokenization技术的对比 2. WordPiece 3. Byte Pair Encoding (BPE) 4. Byte-level BPE(BBPE) 5. SentencePiece 以及各Subword算法代码实现
自然语言处理中的Tokenizer全面解析：从基础概念到Subword算法
2403_88851185的博客
10-09 1525
1.以单词为单位对文本进行划分，并在每个单词后面添加结束符</w>2.再以字符为单位对每个单词进行划分（包含结束符），并统计每个单词的频率。并且初始化基础词汇表（包含最开始的字符和结束符）3.开始迭代合并计算每个相邻子词的频率（最开始每个字符就是一个子词）找到频率最高的相邻对（如果存在频率相同的，随便取个）将频率最高的相邻对合并为一个新的子词，并将其添加到词汇表中在后续的所有单词中，使用这个新的子词来替换之前的相邻对重复该过程。
Subword算法之WordPiece、Unigram与SentencePiece
printf_huf的博客
10-11 976
本文深入探讨了三种Subword分词算法：WordPiece、Unigram和SentencePiece。WordPiece是BPE的变种，通过互信息选择合并，被BERT等模型采用；Unigram采用逆向思维，从大词表逐步删除低效子词；SentencePiece统一处理多语言文本，无需预分词。文章详细解析了各算法的训练流程、核心思想、优缺点及代码实现，并提供了选择建议：BPE/WordPiece适合通用场景，Unigram适用于概率化分词，SentencePiece擅长处理非空格分隔语言。通过技术对比和实例
【深度学习】Subword Tokenization算法
Dong_ZH的博客
03-10 5203
BPE最早是一种数据压缩算法，由Sennrich等人于2015年引入到NLP领域并很快得到推广。该算法简单有效，因而目前它是最流行的方法。GPT-2和RoBERTa使用的Subword算法都是BPE。BPE算法的步骤如下：1.给定的数据集中抽取单词以及相应的频次，并确定词表大小；2.将单词拆分为字符序列，比如英文中26个字母加上各种符号，这些作为初始词表；3.将所有字符序列中的字符不重复地添加到词表中，选择并合并频次最高的相邻字符对；4.重复步骤3直到满足词表大小。3-1-2 BPE实例。
Subword算法: bpe与bbpe
m0_74053237的博客
10-09 649
子词切分算法BPE与BBPE比较分析：BPE以字符为初始单元，通过合并高频字符对构建子词，适用于单语言场景；BBPE则基于UTF-8字节实现，初始词汇表固定256个字节，支持任意文本处理，成为GPT等大模型的主流选择。二者核心区别在于初始处理单元（字符vs字节），BBPE在多语言支持方面具有明显优势。BPE适用于简单字符集场景，而BBPE凭借其通用性成为大语言模型的首选子词切分方案。
NLP 三大Subword分词算法 (BPE、WordPiece、ULM) 原理与代码实现（面试必考知识点）
weixin_43646592的博客
11-13 1701
NLP 三大Subword分词算法 (BPE、WordPiece、ULM) 原理与代码实现（面试必考知识点）
LLM大模型-Tokenizer及其分类与常见算法Word-based Tokenization、Character-based Tokenization、Subword-based Tokeniza
2202_75674969的博客
09-08 1549
Tokenizer（分词器）是大模型处理文本的关键组件，负责将原始文本转换为模型可理解的数字格式。主要分为三类分词方法：基于词的分词（Word-based）简单高效但难以处理未登录词；基于字符的分词（Character-based）可处理任意字符但计算量大；基于子词的分词（Subword-based）通过BPE、WordPiece等算法平衡了词汇表大小和语义表达能力，成为现代大模型的主流方案。不同分词方法各有优劣，选择取决于任务需求，如文本分类适合词级分词，而机器翻译等复杂任务更适合子词分词。理解Token
NLP中的subword算法及实现
匿名用户
09-19 373
character-level模型试图使用26个字母加上一些符号去表示所有的词汇，相比于word-level模型，这种处理方式的粒度变小，其输入长度变长，使得数据更加稀疏并且难以学习长远程的依赖关系。word-level模型导致严重的OOV，而character-level模型粒度又太小，那么subword-level的处理方式就应运而生。将词划分成字词的形式，能够大大降低词典的大小。同时，这种word-level的处理方式并不能通过增大词表真正解决OOV的问题，因为再大的词典不能真正覆盖所有的词汇。
NLP Subword 之 WordPiece 算法原理
TFATS的博客
09-15 1040
本文介绍以下内容： 1. WordPiece 与 BPE 的区别 2. WordPiece 算法原理 3. WordPiece 算法流程 4. WordPiece 算法源码实现Demo
15_项目实战一_用LangChain搭建个人知识库问答助手
最新发布
yang13739765227的博客
06-29 367
文档 -> 切分 -> 向量化 -> 向量库 -> 检索 -> 拼 Prompt -> 模型生成答案但真正做一个个人知识库问答助手时，你会发现问题不止这些。用户不是只放一个.txtPDF 论文。Word 需求文档。Markdown 技术笔记。会议纪要。项目说明。API 文档。个人学习资料。这篇文章讲了什么？根据我上传的所有资料，LangGraph 和 LangChain Agent 的区别是什么？支持多格式文档加载。自动切分长文档。为每个 chunk 保存来源信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值