ES中的分词器研究

技术文章 10个月前 完美者
1,518 0

标签:进一步   过滤   dex   rac   分词   ted   分析器   分析   index   

全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器), 这些Token会被进一步处理, <br>  比如转成小写等, 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词), 文档中包含了几个这样的Term被称为Frequency(词频)。 <br>  引擎会建立Term和原文档的Inverted Index(倒排索引), 这样就能根据Term很快到找到源文档了。 文本被Tokenizer处理前可能要做一些预处理,<br>   比如去掉里面的HTML标记, 这些处理的算法被称为Character Filter(字符过滤器), 这整个的分析算法被称为Analyzer(分析器)。

ES中的分词器研究

标签:进一步   过滤   dex   rac   分词   ted   分析器   分析   index   

原文地址:https://www.cnblogs.com/maowuyu-xb/p/14118967.html

版权声明:完美者 发表于 2020-12-16 12:35:37。
转载请注明:ES中的分词器研究 | 完美导航

暂无评论

暂无评论...