从前车马慢完整的诗-看淘网

从前车马慢完整的诗:分词器选择研究了几种分词器，如ik分词器、ansj分词器和mmseg分词器，发现ik分词器效果最好。下面是一个例子：word:<>helloand more sa_____sdsd@4342 ahhh king gloory标准：这是跨度，ha，span，，，，___，__，King，，，，sdsdd，4342，啊，啊，啊，啊，啊，啊Mmseg_Maxword:这是跨度，ha，跨度，，，，，_，_，__，_，，，_，国王，荣耀，SDSD，4342，啊，啊，啊，啊，啊，啊ik_max_word:是的，span，ha，span，sa，duo，sa，king，king，glory，gloory，yao，sdsdd，4342，sdsdd@4342，ahhh，ahhh，ahhh，ahhh，ahhhansj：<，<，，，>>，<，span，>，and<，\，span，>，，，，，，_，，_，_，，，_，King，Glory，SDSD，@，4342，ah，ah，ah，ah在上面的示例中，ik和mmsg使用同一组字典。ansj和ik，mmsg不使用一组字典，也不配置停止词。本文中的中文分词器是ik分词器。分词器需要达到的效果1）短语可以精确匹配2）查找时间比标准时间短3）如果你要找的单词不在字典里，你必须查字典。4）如果数据出现在原始文本中，请务必全部检查。IK分词器精确匹配问题心理性把所有的单词都放进字典里，这样就可以用ik-max-u单词来索引数据。然后使用ik_smart查找短语，因为ik_smart数据是ik_max_单词的子集。我发现我使用ik_智能短语拆分器搜索句子（匹配短语），但没有找到任何，exo？是吗？为什么不？它是一个子集。官方网站解释匹配短语如下：与匹配查询一样，匹配短语查询首先分析查询字符串以生成一个术语列表，然后搜索所有术语，但只将包含所有搜索术语的文档保留在彼此相对的相同位置。这意味着当您使用match_短语查找单词时，请在要索引的单词所在的位置查找该单词。下面是一个例子：快乐和感激字面意思：快乐1，快2，音乐3，音乐4，感激5，感觉6，优雅7伊克·斯马特：快乐1，感激2从上面可以看出，ik-smart把句子分为两个词：幸福和感激，分别为1和2，ik-max-u表示幸福和感激，分别为1和4。根据匹配短语，这不匹配，因此找不到ik_智能短语分词，或者可以完全检查数据。好吧，既然伊卡·斯马特找不到，我就用伊卡·麦克斯这个词找总公司。使用上面的例子，当你寻找“幸福”时，你会发现你的ik-max-u词搜索不会产生和标准分词索引搜索一样多的结果。原因同上：找到这个词：快乐字面意思：快乐1，快2，快乐3在建立索引时，happy、fast和happy分别为1、2、4，搜索时单词的顺序为1、2、3，match-phrase认为它们不匹配，因此它不匹配。在线答案如果您有问题，请在线查找解决方案。几个博客已经指出这个匹配问题与匹配短语，有两种解决方案：1）标准分词器2）NGRAM分词器标准分词器是一种常见的汉字分词器。但是一个字，每个字对应的文档集是非常多的，如果数据量达到100亿，在交集、计算距离上，效果非常差。ngram分词器类似于标准分词器，它可以指定分词器的长度，然后以标准方式进行剪切。例如，“节日快乐”，我们指定的切割长度为2，NGRAM将被切割成“节日”、“斋戒日”、“节日快乐”。虽然每个令牌的文档数可以减少以进行查找，但存储量将大得多，并且不再支持模糊匹配匹配。就是地球。求解过程ik_max_word建立索引，但ik_smart找不到索引。原因是，ik-max-u单词将所有单词分开，而ik-smart只将一个单词分开。由于匹配短语本身的限制，ik_smart找不到它。我在构建它时使用ik_smart，在查找它时使用ik_smart，这样只要我在文本中有数据，如果我构建它并使用相同的分词方法查找它，我就能够查找它。经过测试，发现这类词汇也有很大的问题。也就是说，像“stealer”这样的词只分为两个标记：“stealer”和“person”，但“walker”也是一个词，在搜索“walker”时，数据不能完全检查。ik ou smart无法检查所有单词的原因是，只有一个可能的单词被识别，导致一些单词的查询不完整。ik_max_字可以解决这个问题。但是，ik_max_单词的问题是，如果搜索中的最后一个单词可以与原始文本中的下一个单词组合，则可能会导致问题。我们能把“ik-max”这个词分开吗？当然，可以为属性指定两种分词方法：卷发-xput'xxx/我的两个测试？漂亮的“-h”内容类型：application/json“-d”“映射”：。{“我的\类型”：。{“属性”：。{“ulluin”：。{“type”：“文本”，“字段”：。{ik“：”type“：”text“，”analyzer“：”ik_max_word”}}}}}}'这样，ulluin属性采用标准分词，即单字分词，ulluin.ik采用ik_max_字，即。先查询查询短语分段，如果一个单词中的第一个标记和最后一个标记，则该单词可能是原始单词的旁边或单词上的一个单词，因为ik-max-u单词找不到，则我们在ulluin查询中使用标准的单词分段，如果第一个标记和最后一个标记是单词，则它意思是你可以在ik_max_字中查询。这是一个测试：节日快乐，龙哥字面意思：快乐龙1，快乐龙2，快乐龙3节日快乐词：节日快乐2为什么还有问题？是吗？是吗？ik_max_word检测到的数据少于标准数据。同样，由于匹配短语的限制，“假日”和“快乐”的索引是1和3，而“假日”和“快乐”的搜索是1和2。这是一个很容易解决的问题，用匹配短语前缀查询，即：卷发-xget'xxx/我的测试和搜索？漂亮的“-h”内容类型：application/json“-d”{“查询”：。{“匹配\短语\前缀”：。{“ulluin”：。{查询：“节日快乐”}}}，请“尺寸”：1}'上面提到的ik_max_单词存在一个问题，即分类的单词比标准单词多。过滤掉单个分词后，效果大大提高。假设我们的字典没有四个分词，只有两三个词。例如中华人民共和国修订前：中国、中国、中国、中国、人民、中华人民共和国、共和国和国家修订：中国、中国、人民、共和国、共和国可以看出，修改后的效果比标准效果好得多，不仅令牌数量变少，而且大大减少了每个令牌对应的文档数量，减少了计算交叉点所需的数据量和所需的数据量。d计算距离。到目前为止，已经解决了ES中文分词的精确匹配问题。源代码修改：*修改ik以不支持次要语言的问题*在无法筛选的特殊字符之间修改中文字符。也就是说，原来的“节日快乐音乐”不能匹配“节日快乐”的问题。*修改量词并分隔数字。修改前“一天一天”分为“一天一天，一天一天”，修改后分为“一天一天，一天，每天”。从前车马慢完整的诗