搜索引擎的分词技术有哪几类

百度搜索引擎分词技术(用百度的官方说法)是百度对于用户提交查询的关键词串进行的查询处理后,根据用户的关键词串用各种匹配方法进行处理的一种技术。简单点就是将一句话...
  百度搜索引擎分词技术(用百度的官方说法)是百度对于用户提交查询的关键词串进行的查询处理后,根据用户的关键词串用各种匹配方法进行处理的一种技术。简单点就是将一句话分解成若干个词语,如百度搜索引擎分词技术,我们就可以分解成百度,搜索,引擎,分词,技术;这五个词组。
  为什么需要分词,因为计算机不是人,然后中国汉字文化博大精深,为了让搜索引擎了解人所表达的意思,程序员们通过将中文分词指的是将一个中文序列切分成一个一个单独的词,分词即是将接连的字序列按照一定的规范重新组合成词序列的进程,从而判断出用户搜索的意图和内容,从而将符合用户需求的内容展现出来。
 大家都知道,在英文的行文中,单词之间是以空格作为自然分界符的,而中文仅仅字、句和段能通过明显的分界符来简略划界,唯独词没有一个形式上的分界符,尽管英文也同样存在短语的区分问题,不过在词这一层上,中文比英文要杂乱的多、艰难的多。
  中文分词是文本内容挖掘的基础,每当用户输入的一段中文,搜索引擎成功的进行中文分词,能够到达电脑自
  动识别语句含义的作用。中文分词技术属于自然语言处理技术范畴,对于一句话,人能够通过自己的知识有明白哪些是词,哪些不是词,但如何让计算机也能理解?这个处理方法即是分词算法。
  分词有很多种方法,三种是我们常用的,第一是基于字符串匹配的分词方法、词义分词法、统计分词法;目前百度是将三种算法结合在一起,构成一套分词算法系统。
  而现今的seo人员在编辑标题的时候一般都将考虑到搜索引擎分词算法,将一个个标准词用下划线_或者分号|来区分开来,这样搜索引擎和用户在阅读过程中能简单清晰从短语或词组中找到自己想要的内容。
#分词 #几类 #搜索引擎 #技术

评论0

首页 导航 会员 客服
QQ客服 TOP