停用词是指在信息检索中,为节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为Stop Words(停用词)。这些停用词都是人工输入、非自动化生成的,生成后的停用词会形成一个停用词表。但是,并没有一个明确的停用词表能够适用于所有的工具。甚至有一些工具是明确地避免使用停用词来支持短语搜索的。
第二,对切分结果进行停用词消除;
Second, we delete the stop-words from the segmentation result.
在筛选出的文本中,经过分词、去除停用词等处理后,选取二元词串作为特征;
In those texts, we select bigram as feature after Chinese word segmentation, deleting stop word and other process.
系统分为六个模块:(1)文本预处理模块,针对文档进行分词,停用词过滤;
This System is divided into six modules:(1)Text preprocessor, slicing the words in the document, filtering the stop-word;
应用推荐