Lucene

简介

Lucene 是一个开源的全文检索引擎工具包,最初由Doug Cutting 开发。早在1997 年,资深全文检索专家Doug Cutting 用一个周末的时间, 使用Java 语言创作了一个文本搜索的开源函数库,目的是为各种中小型应用软件加入全文检索功能。不久之后,Lucene 诞生了,2000年Lucene 成为Apache 开源社区的一个子项目。随着Lucene 被人们熟知,越来越多的用户和研发人员加入其中,完善并壮大项目的发展,Lucene 已成为最受欢迎的具有完整的查询引擎和索引引擎的全文检索库。

特点

稳定,索引性能高

现代硬盘上每小时能够索引150GB 以上的数据。

对内存的要求小—只需要1 MB 的堆内存。

增量索引和批量索引一样快。

索引的大小约为索引文本大小的20%􃀜30%。

高效、准确、高性能的搜索算法

搜索排名—最好的结果显示在最前面。

• 许多强大的查询类型:短语查询、通配符查询、近似查询、范围查询等。

• 对字段级别搜索(如标题,作者,内容)。

• 可以对任意字段排序。

• 支持搜索多个索引并合并搜索结果。

• 支持更新操作和查询操作同时进行。

• 灵活的切面、高亮、join 和group by 功能。

• 速度快,内存效率高,容错性好。

• 可选排序模型,包括向量空间模型和BM25 模型。

• 可配置存储引擎。

跨平台解决方案

•作为Apache 开源许可,在商业软件和开放程序中都可以使用Lucene。

• 100%纯Java 编写。

• 对多种语言提供接口。

架构

主要可以分为三部分

1,信息收集

2,信息处理,也就是分词创建索引的过程

3,用户查询

如下图:

Lucene 索引

索引文档就是把文档变成索引这种数据结构的过程。文档是Lucene 索引的基本单位,比文档更小的单

位是字段,字段是文档的一部分,每个字段由3 部分组成:名称(name) 、类型(type) 和取值

(value)。

字段类型

TextField

TextField 会把该字段的内容索引并词条化,但是不保存词向量。比如,包含整篇文档内容的body

字段,常常使用TextField 类型进行索引。

StringField

StringField 只会对该字段的内容索引,但是并不词条化,也不保存词向量。字符串的值会

被索引为一个单独的词项。比如,有个字段是国家名称,字段名为“country” ,以国家“阿

尔吉利亚”为例,只索引不词条化是最合适的。

IntPoint

IntPoint 适合索引值为int 类型的字段

LongPoint

类似于IntPoint 。适合索引值为long的字段

SortedDocValuesField

存储值为文本内容的DocValue 字段,SortedDocValuesField 适合索引字段值为文本内容并

且需要按值进行排序的字段。

NumericDocValuesField

存储单个数值类型的DocValues 字段,主要包括(int,long , float , double ) 。

SortedNumericDocValuesField

存储数值类型的有序数组列表的DocValues 字段。

StoredField

storedField 适合索引只需要保存字段值不进行其他操作的字段。

注:DocValues 是Lucene 4.X 版本以后新增的重要特性,我们都知道,Lucene 是使用经

典的倒排索引的模式来达到快速检索的目的,简单地说,就是建立词项和文档id 的关系映射,

在搜索时,通过类似hash 算法来快速定位到一个搜索关键词,然后读取文档id 集合,这样搜

索数据是非常高效快速的, 当然它也存在一定的缺陷。假如我们需要对数据做一些聚合操作,

例如排序、分组时, Lucene 内部会遍历提取所有出现在文档集合的排序字段,然后再次构建

一个最终的排好序的文档集合,这个过程全部维持在内存中操作,而且如果排序数据量巨大的

话,非常容易造成内存溢出和性能缓慢。基于此,在lucene 4.X 之后出现了DocValues 这一新

特性,DocValues 其实是Lucene 在构建索引时额外建立一个有序的基于document=>field/value

的映射列表。在构建索引时会对幵启docvalues 的字段额外构建一个已经排好序的文档到字段

级别的一个列式存储映射,它减轻了在排序和分组时对内存的依赖,而且大大提升了这个过程

的性能,当然它也会耗费一定的磁盘空间的性能,当然它也会耗费一定的磁盘空间。

分词系统

在Lucene中,索引和查询都是以词项为基本单位,词项是词条化的结果。在Lucene中,分词主要依靠Analyzer类解析实现。Lucene中提供的分词方法只要如下:

•StopAnalyzer(停用词分词器)

StopAnalyzer能过滤词汇中的特定字符串和词汇,并且完成大写转小写的功能。.

•StandardAnalyzer(标准分词器)

StandardAnalyzer根据空格和符号来完成分词,还可以完成数字、字母、E-mail地址、IP地址以及中文字符的分析处理,还可以支持过滤词表,用来代替StopAnalyzer能够实现的过滤功能。

•WhitespaceAnalyzer(空格分词)

WhitespaceAnalyzer使用空格作为间隔符的词汇分割分词器。处理词汇单元的时候,以空格字符作为分割符号。分词器不做词汇过滤,也不进行小写字符转换。实际中可以用来支持特定环境下的西文符号的处理。由于不完成单词过滤和小写字符转换功能,也不需要过滤词库支持。词汇分割策略上简单使用非英文字符作为分割符,不需要分词词库支持。

•SimpleAnalyzer(简单分词)

SimpleAnalyzer具备基本西文字符词汇分析的分词器,处理词汇单元时,以非字母字符作为分割符号。分词器不能做词汇的过滤,只进行词汇的分析和分割。输出的词汇单元完成小写字符转换,去掉标点符号等分割符。在全文检索系统开发中,通常用来支持西文符号的处理,不支持中文。由于不完成单词过滤功能,所以不需要过滤词库支持。词汇分割策略上简单使用非英文字符作为分割符,不需要分词词库的支持。

•CJKAnalyzer(二分法分词)

内部调用CJKTokenizer分词器,对中文进行分词,同时使用StopFilter过滤器完成过滤功能,可以实现中文的多元切分和停用词过滤。

•KeywordAnalyzer(关键词分词)

把整个输入作为一个单独词汇单元,方便特殊类型的文本进行索引和检索。针对邮政编码、地址等文本信息使用关键词分词器进行索引项建立非常方便。

各种分词器的分词效果可以参考:https://github.com/839284824/practice-study/tree/master/src/main/java/middle/lucene

创建索引

Lucene索引文档要依靠一个IndexWriter对象,创建IndexWriter需要提供两个参数,一个是IndexWriterConfig对象,该对象可以设置创建索引使用哪种分词器,另一个是索引的保存路径。
IndexWriter对象的addDocument()方法用于添加文档,该方法的参数为Document对象。IndexWriter对象一次可以添加多个文档,最后调用commit()方法生成索引

代码参考:https://github.com/839284824/practice-study/tree/master/src/main/java/middle/lucene/index

删除索引

删除与更新和新增一样,也是通过IndexWriter*对象来操作的,IndexWrite对象的deleteDocuments()方法用于实现索引的删除,updateDocument()方法用于实现索引的更新。

directory=FSDirectory.open(indexPath)
IndexWriterindexWriter=new ndexWriter(directoryicw);
indexWriter.deleteDocuments(newTerm(field,key));
indexWriter.commit();
indexWriter.close();
System,out.printIn(“删除完成!n);`

除此之外,IndexWriter还提供了以下方法:
•DeleteDocuments(Queryquery):根据Query条件来删除单个或多个Document。
•DeleteDocuments(Query[]queries):根据Query条件来删除单个或多个Document
•DeleteDocuments(Termterm):根据Term来删除单个或多个Document
•DeleteDocuments(Term[]terms):根据Term来删除单个或多个Document。
•DeleteAll():删除所有的Document。
使用IndexWriter进行Document删除操作时,文档并不会立即被删除,而是把这个删除动作缓存起来,当IndexWriter.CommitO或IndexWriter.CloseO时,删除操作才会被真正执行。

更新索引

索引更新操作实质上是先删除索引,再重新建立新的文档。

indexWriter.updateDocument(newTerm(“title”,”doc”,”北大”))
indexWriter.commit();
indexWriter.close()`

IndexWriter对象和Document对象,通过updateDocument()方法完成更新操作。Term对象用于定位文档,查找title中含有“北大”的文档,然后用新的文档替换原文档,这样就完成了索引的更新操作。

索引的查询

文档索引完成以后就可以对其进行搜索,当用户输入一个关键字,搜索引擎接收到后,并不是立刻就将它放入后台开始进行关键字的检索,而应当首先对这个关键字进行一定的分析和处理,使之成为一种后台可以理解的形式,只有这样,才能提高检索的效率,同时检索出更加有效的结果。

QueryParser

在Lucene中,处理用户输入的查询关键词其实就是构建Query对象的过程。Lucene搜索文档需要实例化一个IndexSearcher对象,IndexSearcher对象的search()方法完成搜索过程,Query对象作为search()方法的参数。搜索结果会保存在一个TopDocs类型的文档集合中,遍历TopDocs集合输出文档信息。

IndexSearchersearcher=new工ndexSearcher(reader)
AnalyzeranalyzerQueryParserparser=newQueryParser(field,analyzer)
parser.setDefaultOperator(Operator.AND);
Queryquery=parser.parse(“农村学生”);//查询关键词
TopDocstopDocs=searcher.search(query,10);

QueryParser实际上就是一个解析用户输入的工具,可以通过扫描用户输入的字符串生成Query对象。当使用QueryParser构建用户Query时,要搜索的field和analyzer对象作为参数传入QueryParser类,告诉QueryParser在哪个字段内查找该关键字信息以及搜索时使用什么样的分词器。
QueryParser可以搜索单个字段,MultiFieldQueryParser则可以查询多个字段。
String[]fields={"title",’’content"}
Analyzeranalyzer=newIKAnalyzer6x(true)
MultiFieldQueryParserparser=newMultiFieldQueryParser(fields,analyzer)

词项搜索(TermQuery)

TermQuery是最简单也是最常用的Query。TermQuery可以理解成为“词项搜索”,在搜索引擎中最基本的搜索就是在索引中搜索某一词条,而TermQuery就是用来完成这项工作的。
要使用TermQuery进行搜索首先需要构造一个Term对象
Termterm=newTerm("title","美国)
然后使用Term对象为参数来构造一个TermQuery对象
QuerytermQuery=newTermQuery(term)

布尔搜索(BooleanQuery)

BooleanQuery也是实际开发过程中经常使用的一种Query查询,它其实是一个组合的Query,在使用时可以把各种Query对象添加进去并标明它们之间的逻辑关系。

范围搜索(RangeQuery)

RangeQuery表示在某范围内的搜索条件,实现从一个开始词条到一个结束词条的搜索功能,在查询时“开始词条”和“结束词条”可以包含在内也可以不被包含在内。
如:查询回复数在500-1000之间的文档
QueryrangeQuery=IntPoint.newRangeQuery("reply",500,1000)

前缀搜索(PrefixQuery)

PrefkQuery就是使用前缀来进行查找的。通常情况下,首先定义一个词条Term。该词条包含要查找的字段名以及关键字的前缀,然后通过该词条构造一个PrefixQuery对象,就可以进行前缀查找了。查询包含以“学”开头的词项的文档,构造Query对象的代码如下:
Termterm=newTerm("title","学”)
QueryprefixQuery=newPrefixQuery(term)

多关键字搜索(PhraseQuery)

PhraseQuery.Builderbuilder = new PhraseQuery.Builder();
builder.add(newTerm("title","日本"),2);
builder.add(newTerm("title","美国,’),3);
PhraseQueryphraseQuery=builder.build();

模糊搜索(FuzzyQuery)

Term term =new Term("title","Tramp");
FuzzyQuery fuzzyQuery = new FuzzyQuery(term);

通配符搜索(WildcardQuery)

WildcardQuery wildcardQuery = new WildcardQuery(newTerm(field,"学?")