Lucene4.1视频学习-创新互联
2.Filed Index(索引选项):
Index.ANALYZED:进行分词和索引,适应于标题,内容等
Index.NOT_ANALYZED:进行索引,但是不进行分词,比如说身份证号,姓名等,用于精确查找
Index.ANALYZED_NOT_NORMS 进行分词但不存储norm信息,该信息包括创建索引时间和权值等内容
Index.NOT_ANALYZED_NOT_NORMS:不进行分词也不存储norm信息
Index.NO 不进行索引
3.IndexReader indexr = IndexReader.open(directory);
读取文档数量 indexr.numDocs();
文档总数量 indexr.maxDocs();
删除的文档数量 indexr.numDeleteDocs();(通过deleteDcoument删除的文档不会彻底删除,保存在*.del文件中)
可以按如下代码恢复通过deleteDocument删掉的文档:
IndexReader index = IndexReader.open(directory,false);(布尔类型的值是设置readonly的)
reader.undeleteAll();(此时文档恢复,*.del消失)
通过forceMergeDeletes()删除的文档无法恢复(在3.5之前是通过optimize()方法来实现的,只不过消耗资源,3.5之后弃用)
4.updateDocument 操作实际上为先删除后添加
indexr.updateDocument(term,doc);
term为要删除的内容,doc为添加的内容,故两者id可以不同
5.添加数字类型的域 NumericField(String name , Store store ,boolean index)
doc.add(new NumericField("content" , Field.Store.YES , true).setIntValue("value"));
数字类型的范围查询
Query queryPrice = NumericRangeQuery.newDoubleRange(ProductIndexFields.price.toString(), Double.valueOf(priceFrom.trim()), Double.valueOf(priceTo.trim()), true, true); 参数表示的内容依次为下限,上限,下限区间的开闭,上限区间的开闭
6.doc.setBoost();添加索引的时候设置boost ,然后存储在索引文件中
search的时候获取boost是1.0 原因是两个document已经不同,一个是索引文件中存储的,一个是用search.doc(docId)获取的
7.为了节省reader打开和关闭需要的时间,可以创建一个单例的indexReader,不进行关闭,
也就是一个项目只有一个单独的indexReader
private static IndexReader reader= null ;
在构造方法内初始化reader即可
然后可以在方法中如下写:(openIfChanged方法:如果reader发生变化,则重新打开新的reader , 否则返回null)
if(reader == null){
reader = IndexReader.open(directory);
}else{
IndexReader ir = IndexReader.openIfChanged(reader);
reader.close();
if(ir != null) reader = ir ;
}
即可实现动态建立reader,查看进行更新 删除后的结果
也可以实现一个单独的indexWriter ,此时不能用indexWiter.close()来实现提交writer
改变索引之后,需要indexWriter.commit()来实现数据的实时删除更新
一般用writer删除索引内容
查询:
1.TermQuery(Term) 基本查询 精确匹配 有什么查什么
2.TermRangeQuery(field , start , end , 开区间/闭区间 , 开区间/闭区间 ) 范围查询 无法查询numField的索引
TermRangeQuery("name" , "a" ,"s" , true ,true )查询a开头s结尾的
3.NumricRangeQuery 查询数字范围的 Query query = NumricRangeQuery.newIntRange(filed , end , 开区间/闭区间 , 开区间/闭区间)
4.PrefixQuery(Term) 匹配每个单词的前缀(索引的时候会把一句话分成一个个单词)
5.WildcardQuery(Term) 可以在传入的value中使用通配符 ? 一个字符 * 任意多个字符
6.BooleanQuery 可以组合多个query
7.PhraseQuery 短语查询 可以依靠一句话中的几个单词和中间隔的位置来查询
PhraseQuery query = new PhraseQuery();
query.setSlop(1); //设置中间隔的位置数
query.add(new Term("content","i"));
query.add(new Term("content","you")); 则可以查出 I love You(index 的时候会变成 i love you)等内容
8.FuzzyQuery(Term) 模糊查询 可以匹配跟value有一个不同的模糊查询,最多两个
比如 make , 可以查出 mike jake等内容 还有其他设置可以进行
QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35))
Query query = parser.parse(keyword);
对于keyword
1.空格默认or a b 就是包含a或者b a AND b 就是包含a和b
2.name:mike 在name中搜索含有mike的
3.email:*@corezon.com 在email中查询以corezon邮箱结尾的(前提是设置parser.setAllowLeadingWildCard(true),
不然*开头会使query消耗过大而默认关闭此情况);
4.- name:mike +content:football: name中不含有mike ,但是content中含有football的
5.id:[1 TO 3] :匹配id从1 到3闭区间 也就是 1 2 3
6.id:(1 TO 3) :匹配id从1 到3开区间 也就是 2
7.""i like football"" :匹配含有 i like football的 短语的匹配
8.""i football"~1" :匹配i 和 like 之间有一个单词的
以上内容只是匹配string类型的索引的
从某一个ScoreDocs开始得到size为20的topdocs
TopDocs td = searcher.searchAfter(lastsd,query,size)
11.TokenStream 分词器做好处理之后得到的一个流,这个流中存储了分词的各种信息,
可以通过TokenStream有效的获取分词单元信息
Tokenier主要负责接收字符流reader ,将数据转化为语汇单元
Tokenfilter 对已经分好的词进行过滤 比如大小写 ……
12.主要的分词器:
StandardAnalyzer StopAnalyzer WhitespaceAnalyzer SimpleAnalyzer
13.自定义停词分词器
中文分词器
近义词分词器 需要熟悉
14.设置排序之后 评分就是消失 默认是升序
indexsearcher.search(quertstr,length,sort)
Sort.INDEXORDER 通过doc的id进行排序
Sort.RELEVANCE 使用默认的排序方式
new SortField("size",SortFiled.INT)使用某个字段的内容排序 ,比如说size的大小
new SortField("filename",SortFiled.STRING) 通过filename的首字母排序
new SortField("filename",SortFiled.STRING,true) 设置降序排序 最后参数表示是否反转
19.其他知识
IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_41,analyzer);
LogMergePolicy mergePolicy = new LogByteSizeMergePolicy();
//达到3个文件时就和合并
mergePolicy.setMergeFactor(3);
iwc.setMergePolicy(mergePolicy);
Field.Store 表示“是否存储”,即该Field内的信息是否要被原封不动的保存在索引中。
Field.Index 表示“是否索引”,即在这个Field中的数据是否在将来检索时需要被用户检索到,一个“不索引”的Field通常仅是提供辅助信息储存的功能。
Field.TermVector 表示“是否切词”,即在这个Field中的数据是否需要被切词。
WildcardQuery与QueryParser不同的是:WildcardQuery的前缀可以为*,而QueryParser不行
FuzzyQuery 可以查询有两个单词不同的
// 多关键的搜索 PhrasePrefixQuery public void phrasePrefixSearcher() throws IOException{
// 简言之,用第一个的term数组上面的每个内容匹配下面的term IndexSearcher search= new IndexSearcher(directory);
PhrasePrefixQuery query= new PhrasePrefixQuery();
// 这里两项都有可能首先被匹配 query.add(new Term[]{new Term("content","would"),new Term("content","can")});
// 只有一项必须匹配 query.add(new Term("content","help"));
// If you would like to help promote OpenOffice
// can I help you
// slop因子的作用域为查询中的所有短语 query.setSlop(1);
// 匹配第一项为 would 或 can 第二项为help
// solp设置为1
// If you would like to help promote OpenOffice 除去if to 外,would与help的距离=1
// can I help you 的距离也=1 所以可以搜索出两条数据
Hits hits= search.search(query);
printResult(hits);
search.close();
}
Term t = new Term("content", "work");
FuzzyQuery query= new FuzzyQuery(t);
//FuzzyQuery还有两个构造函数,来限制模糊匹配的程度
// 在FuzzyQuery中,默认的匹配度是0.5,当这个值越小时,通过模糊查找出的文档的匹配程度就
// 越低,查出的文档量就越多,反之亦然 FuzzyQuery query1 = new FuzzyQuery(t, 0.1f);
FuzzyQuery query2= new FuzzyQuery(t, 0.1f, 1);
//第二个是设置匹配度,第三个是设置有多少个前缀字母完全匹配
部分代码来源:http://callan.iteye.com/blog/153553
setboost的运用:http://blog.csdn.net/yja886/article/details/6612104
分享名称:Lucene4.1视频学习-创新互联
文章转载:http://scyanting.com/article/jeghs.html