Lucene搜索引擎开发进阶实战

从实用的角度出发，理论与实战相结合，配以大量的案例，深入探讨Lucene搜索引擎开发的实现方法和技巧。
收录网上与搜索引擎开发相关的各类问题和误区，并给出解决办法，指导读者在实战中提升技能

《Lucene搜索引擎开发进阶实战》结合笔者的实际开发经验，总结一些新的开发技巧和开发思路，并对网上流传的一些错误技术点和代码进行验证，同时给出正确的思路，旨在给开发者提供一个清晰、完整、简洁易懂的指导手册。
《Lucene搜索引擎开发进阶实战》既可为零起点的Lucene初学者提供了一个系统全面的学习指导，也可为有相关经验的开发者解决在开发过程中遇到的一些难题和疑惑。
《Lucene搜索引擎开发进阶实战》共12章，共分为四部分，第一部分首先介绍网络爬虫和Web搜索，然后讲述Lucene的概念和架构；第二部分通过一个小实例，并结合对文本创建索引来讲解其中的一些方法和类；第三部分主要基于数据库搜索创建搜索引擎实例，分析技术疑难问题，分析如何建立工程类的索引，如何使用分词技术，并对创建索引过程中的jar包进行解析，然后介绍搜索引擎开发中关键的查询方法和高亮显示技术，以及查询结果排序和词频统计的相关知识，最后概述性能优化（包括代码优化、索引优化以及备份和恢复）等相关知识。第四部分对目前的一些技术作一个总结，并对未来的一些技术发展进行展望。

成龙，软件开发工程师，从事Lucene相关搜索引擎开发多年，曾在医药、教育等行业参与开发多个搜索引擎类项目，目前在进行一个搜索引擎项目的优化和二次开发工作，具有丰富的搜索引擎方向项目开发经验。工作之余也喜欢钻研疑难问题，并在实践验证后形成文档或经验与读者分享。

前言

第1章 网络爬虫策略
1.1 信息时代的飞跃
1.1.1 搜索引擎的出现
1.1.2 搜索之网络爬虫的由来
1.2 网络爬虫
1.2.1 网络爬虫的基础框架
1.2.2 网络爬虫的策略分析
1.2.3 暗网获取
1.2.4 分布式爬虫
1.3 实现Web搜索
1.3.1 Web搜索的概念
1.3.2 经典小实例展示
1.4 疑难解析
1.4.1 本节技术概念
1.4.2 实例疑难解析
1.5 实践心得
1.5.1 如何快速实现Web搜索
1.5.2 如何解决和发现代码错误
1.6 本章小结

第2章 搜索引擎技术中的Lucene
2.1 Lucene到底是什么
2.1.1 Lucene的由来
2.1.2 Lucene的概念
2.1.3 Lucene的适用范围
2.2 Lucene的架构
2.2.1 Lucene=“完整的搜索程序”吗
2.2.2 搜索和索引组件介绍
2.2.3 其他模块
2.2.4 Lucene与应用的完美结合
2.3 Lucene小程序
2.3.1 创建索引
2.3.2 搜索索引
2.4 实践心得
2.4.1 实现创建和搜索的技术解析
2.4.2 实例创建过程中的个人心得
2.5 本章小结

第3章 创建索引实例
3.1 开发前的软硬件准备
3.1.1 开发语言和专业基础
3.1.2 开发环境基础
3.2 对文本文档进行索引
3.2.1 新建文本文档
3.2.2 基础的索引代码
3.2.3 索引结果
3.3 实例中用到的类和关键词
3.3.1 实例中涉及的类
3.3.2 实例中涉及的关键词
3.4 本章技术要点和关键点
3.4.1 本章技术要点
3.4.2 本章关键点
3.4.3 技术突破点
3.5 开发中的个人心得分享
3.6 本章小结

第4章 初建索引
4.1 建立数据库索引的前提和意义
4.1.1 建立数据库索引的前提
4.1.2 建立数据库索引的基本条件
4.1.3 建立数据库索引的意义
4.2 建立数据库索引实例
4.2.1 新建索引类
4.2.2 实例核心代码示例
4.3 实例中重要的工具：Luke
4.3.1 什么是Luke
4.3.2 Luke的作用
4.4 解决疑难问题的个人心得
4.4.1 多样化实例的参考
4.4.2 案例分析
4.5 SQL Server 2005、SQL Server 2008以及Oracle数据库的区别
4.6 本章小结

第5章 分词技术详解
5.1 分词的定义和意义
5.2 英文分词介绍
5.3 中文分词解析
5.3.1 中文分词的目的
5.3.2 中文分词的意义
5.3.3 中文分词的方法
5.4 实例的分词方法剖析
5.4.1 IKAnalyzer的诞生
5.4.2 IKAnalyzer的配置方法
5.4.3 IKAnalyzer的使用
5.5 分词技术的广泛应用
5.5.1 搜索引擎网站的分词技术应用
5.5.2 分词技术深入各个领域
5.6 实践见解
5.6.1 关于分词的问题
5.6.2 关于搜索引擎分词和查找的个人心得
5.7 本章小结

第6章 jar包应用详解
6.1 jar包的定义
6.2 基本的jar包介绍
6.2.1 连接SQL Server的jar包
6.2.2 Lucene常用的jar包
6.3 实例中的分词jar包IKAnalyzer3.2.
6.3.1 概念
6.3.2 适用范围和基本配置要求
6.3.3 使用案例分析
6.4 实例中的其他jar包应用
6.4.1 实例包含的其他jar包
6.4.2 适用范围和案例分析
6.5 jar包的调用方法
6.6 扩展：如何生成jar包和运行jar包
6.7 实践分享
6.7.1 如何在自己的项目中灵活运用jar包
6.7.2 jar的路径问题
6.7.3 jar包中class文件的反编译
6.8 本章小结

第7章 构建应用程序的实现
7.1 建立实例的项目
7.1.1 src目录
7.1.2 webroot目录
7.2 详解扩展词典和停止词
7.2.1 为什么需要扩展词典和停止词
7.2.2 扩展词典的应用
7.2.3 停止词应用
7.3 应用程序测试
7.3.1 应用程序在MyEclipse下的调试
7.3.2 搜索结果的分页技术
7.3.3 实现界面搜索
7.4 开发过程中的疑难问题分享
7.4.1 停止词的准确应用
7.4.2 扩展词典问题
7.4.3 界面分页显示的实例分析
7.4.4 localhost与127.0.0.1的异同
7.4.5 src目录和webroot目录
7.5 本章小结

第8章 查询方法的实现
8.1 查询的概念和意义
8.1.1 搜索引擎实现查询的概念
8.1.2 搜索引擎查询的意义
8.2 查询的分类
8.2.1 完全匹配查询
8.2.2 模糊查询
8.2.3 多域查询
8.2.4 通配符查询
8.2.5 其他查询
8.2.6 组合查询
8.3 实例分析
8.3.1 完全匹配查询实例解析
8.3.2 模糊查询实例分析
8.3.3 多域查询实例分析
8.3.4 通配符查询实例分析
8.3.5 其他查询实例及分析
8.3.6 组合查询实例及分析
8.4 实践过程中的重难点解析
8.4.1 使用什么查询方法
8.4.2 模糊查询案例剖析
8.4.3 Occur.MUST与Occur.SHOULD
8.5 本章小结

第9章 高亮显示技术
9.1 高亮显示的概念和目的
9.1.1 高亮显示的概念
9.1.2 高亮显示的目的
9.2 高亮显示的模块介绍
9.2.1 高亮显示的步骤
9.2.2 高亮显示的重要模块
9.2.3 其他相关内容
9.3 高亮实现搜索结果
9.3.1 高亮显示的实例
9.3.2 高亮显示的搜索结果
9.3.3 高亮显示界面效果
9.4 高亮显示的应用
9.5 高亮显示的技术疑难分析
9.5.1 如何解决高亮查询结果显示不完全的问题
9.5.2 高亮显示的对应问题解析
9.6 本章小结

第10章 结果排序和词频统计
10.1 排序和词频统计概念
10.1.1 什么是搜索结果排序
10.1.2 搜索结果排序的意义
10.1.3 什么是词频统计
10.1.4 词频统计的意义何在
10.2 排序分类
10.2.1 根据域值排序
10.2.2 索引顺序排序
10.2.3 根据相关性排序
10.2.4 根据词频率排序
10.2.5 其他
10.3 实例分析
10.3.1 根据域值排序的实例解析
10.3.2 根据索引顺序排序的实例分析
10.3.3 根据相关性排序的实例分析
10.3.4 根据词频排序实例分析
10.3.5 其他排序方法实例分析
10.4 实践心得
10.4.1 查询结果排序的问题
10.4.2 关于词性处理的问题解析
10.5 本章小结

第11章 开发中的性能优化概述
11.1 代码的优化
11.1.1 什么是代码优化
11.1.2 代码优化的意义
11.1.3 如何实现代码的优化
11.2 索引优化
11.2.1 索引优化的目的
11.2.2 索引优化的方法和途径
11.2.3 索引优化的效果
11.3 索引的备份和错误修复
11.3.1 如何实现索引备份
11.3.2 恢复索引的实现
11.3.3 修复索引
11.4 本章小结

第12章 对瓶颈技术的未来设想
12.1 海量数据库资源搜索
12.1.1 什么是海量数据库
12.1.2 海量数据库资源搜索的现状和瓶颈
12.1.3 海量数据库搜索的未来设想
12.2 高亮显示查询结果的未来设想
12.2.1 高亮显示出现的意义
12.2.2 高亮显示目前现状
12.2.3 黄褪技术概述
12.2.4 对高亮显示查询结果的未来展望
12.3 搜索引擎开发的规范性约束
12.3.1 搜索引擎开发的现状
12.3.2 版本的控制
12.3.3 未来国际规范性约束的展望
12.4 本章小结

附录A Java安装详解
附录B SQL Server 2005安装详解
附录C MyEclipse 安装详解
附录D Lukeall在本书中的应用
附录E MyEclipse快捷键详解

随着互联网技术的发展，搜索引擎相关的应用也越来越普遍。很多开发人员开始不仅仅是关注如何在一个简单的页面中输入“厦深高铁开通”点击“百度一下”查询自己想要的结果了，而且对网页背后的搜索引擎技术产生了浓厚的兴趣，Lucene等一系列相关的搜索引擎原理和技术应用吸引了他们的目光。目前很多学校还没有专门开设搜索引擎相关的专业，随着市场需求越来越大，开发人员甚至需要从零基础开始去探索并应用此技术开发搜索引擎，众多企业、政府机关、学校等也纷纷借助此项技术开发出适合自身单位性质的搜索模块，进而为更便捷、更准确、更专业地获取资讯提供了更好的平台。
为什么写这本书
随着信息时代的快速发展，搜索引擎相关技术也越来越受到关注。小至个人，大至集团，甚至一些国家，都投入了大量的人力、物力和财力来研究相关技术，寻找技术性的突破，因此也导致了市场需求越来越大，很多公司都在寻求相关的技术人员来开发符合自身要求的搜索引擎。搜索引擎的广泛开发和使用，致使网上出现了越来越多的搜索引擎相关实例、说明及介绍，部分对此技术感兴趣的读者（特别是一些初学者）常会从别人的博客或者论坛中“挖掘”可用代码或文章，但由于未思考和验证，从而导致应用实例出现一大堆错误，这时，他们却不知道如何改正和完善，浪费了宝贵的时间。
目前市面上关于搜索引擎的书已有不少，比如很经典的《Lucene实战》，已经出版了第二版，主要是写给对搜索技术比较熟悉的开发人员的；《搜索引擎基础教程》，给读者提供了入门的基础知识，包括很多概念性的东西，但没有将进阶的系统性方法展示给读者。当有些读者急需进行开发时，他们需要一个系统性的方法，但找不到一本合适的书。此时，他们可能需要在了解概念的基础上掌握开发技巧，快速上手，而这正是笔者编写本书的出发点。
本书将通过系统化的概念进行引导，然后提供基础性开发的实战，最后深入分析一些重要代码的组成，帮助读者真正掌握搜索引擎开发技术。本书更重要的一个特点是，笔者将通过自己的开发经验给广大的读者提供一些经过实践验证的正确结论，以及个人在实践中的一些心得和体会，希望给大家带来触发和灵感。
本书面向的读者
有人可能会担心，我只是对Lucene搜索引擎技术有兴趣或略懂皮毛，不知是否能看懂这本书？如果你属于以下学习者中的任一类，那么恭喜你，你可以以本书作为参考，进行相关的学习和研究。
有Java基础，刚接触搜索引擎开发的在校学生和编程者
本书针对有Java基础，且刚接触搜索引擎的学习者（包括企业员工和在校学生），旨在提供一个持续的、能从基础知识着手并逐步深入学习的过程。让你轻松地面对基础问题和学习过程中遇到的难点，从而提高对搜索引擎的认知和实际应用能力，进入到一个相对比较深入的研究中去。
在Lucene搜索引擎开发过程中遇到疑问的编程者
书中内容包括笔者从切身的实战中不断领悟和总结出来的一些疑难解答。从笔者了解到的情况来看，部分初学者在遇到问题时，会去论坛或者别人的文章中寻找解决办法，但有时候，事与愿违，他们花费了不少时间，却没找到正确答案，没有找到问题的根结所在。而本书正好针对此类“疑难杂症”提供了代码和错误分析，旨在提供一个清晰的解决思路，在帮助他们找到方法的同时，也希望给开发人员提供新的灵感。
在探索搜索引擎中层技术的开发人员
笔者在书中提出了一些建设性的意见和方向，希望以书为媒介，与大家共同探讨和研究，从而发现新的问题，提出新的解决方案。
如何阅读本书
本书采用的编写模式是逐层深入，从基础，到技术，到疑点难点的剖析，其中最大的特色是笔者结合了自身的实战，笔者在实际的开发过程中结合开发实例，总结了一些新的开发技巧，整合了开发思路，更对以前一些错误的技术点和代码文章等进行了验证并更正说明。所以读者阅读时，只要按照本书的编排顺序，从基础知识逐层深入学习，从基础到疑难技术，就一定能在夯实基础的同时，很快掌握好知识。相信大家通过这个清晰、完整、简洁易懂的指导手册能更好地把此技术应用到实际工作中，享受开发的乐趣!
致谢
本书能够顺利完成且与大家如期见面，要感谢很多单位和个人。首先要感谢机械工业出版社，给予这样一次与大家分享和共同学习的机会，同时非常感谢杨绣国编辑，有她不断的帮助和支持，才能让这本书顺利完成。还要感谢在此书写作过程中给予我鼓励的家人和朋友，以及给予我技术帮助的同事，感谢此书的校对和审稿老师，最后还要感谢默默支持本书写作的人士。
搜索引擎本来就是一门新兴的技术，我和大家一样，也是在学习中不断提升。本书的内容源于自己的切身实践，在编写过程中，难免有不成熟和不完善的地方，衷心地希望能得到大家的支持，热忱地欢迎并期望广大的同行和学者能给予宝贵意见或建议。