solr7.4创建core,导入MySQL数据,中文分词
#solr版本:7.4.0
创新互联长期为1000多家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为原平企业提供专业的网站建设、成都网站设计,原平网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。
一、新建Core
进入安装目录下得server/solr/,创建一个文件夹,如:new_core
拷贝server/solr/configsets/_default/conf/下的solrconfig.xml、protwords.txt、synonyms.txt、stopwords.txt文件和lang文件夹,到刚刚创建的new_core文件夹下
拷贝server/solr/configsets/_default/conf/下的schema.xml文件到刚刚创建的new_core文件夹下,将其重命名为schema.xml
进入solr页面选择Core Admin,设置好名字还有刚才新建的dir,Add Core
- 然后在core selector 就能看到刚才新建的core 了。
二、导入MySQL数据
- 打开刚添加的solrconfig.xml文件 vi server/solr/new_core/solrconfig.xml,查找一下requestHandler标签,在标签同级下加入导入数据的配置
db-data-config.xml
- new_core下新增db-data-config.xml文件(样例在安装目录example/example-DIH/solr/db/conf/下有),并添加如下配置:
- 下载mysql-connector-java驱动 https://dev.mysql.com/downloads/connector/j/
解压mysql-connector-java-(xxx).jar到安装目录下的server/solr-webapp/webapp/WEB-INF/lib - 在页面上选择Dataimport应该有了
- 在Schema上添加字段,如title(要存在query属性的sql语句能查出来的那些字段当中)
- 在Dataimport 上执行导入,可以看到已经新增了4条记录了
然后在query上查看导入结果
三、增量导入MySQL数据
- 导入数据不可能每次全量导入,新增的数据只要增量导入就好,检查db-data-config.xml配置,确保有deltaImportQuery, deltaQuery两项
last_index_time会保存在这个core的Instance目录下的conf/dataimport.properties文件
- 现在我在数据表中再插入几条数据
- 这次我们在页面选择delta-import执行一下看看
- 再去看下结果,也成功导入
5.这是细心的人会发现dataimport.properties记录的是UTC时间,而数据表中用的是中国时间,要怎么让它们一致呢?
这里提供一个解决办法,利用sql语句来转换时区:
修改deltaQuery
SELECT product_id AS id FROM table_name WHERE add_time > '${dataimporter.last_index_time}'
改为
SELECT product_id AS id FROM table_name WHERE add_time > CONVERT_TZ('${dataimporter.last_index_time}', '+00:00', '+08:00')
四、中文分词
- 拷贝分词jar到指定目录server/solr-webapp/webapp/WEB-INF/lib/
cp contrib/analysis-extras/lucene-libs/lucene-analyzers-smartcn-7.4.0.jar server/solr-webapp/webapp/WEB-INF/lib/
- 编辑schema文件 vi server/solr/new_core/conf/managed-schema
添加:
把title改为text_cn类型
- 重启solr,title已经改为text_cn,但是还没分词效果
- 在dataimport选择clean再full-import一次,重新导入数据,再回到字段查看一下Term Info ,这次分词成功了
标题名称:solr7.4创建core,导入MySQL数据,中文分词
地址分享:
http://dzwzjz.com/article/gosjpi.html