期刊导航
期刊开放获取
cqvip
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于海量数据的个人网盘笔记搜索实践
1
作者
黄珊珊
丁小波
蔡茂贞
《网络安全技术与应用》
2022年第8期64-66,共3页
个人网盘笔记搜索包含了笔记后台的数据同步及相关搜索前端的查询逻辑。单个用户的笔记数量及单个笔记大小等因素增加了业务处理的难度,如何保证笔记数据的完整、安全、一致?如何提升服务的并发处理能力?如何对数据进行容错和扩展性保证...
个人网盘笔记搜索包含了笔记后台的数据同步及相关搜索前端的查询逻辑。单个用户的笔记数量及单个笔记大小等因素增加了业务处理的难度,如何保证笔记数据的完整、安全、一致?如何提升服务的并发处理能力?如何对数据进行容错和扩展性保证?笔记搜索选择了实现难度复杂、查询写入性能高、分页性能高、并发处理能力高的ES+Mysql+Redis方案,运用kafka数据本地硬盘持久化、中英文分词使用等机制,从数据的读写出发,把每日的热点数据独立出来读写,查询时结合存量数据做增量合并的方式得到最终查询结果。通过可靠的算法及各种容错机制最终提升整个笔记搜索服务的安全性、可靠性、易扩展性,并最终提升用户笔记搜索体验。
展开更多
关键词
kafka
数据
本地
硬盘
持久化
IK分词
拼音分词
易构
数据
库
全文搜索
原文传递
题名
基于海量数据的个人网盘笔记搜索实践
1
作者
黄珊珊
丁小波
蔡茂贞
机构
中移互联网有限公司云产品事业部
出处
《网络安全技术与应用》
2022年第8期64-66,共3页
文摘
个人网盘笔记搜索包含了笔记后台的数据同步及相关搜索前端的查询逻辑。单个用户的笔记数量及单个笔记大小等因素增加了业务处理的难度,如何保证笔记数据的完整、安全、一致?如何提升服务的并发处理能力?如何对数据进行容错和扩展性保证?笔记搜索选择了实现难度复杂、查询写入性能高、分页性能高、并发处理能力高的ES+Mysql+Redis方案,运用kafka数据本地硬盘持久化、中英文分词使用等机制,从数据的读写出发,把每日的热点数据独立出来读写,查询时结合存量数据做增量合并的方式得到最终查询结果。通过可靠的算法及各种容错机制最终提升整个笔记搜索服务的安全性、可靠性、易扩展性,并最终提升用户笔记搜索体验。
关键词
kafka
数据
本地
硬盘
持久化
IK分词
拼音分词
易构
数据
库
全文搜索
分类号
TP311.13 [自动化与计算机技术—计算机软件与理论]
原文传递
题名
作者
出处
发文年
被引量
操作
1
基于海量数据的个人网盘笔记搜索实践
黄珊珊
丁小波
蔡茂贞
《网络安全技术与应用》
2022
0
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部