关于Salton扩展布尔情报检索模型的一个注记 被引量：3

1

作者 康耀红 K.W.Chang 《情报学报》 CSSCI 北大核心 2002年第2期164-166,共3页

本文指出Salton扩展布尔检索模型存在的错误 。

关键词 布尔情报检索模型 向量检索 扩展布尔检索模型 搜索引擎 Salton

下载PDF 职称材料

一种基于异步I/O的磁盘向量检索算法

2

作者 吴松林 田春岐 毕枫林 《计算机科学与应用》 2024年第1期68-77,共10页

在机器学习与深度学习等领域中,近似最近邻搜索(ANNS)扮演着至关重要的角色,在近十多年来受到越来越多研究者的关注。传统的ANNS算法需要将向量原始数据和索引数据全部存储在内存中,这限制了其处理大数据的能力。本文提出了一种创新的... 在机器学习与深度学习等领域中,近似最近邻搜索(ANNS)扮演着至关重要的角色,在近十多年来受到越来越多研究者的关注。传统的ANNS算法需要将向量原始数据和索引数据全部存储在内存中,这限制了其处理大数据的能力。本文提出了一种创新的基于异步I/O的磁盘向量近似最近邻搜索算法(AIO-ANN),该算法通过生成非阻塞I/O请求并即刻处理完成的请求,有效提升了搜索效率并降低了高延迟I/O请求的负面影响。在搜索过程中,AIO-ANN生成一批非阻塞I/O请求,并立即处理每个完成的I/O请求,而不是等待整批请求完成。同时为了最大化I/O等待时间的利用,算法将大部分计算任务转移到了I/O等待期间。此外,算法还整合了其他优化措施,如数据缓存与结果初始化。在大规模数据集上的实验,证明了AIO-ANN在搜索速度上超越了主流的ANNS算法DiskANN。 展开更多

关键词 向量检索 异步I/O

下载PDF 职称材料

多模态CLIP技术在智能媒资视频内容检索中的应用设计探究

3

作者 邓蕾 《艺术科技》 2024年第12期250-252,共3页

目的:随着短视频和微短剧的流行,高清视频化需求持续增长,媒体数字资产中视频生产素材的检索要求日益提升。文章探讨多模态CLIP技术在智能媒资视频内容检索中的应用设计,结合向量检索技术,实现跨模态检索,精确匹配自然语言描述与视频内... 目的:随着短视频和微短剧的流行,高清视频化需求持续增长,媒体数字资产中视频生产素材的检索要求日益提升。文章探讨多模态CLIP技术在智能媒资视频内容检索中的应用设计,结合向量检索技术,实现跨模态检索,精确匹配自然语言描述与视频内容,快速定位目标视频片段,以优化媒体资源管理,提升视频生产效率和质量。方法:以CLIP技术为核心,结合向量检索技术,构建一个智能媒资视频内容检索系统。该系统通过深度学习的跨模态理解能力,对视频和文本进行高维向量表示,实现图文特征的相似度计算与匹配。在系统设计上,采用业务层、媒体管理应用层、能力中台、数据资源层和技术支撑层的多层架构,集成资源管理、系统管理、智能检索等关键功能。结果:通过应用CLIP技术,成功设计并构建了一个高效智能的视频内容检索系统。该系统在测试数据集上表现出显著的优越性能,提高了视频检索的准确性和效率。在实际应用中,该系统能够准确理解用户查询意图,支持自然语言搜索,并快速返回相关视频片段,极大地提升工作效率,优化用户体验。结论:CLIP技术在智能媒资视频内容检索领域展现出巨大潜力,其出色的视频内容理解和匹配能力能够为媒体资源管理提供有力支持。通过合理的系统设计与技术选型,CLIP技术能够显著提升视频检索的准确性和效率,满足用户多样化的搜索需求。尽管面临存储计算压力、多模态内容异构性等挑战,但通过算法优化、模型调整和实际应用改进,CLIP技术有望在未来发挥更大的作用,推动媒体行业智能化发展。 展开更多

关键词 CLIP技术 多模态 向量检索 智能媒资 系统设计

下载PDF 职称材料

基于大语言模型的问答技术研究进展综述

4

作者 文森 钱力 +1 位作者 胡懋地 常志军 《数据分析与知识发现》 EI CSCD 北大核心 2024年第6期16-29,共14页

【目的】全面回顾和概述基于大语言模型的问答技术发展现状、机制原理以及应用趋势。【文献范围】选取与基于大语言模型的问答技术相关的73篇文献。【方法】系统梳理大语言模型的发展现状、参数高效微调策略,分别从面向简单问题的检索... 【目的】全面回顾和概述基于大语言模型的问答技术发展现状、机制原理以及应用趋势。【文献范围】选取与基于大语言模型的问答技术相关的73篇文献。【方法】系统梳理大语言模型的发展现状、参数高效微调策略,分别从面向简单问题的检索增强生成问答推理以及面向复杂问题的提示工程问题推理两方面,深入解析各技术的原理机制、应用价值与存在问题。通过定性分析,全面概述基于大语言模型的问答技术研究进展,并提出未来研究方向。【结果】开源预训练大语言模型不断涌现,高效微调策略可显著提升模型垂直领域适配性。借助文本嵌入与近似最近邻检索技术,检索增强生成技术可有效提升问答可解释性与可信度。借助精心构造的提示工程,可大幅拓展大语言模型的复杂问题推理能力。【局限】大语言模型相关研究发展迅速,调研工作未全面覆盖。【结论】基于大语言模型的问答技术在语义表示、复杂推理等多个方面均取得显著进展,融合外部知识的检索增强生成技术与提示工程技术是当前大语言模型领域的主要研究热点,未来研究工作可在生成内容可控、可信等方面展开深入探索。 展开更多

关键词 大语言模型 问答技术 向量检索 提示工程

原文传递

基于容忍因子的近似最近邻混合查询算法

5

作者 贺广福 薛源海 +3 位作者 陈翠婷 俞晓明 刘欣然 程学旗 《大数据》 2024年第1期17-34,共18页

近似最近邻搜索(ANNS)是计算机领域中一种重要的高效相似度搜索技术,可用于在大规模数据集中进行快速信息检索。随着人们对高精度信息检索的需求不断增长,同时使用结构化信息和非结构化信息进行混合查询的方式也得到了广泛应用。然而,... 近似最近邻搜索(ANNS)是计算机领域中一种重要的高效相似度搜索技术,可用于在大规模数据集中进行快速信息检索。随着人们对高精度信息检索的需求不断增长,同时使用结构化信息和非结构化信息进行混合查询的方式也得到了广泛应用。然而,基于近邻图的过滤贪心算法在混合查询时可能会因结构化约束条件的影响导致连通性降低,进而损害搜索精度。为此,提出了一种基于容忍因子的过滤贪心算法,通过容忍因子控制不满足结构化约束条件的顶点参与路由,在不改变索引结构的前提下维持原有近邻图的连通性,克服了结构化约束条件对检索精度的负面影响。实验结果证明,新算法可以在不同结构化约束强度下实现ANNS的高精度搜索,同时保持检索效率。该研究解决了基于近邻图的ANNS在混合查询场景中的问题,为大规模数据集的快速混合查询信息检索提供了一种有效的解决方案。 展开更多

关键词 混合查询 向量检索 最近邻搜索 过滤搜索

下载PDF 职称材料

扩充型布尔检索 被引量：1

6

作者 范珊 王永成 《现代图书情报技术》 1988年第1期15-16,30,共3页

关键词 布尔检索 检索方法 扩充型 模糊检索 向量检索 检索系统 计算机信息检索 计算机处理 布尔逻辑 概率检索

下载PDF 职称材料

基于图嵌入向量的课程推荐算法研究

7

作者 朱若馨 张海潮 《甘肃科技》 2023年第11期87-90,共4页

互联网技术的飞速发展,推动了传统教育方式的变革,在线教育逐渐成为了人们学习的一种重要方式。然而在线课程种类繁多,用户在学习过程中,往往难以找到符合自身需求的课程。面对信息过载问题,越来越多的研究人员将兴趣投入到在线课程平... 互联网技术的飞速发展,推动了传统教育方式的变革,在线教育逐渐成为了人们学习的一种重要方式。然而在线课程种类繁多,用户在学习过程中,往往难以找到符合自身需求的课程。面对信息过载问题,越来越多的研究人员将兴趣投入到在线课程平台的推荐算法中来。在线课程平台常用的协同过滤推荐算法基于用户相近的兴趣进行推荐,然而,忽略了用户学习的时序特征。针对此问题,文章提出一种基于用户点击时序网络嵌入向量(Graph Embedding Vector,GEV)的推荐算法。首先,利用用户的学习记录构造用户点击序列图,然后利用Skip-gram算法和负采样算法学习到课程的嵌入向量表示,最后,通过向量检索的方式为用户生成推荐候选集。实验结果表明,与MF、DeepWalk、协同过滤等传统算法相比较,该算法在MOOC数据集的推荐召回率上均有提升。因此,实验结果证明了利用图嵌入方法获取向量表示进行推荐可以有效提升推荐召回率。 展开更多

关键词 课程推荐 协同过滤 图嵌入 向量检索 Graph Embedding算法

下载PDF 职称材料

基于影视领域知识图谱的智慧问答技术研究

8

作者 李科 邢立栋 +1 位作者 王旗 刘晨阳 《广播电视信息》 2021年第S01期79-81,共3页

本文结合影视领域信息传播的业务特征,调研了当前国内外知识图谱与自动问答的主流思路,提出了面向智慧问答的影视领域知识图谱构建方法。此方法基于自然语言处理、知识图谱和自动问答等技术,实现了智慧知识问答系统,为人们更友好、更精... 本文结合影视领域信息传播的业务特征,调研了当前国内外知识图谱与自动问答的主流思路,提出了面向智慧问答的影视领域知识图谱构建方法。此方法基于自然语言处理、知识图谱和自动问答等技术,实现了智慧知识问答系统,为人们更友好、更精准、更智慧地提供影视信息,是高新技术在影视文化产业服务模式上的生动探索与深刻实践。 展开更多

关键词 向量检索 知识图谱 预训练模型 自动问答

下载PDF 职称材料

基于部分匹配的XML文本文档向量检索模型 被引量：6

9

作者 吴劲 陈泽琳 《电子学报》 EI CAS CSCD 北大核心 2002年第12A期2169-2171,共3页

本文提出了部分匹配模式的XML文本文档向量检索模型,给出了XML文本文档树以及子文档树的向量表示和查询以及子查询的向量表示,并由此提出了查询中的祖先-后代关系映射到文档中的祖先-后代关系的部分匹配模式的检索方式,给出了基于此匹... 本文提出了部分匹配模式的XML文本文档向量检索模型,给出了XML文本文档树以及子文档树的向量表示和查询以及子查询的向量表示,并由此提出了查询中的祖先-后代关系映射到文档中的祖先-后代关系的部分匹配模式的检索方式,给出了基于此匹配处理过程的相似度计算,以判断文档与查询的相关程度.在构造的检索原型系统中的实验表明,该检索模型具有较好的查全率和查准率. 展开更多

关键词 XML文本文档 向量检索模型 信息检索 匹配模式 查询

下载PDF 职称材料

基于深度学习的通用本地图像检索系统设计

10

作者 张浩东 田春岐 《计算机科学与应用》 2024年第1期123-133,共11页

随着大量数字图像数据的产生,高效准确的图像检索技术变得尤为重要。本文提出了一种结合深度学习和磁盘向量检索技术的通用本地图像检索系统,采用了深度神经网络模型作为特征提取的主要工具,通过深层网络结构捕获图像的高层语义信息,实... 随着大量数字图像数据的产生,高效准确的图像检索技术变得尤为重要。本文提出了一种结合深度学习和磁盘向量检索技术的通用本地图像检索系统,采用了深度神经网络模型作为特征提取的主要工具,通过深层网络结构捕获图像的高层语义信息,实现对图像内容的精细描述,旨在提升检索的准确性和效率,图像数据库的容量。由具体的实例数据验证说明了系统可用性,证明了其在实际应用中的广泛适用性,文中研究可对图像检索系统的进一步发展起到积极的参考作用。 展开更多

关键词 图像检索 深度学习 磁盘向量检索 检索方法

下载PDF 职称材料

稠密向量实体检索模型的二值化提速压缩 被引量：1

11

作者 王苑铮 范意兴 +2 位作者 陈薇 张儒清 郭嘉丰 《模式识别与人工智能》 EI CSCD 北大核心 2023年第1期60-69,共10页

在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗... 在实体检索任务中,为了从大规模实体库中高效筛选与查询相关的候选实体,可使用稠密向量检索模型.然而在现有的稠密向量检索模型中,由于实体向量维度较高,导致实时计算效率较低、存储空间较大.文中通过实验发现这些实体向量存在大量的冗余信息:一方面,绝大多数实体向量分布在互不相同的象限里;另一方面,语义相近的实体所在的象限也更近.因此,文中提出二值化的实体检索方法,用于压缩实体向量,加速相似度计算.具体而言,方法利用符号函数(sign),二值化压缩高维稠密的浮点向量,并通过汉明距离加快检索.从理论上分析文中方法保证检索性能的原因.通过定性、定量的分析实验验证理论的正确性,并给出基于随机升维旋转的二值检索性能改善方法. 展开更多

关键词 实体检索 嵌入式表示 稠密向量检索 近似近邻检索 乘积量化

下载PDF 职称材料

情报检索发展的卅年

12

作者 沙尔登 王永成 张琦桢 《现代图书情报技术》 1988年第2期42-45,48,共5页

Ｓａｔｌｏｎ Ｇ·是国际知名的计算机情报检索专家。１９６１年他在哈佛大学领导开发的ＳＭＡＲＴ文献检索系统，至今仍在使用着，由他首先提出的向量检索模型对推动情报科学的发展有着积极的作用；近年他更提出扩充的布尔检索模... Ｓａｔｌｏｎ Ｇ·是国际知名的计算机情报检索专家。１９６１年他在哈佛大学领导开发的ＳＭＡＲＴ文献检索系统，至今仍在使用着，由他首先提出的向量检索模型对推动情报科学的发展有着积极的作用；近年他更提出扩充的布尔检索模型将传统的布尔检索、向量检索与模糊检索统一在一个公式之中。本文是其最新论述供国内有关研究者参考。 展开更多

关键词 情报检索 布尔检索 计算机情报检索 向量检索模型 文献检索系统 情报科学 信息检索系统 模糊检索 穿孔卡 哈佛大学

下载PDF 职称材料

情报检索模型和算法研究现状

13

作者 李明霞 徐进鸿 邵品洪 《新世纪图书馆》 CSSCI 北大核心 1990年第2期34-38,27,共6页

计算机情报检索作为一项技术已经从图书情报工作领域向着整个社会经济和科技各方面发展,作为一门学科已经列入高等学校有关专业的培养计划。近年来,人们从理论到实践对计算机情报检索进行了日益深入的研究,本文从数学模型。

关键词 计算机情报检索 情报检索模型 检索系统 匹配算法 向量检索模型 文献标引 提问逻辑式 标引词 倒排检索 数学模型

下载PDF 职称材料

模糊检索在DBASEⅡ关系数据库上的实现

14

作者 梁锦华 《广州师院学报（自然科学版）》 1993年第2期28-34,共7页

本文依据检索系统的向量检索数学模型，DBASEⅢ关系数据库支持下，提出了一种在文献管理系统中实现模糊检索的方案，方案允许对文献标引词和检索提问词进行加权，能更准确地描述文献的特征和表达检索者的提问要求，从而提高了检索的查... 本文依据检索系统的向量检索数学模型，DBASEⅢ关系数据库支持下，提出了一种在文献管理系统中实现模糊检索的方案，方案允许对文献标引词和检索提问词进行加权，能更准确地描述文献的特征和表达检索者的提问要求，从而提高了检索的查全率或查准率，输出文献按文献与提问的符合度大小排序，用户可以通过阈值控制输出文献的数量。笔者进行了模拟试验，软硬件环境：IBM286兼容机，时种21M，3．5英寸，华达CCDOS，MFOXPLUS2．0。主题词库：2500个词，文献库：2万条记录，编号对照文件：10万条记录，平均每个主题词对应40篇文献。系统:输入n个提问词检索，约需时间2n-3n秒。若使用虚拟盘进行中间运算，则只需时约1．5n秒。 展开更多

关键词 模糊检索 文献检索 主题检索 DBASEⅢ关系数据库 文献管理系统 向量检索数学模型

下载PDF 职称材料

基于加权的向量空间检索模式 被引量：4

15

作者 周斌 刘波 杨岳湘 《计算机工程》 CAS CSCD 北大核心 2002年第7期84-85,共2页

介绍了向量空间检索模式的基本原理,并针对其不能区分每个术语(term)在文档中出现的次数的缺点,提出了一种基于加权的改进的向量空间检索模式,很好地改进了此不足。

关键词 加权 向量空间检索模式 信息检索 数据库

下载PDF 职称材料

向量数据库及其应用研究

16

作者 孙雨生 曾俊皓 《科技情报研究》 2024年第4期11-24,共14页

[目的/意义]文章通过揭示向量数据库理论、技术、应用等体系,以期推动多模态AI相关理论、技术、应用研究与实践创新。[方法/过程]文章运用文献追溯法、内容分析法阐述了向量数据库演进历程并界定其核心概念,对比分析了其特点、价值,据... [目的/意义]文章通过揭示向量数据库理论、技术、应用等体系,以期推动多模态AI相关理论、技术、应用研究与实践创新。[方法/过程]文章运用文献追溯法、内容分析法阐述了向量数据库演进历程并界定其核心概念,对比分析了其特点、价值,据此梳理了其应用机理、功能及对应的关键技术、应用模式,探讨了向量数据库所面临的挑战及对策,展望了其理论、技术、应用发展趋势。[结果/结论]向量数据库源自向量索引方法体系构建、发展于向量数据检索引擎构建、完善于向量数据库管理系统构建;数据模型、索引机制等方面相比关系数据库、图数据库特点明显;具有用户、数据管理、开发者、研究者等方面的价值;关键技术分为向量数据的嵌入生成、索引、检索3类;应用模式分为数据驱动型、知识驱动型、场景驱动型3类;面临向量数据优质生成、语义描述、存储资源利用、协同共享、伦理安全等方面的挑战;发展态势趋向理论框架体系化、技术方案成熟化、应用服务生态化。 展开更多

关键词 向量数据库 多模态数据融合 向量数据检索 向量数据索引 AI应用生态

下载PDF 职称材料

几种情报检索理论研究的比较评价

17

作者 田卫梅 袁萍 《中小学图书情报世界》 2006年第6期25-26,共2页

布尔逻辑检索理论、模糊检索理论、向量空间检索理论是几种基本的检索理论。无论在理论上还是实践上他们都有自身的优缺点,我们应该在理论上深入研究,在实践上不断充实完善,做到充分发挥个性,体现共性,从而更好地促进情报检索的多元化... 布尔逻辑检索理论、模糊检索理论、向量空间检索理论是几种基本的检索理论。无论在理论上还是实践上他们都有自身的优缺点,我们应该在理论上深入研究,在实践上不断充实完善,做到充分发挥个性,体现共性,从而更好地促进情报检索的多元化、多媒体化,智能化。 展开更多

关键词 情报检索 逻辑检索 模糊检索 向量空间检索 多值标引

下载PDF 职称材料