Web Archive信息采集流程及关键问题研究 被引量：14

1

作者 刘兰 吴振新 《情报理论与实践》 CSSCI 北大核心 2009年第8期113-117,共5页

通过对国际网络存档项目和系统的调研,把网络信息采集的基本流程归纳为选择、征求所有者许可、实施采集、抽取元数据、质量审核和网络存档等6个部分,并对采集流程中存在的关键问题进行识别和分析。

关键词 互联网 网络存档 信息采集 采集流程

原文传递

面向Web Archive的社交媒体信息采集——基于ARCOMEM项目的案例分析 被引量：6

2

作者 张卫东 黄新平 《情报资料工作》 CSSCI 北大核心 2017年第1期94-99,共6页

文章通过对欧盟FP7框架下发展成熟且具有代表性的社交媒体信息采集与保存项目ARCOMEM采用的信息采集机制、采集标准、采集策略和采集方法等方面予以深入剖析,提出了建立多元的组织协作采集机制、制定科学规范的采集标准、运用多目标驱... 文章通过对欧盟FP7框架下发展成熟且具有代表性的社交媒体信息采集与保存项目ARCOMEM采用的信息采集机制、采集标准、采集策略和采集方法等方面予以深入剖析,提出了建立多元的组织协作采集机制、制定科学规范的采集标准、运用多目标驱动的采集策略、开发智能化的采集方法等建议,以期为我国社交媒体信息采集与保存的相关研究提供启示和借鉴。 展开更多

关键词 社交媒体 信息采集 web ARCHIVE ARCOMEM 项目

原文传递

基于PDA的林权调查系统研建 被引量：5

3

作者 吴鹏 楼雄伟 易晓梅 《西北林学院学报》 CSCD 北大核心 2013年第1期255-260,共6页

针对当前林权调查存在的不足,提出了利用PDA进行林权数据的采集,并建立了林权调查系统。该系统实现了林权属性数据管理和地籍信息管理;利用Web Services和服务器进行数据交互,使系统运行更加稳定,更易于扩展;通过利用数据异步加载和数... 针对当前林权调查存在的不足,提出了利用PDA进行林权数据的采集,并建立了林权调查系统。该系统实现了林权属性数据管理和地籍信息管理;利用Web Services和服务器进行数据交互,使系统运行更加稳定,更易于扩展;通过利用数据异步加载和数据缓存,可以使系统运行速度加快,用户体验度提高;利用智能升级技术,保证多个客户端版本保持一致。 展开更多

关键词 林权 PDA 信息采集 web服务

下载PDF 职称材料

基于移动WEB的小规模快速信息采集系统设计与实现 被引量：2

4

作者 朱云雷 《电力学报》 2013年第2期152-155,共4页

本文结合当前小规模管理信息系统发展趋势和应用现状,分析和提出了使用"整存整取"的数据处理方式,以及将先进的web系统开发理论成果建设移动站点的解决方案应用于小规模的快速信息采集,可以实现小规模的、基于移动站点的快速... 本文结合当前小规模管理信息系统发展趋势和应用现状,分析和提出了使用"整存整取"的数据处理方式,以及将先进的web系统开发理论成果建设移动站点的解决方案应用于小规模的快速信息采集,可以实现小规模的、基于移动站点的快速信息采集系统或者物联网信息采集系统的有效整合。 展开更多

关键词 web 移动web 信息采集 物联网

下载PDF 职称材料

面向历史灾害地震的Web信息精确抽取与分析方法 被引量：4

5

作者 文鑫涛 郑通彦 +3 位作者 王钟浩 李华玥 李晨曦 吕文超 《中国地震》 北大核心 2021年第4期819-828,共10页

以中国大陆地区灾害地震目录为基础,选取2010—2019年灾害地震的互联网信息,提出基于百度搜索引擎的信息获取技术,并以“时间、地名、震级”为关键词,设计一套URL生成规则。使用该技术进行百度检索,得到前100个站点的主体文字信息,建立... 以中国大陆地区灾害地震目录为基础,选取2010—2019年灾害地震的互联网信息,提出基于百度搜索引擎的信息获取技术,并以“时间、地名、震级”为关键词,设计一套URL生成规则。使用该技术进行百度检索,得到前100个站点的主体文字信息,建立地震信息基础语料库,形成灾害地震的网络灾情信息获取方法;通过采用已有的停用词词库剔除无用信息,对爬取到的信息进行初步清洗工作,进一步深入挖掘隐含信息,探索灾害关联关系,为震后互联网灾情信息快速获取建立基础。 展开更多

关键词 灾害地震 web信息抽取 灾情信息获取 数据分析

下载PDF 职称材料

基于用户体验的网页界面视觉传达系统设计 被引量：5

6

作者 钱江 《现代电子技术》 2021年第20期142-146,共5页

网页界面受到网络攻击的影响,会导致网页界面视觉传达的用户体验效果变差。为了增强网页界面视觉传达系统的用户体验效果,文中提出了基于用户体验的网页界面视觉传达系统设计。通过网页界面搜索模块设计和网页界面导航模块设计,完成了... 网页界面受到网络攻击的影响,会导致网页界面视觉传达的用户体验效果变差。为了增强网页界面视觉传达系统的用户体验效果,文中提出了基于用户体验的网页界面视觉传达系统设计。通过网页界面搜索模块设计和网页界面导航模块设计,完成了系统的硬件设计;通过采集网页界面的视觉传达信息、检测网页界面的轮廓特征以及网页界面的视觉传达设计,完成了系统的软件设计,从而实现了网页界面的视觉传达设计。通过测试得出结论用户体验的网页界面视觉传达系统在缩短响应时间的同时,使系统的性能大大提升,从而增强了网页界面视觉传达系统的用户体验效果。 展开更多

关键词 视觉传达 网页界面 用户体验 信息采集 硬件设计 软件设计 特征检测 系统测试

下载PDF 职称材料

基于语义的Web挖掘信息智能获取研究 被引量：2

7

作者 廉佐政 邓文新 吕洪柱 《齐齐哈尔大学学报（自然科学版）》 2008年第6期40-43,共4页

目前,基于语义的Web挖掘使语义Web和Web挖掘两个领域结合起来,并在一定程度上促进了各自的发展。本文介绍了语义Web的体系结构和Web挖掘以及智能Agent的相关概念,并提出了在多Agent框架下构建基于语义的Web挖掘信息智能获取系统模型,经... 目前,基于语义的Web挖掘使语义Web和Web挖掘两个领域结合起来,并在一定程度上促进了各自的发展。本文介绍了语义Web的体系结构和Web挖掘以及智能Agent的相关概念,并提出了在多Agent框架下构建基于语义的Web挖掘信息智能获取系统模型,经过分析说明此模型在一定程度上提高了信息获取的智能化水平。 展开更多

关键词 语义web挖掘 多AGENT系统 信息智能获取

下载PDF 职称材料

社交网络挖掘方案研究 被引量：4

8

作者 俞忻峰 《现代电子技术》 北大核心 2015年第4期25-29,34,共6页

随着社交网络普及,社交网络的数据获取成为首先要解决的问题。针对如何获取社交网站的数据,提出了基于API和网络爬虫的两种方法。通过采取对比试验,分别用两种方式在单位时间内抓取微博,比较抓取的微博条数。实验结果表明,基于API抓取... 随着社交网络普及,社交网络的数据获取成为首先要解决的问题。针对如何获取社交网站的数据,提出了基于API和网络爬虫的两种方法。通过采取对比试验,分别用两种方式在单位时间内抓取微博,比较抓取的微博条数。实验结果表明,基于API抓取的速度比较快,但是稳定性和数据完整性欠佳;基于网路爬虫方式抓取的速度比较慢,但是稳定性和数据完整性较好。最后提出通过采用两种方式相结合的方式,能够进一步提高抓取效率。 展开更多

关键词 新浪微博 数据挖掘 ANDROID SDK 新浪API 网络爬虫 信息采集

下载PDF 职称材料

浅析网络智能在信息代理中的应用 被引量：1

9

作者 刘洋 连建勇 +2 位作者 曹文慧 侯志辉 聂小燕 《南华大学学报（理工版）》 2002年第1期87-92,共6页

在本文通过智能信息代理的分析,对网络智能化作了初步假设与处理,意使网络具备“代理人”的身份,能够代表用户完成信息收集、信息过滤和信息调整等工作,将消除信息过载和信息迷途纳入对用户的整个服务体系之中,实现“信息代理”和网络... 在本文通过智能信息代理的分析,对网络智能化作了初步假设与处理,意使网络具备“代理人”的身份,能够代表用户完成信息收集、信息过滤和信息调整等工作,将消除信息过载和信息迷途纳入对用户的整个服务体系之中,实现“信息代理”和网络资源的优化配置。 展开更多

关键词 网络智能 人工智能 信息技术 智能信息代理 信息发现 信息获取 信息过滤 信息检索

下载PDF 职称材料

基于微博数据采集的Web信息集成系统研究 被引量：3

10

作者 马凯 《现代电子技术》 北大核心 2016年第11期125-128,共4页

使用模块化构建了一种特定领域的Web信息集成系统,设计实现一种基于领域关键词的新闻、微博数据采集处理系统,通过用户提供的关键词,结合人工筛选进行关键词扩展,对全网相关新闻、微博数据进行采集与抽取。设计实现了一种基于关键词和... 使用模块化构建了一种特定领域的Web信息集成系统,设计实现一种基于领域关键词的新闻、微博数据采集处理系统,通过用户提供的关键词,结合人工筛选进行关键词扩展,对全网相关新闻、微博数据进行采集与抽取。设计实现了一种基于关键词和转发数的新闻排序方法,对特定领域采集的新闻数据进行处理排序,遴选重要信息进行定向推送。以气候变化领域为例,设计了Web信息集成系统。 展开更多

关键词 web信息集成 微博数据采集 气候变化 信息推送

下载PDF 职称材料

基于语义扩展的产品创新设计信息获取研究 被引量：1

11

作者 李淑梅 何卫平 赵锋 《计算机应用研究》 CSCD 北大核心 2007年第4期117-119,共3页

针对现有搜索技术在支持产品创新设计知识获取方面存在的不足,研究了面向产品创新设计领域的信息搜索方法,建立了类似于内部语义网的产品设计语义库。借助语义网络扩展关键词的语义内涵,实现对用户检索意图的理解;以此为基础建立了面向... 针对现有搜索技术在支持产品创新设计知识获取方面存在的不足,研究了面向产品创新设计领域的信息搜索方法,建立了类似于内部语义网的产品设计语义库。借助语义网络扩展关键词的语义内涵,实现对用户检索意图的理解;以此为基础建立了面向特定设计领域的网络信息检索方法和流程,使得搜索获得的信息内容更加全面,主题更加鲜明。最后以手机产品创新设计信息搜集为例予以验证。 展开更多

关键词 创新设计 语义网络 信息获取

下载PDF 职称材料

一种基于网页信息抽取的OA期刊资源采集方法研究 被引量：2

12

作者 黄政 张学福 《数字图书馆论坛》 CSSCI 2017年第5期25-32,共8页

本文结合开放获取期刊(Open Access Journal,OA期刊)资源特点,针对无法通过OAI-PMH协议进行资源采集的OA期刊,提出一种基于网页信息抽取的资源采集策略。本文从网页资源描述的角度总结OA期刊资源特点并对其分类。基于网页信息抽取方法... 本文结合开放获取期刊(Open Access Journal,OA期刊)资源特点,针对无法通过OAI-PMH协议进行资源采集的OA期刊,提出一种基于网页信息抽取的资源采集策略。本文从网页资源描述的角度总结OA期刊资源特点并对其分类。基于网页信息抽取方法在OA期刊资源采集适用性,提出一种基于OA期刊网页元数据抽取的采集方法,并在此方法的基础上设计了采集系统。通过对国内外不遵循OAI-PMH协议的10本OA期刊的网站实证采集,得到45 785篇论文的元数据,证明该采集方法能有效地应用于此类资源采集。研究丰富了OA期刊资源采集方式,对不遵循OAI-PMH协议的OA期刊资源采集提供方法借鉴。 展开更多

关键词 OA期刊 OA期刊资源采集 网页信息采集 OA期刊资源采集系统

下载PDF 职称材料

因特网上的食品科技信息资源及获取 被引量：2

13

作者 金晔 咸军 《中国畜产与食品》 1999年第6期275-277,共3页

本文讨论了如何在因特网上进行搜索和获得食品科技信息资源。给出了在因特网上有关食品科技信息资源的网站共计82个，其中：机构与组织22个、期刊与文献31）个、专利7个以及其它常用的网站23个。

关键词 因特网 网站 信息资源 信息获取 食品科技

下载PDF 职称材料

结合中文网页自动分类系统的AIP平台

14

作者 王冠 裘正定 《微机发展》 2005年第3期136-138,141,共4页

AIP(AlldayInformationPursue)平台,即全天候信息跟踪平台,作为关注多方面消息的企业或团体查看Internet上新信息的一种解决方案,弥补了搜索引擎一些方面的不足。它能够从Internet上获取每日的新信息,利用网页自动分类去除不相关文章。... AIP(AlldayInformationPursue)平台,即全天候信息跟踪平台,作为关注多方面消息的企业或团体查看Internet上新信息的一种解决方案,弥补了搜索引擎一些方面的不足。它能够从Internet上获取每日的新信息,利用网页自动分类去除不相关文章。通过此平台,用户可以按时间、按类别来查看信息,也可以对文章加以标注推荐给别人阅读。 展开更多

关键词 文本分类 网页分类 网页表示 信息查询

下载PDF 职称材料

基于Web的地质矿产情报获取技术研究

15

作者 段献 《科技创新与生产力》 2017年第3期38-41,共4页

地质矿产资源是社会经济发展和人类生活的重要物质基础,加强矿产资源的情报搜集能力是矿业全球化的必然要求,是合理配置全球矿产资源的有效途径。本文主要研究如何基于Web搜索到的地质情报信息,以搜索引擎为接口,利用基于关键字的网络爬... 地质矿产资源是社会经济发展和人类生活的重要物质基础,加强矿产资源的情报搜集能力是矿业全球化的必然要求,是合理配置全球矿产资源的有效途径。本文主要研究如何基于Web搜索到的地质情报信息,以搜索引擎为接口,利用基于关键字的网络爬虫,抓取地质矿产相关的原始网页文本信息,根据正则表达式,对文本进行预处理,剔除无用网页标签和无研究价值信息,进一步进行中文分词、网页主题词提取和主题相关度计算。最终,在探讨技术可行性的同时,为后期的情报获取以及文本挖掘提供大量研究素材。 展开更多

关键词 web 地质情报 信息获取 矿产资源

下载PDF 职称材料

Web信息数据的计量与采集方法 被引量：1

16

作者 庞景安 周志宏 《情报理论与实践》 CSSCI 北大核心 2007年第3期392-396,共5页

Web信息资源正在引起人们越来越多的重视和研究,而无论从信息检索的角度,还是从信息计量分析的角度,对Web信息数据的计量和采集都是一个重要的基础。本文基于信息计量学研究的目的,在对Web概念进一步认识的基础上,深入全面地探讨了Web... Web信息资源正在引起人们越来越多的重视和研究,而无论从信息检索的角度,还是从信息计量分析的角度,对Web信息数据的计量和采集都是一个重要的基础。本文基于信息计量学研究的目的,在对Web概念进一步认识的基础上,深入全面地探讨了Web信息数据的计量模式、测度单位,以及采集Web信息数据的各种不同方法。 展开更多

关键词 web信息资源 网络计量学 数据采集

下载PDF 职称材料

基于网络爬虫技术的旋转机械故障诊断信息采集系统 被引量：1

17

作者 陈运胜 张创基 《信息与电脑》 2022年第15期139-141,共3页

由于传统的故障诊断信息采集系统对数据源的收集不够全面,无法准确诊断旋转机械故障,影响机械设备在实际应用中的效果,因此为了更好地判断旋转机器的故障情况,基于网络爬虫技术的旋转机械故障诊断信息采集系统。在硬件设计上,设计系统... 由于传统的故障诊断信息采集系统对数据源的收集不够全面,无法准确诊断旋转机械故障,影响机械设备在实际应用中的效果,因此为了更好地判断旋转机器的故障情况,基于网络爬虫技术的旋转机械故障诊断信息采集系统。在硬件设计上,设计系统总体结构和信息采集卡。在软件设计上,布置旋转机械故障诊断测点,基于网络爬虫技术设计故障诊断信息采集规则,从采集信息中提取故障诊断征兆,为故障诊断提供数据信息支持。经实验论证分析,设计系统与传统系统相比,信息采集的速度更快,均在85 kb/s以上,其传输信号的衰减率更低,均在5.00%以下,证明本文系统更为稳定,具有可行性。 展开更多

关键词 网络爬虫技术 旋转机械 故障诊断 信息采集系统

下载PDF 职称材料

Web信息增量采集与保存管理平台的设计与实现

18

作者 赵丹阳 《无线互联科技》 2022年第23期68-71,共4页

随着网络的普及和发展,互联网资源已经成为人类文明记忆的载体,及时并完整的保存网络信息资源变得尤为重要。文章结合国家图书馆网络信息资源采集与保存工作的发展历程、技术发展和互联网信息更新快等特点,提出基于Heritrix开源架构的... 随着网络的普及和发展,互联网资源已经成为人类文明记忆的载体,及时并完整的保存网络信息资源变得尤为重要。文章结合国家图书馆网络信息资源采集与保存工作的发展历程、技术发展和互联网信息更新快等特点,提出基于Heritrix开源架构的网络信息增量采集与保存管理平台的设计和架构,并详细介绍平台在网络资源增量采集和增量回显一站式服务的实现技术,提升国家图书馆网络资源保存工作效率和服务质量的同时,以期为业界提供有益的参考和借鉴。 展开更多

关键词 web信息抓取 增量采集 增量回显 HERITRIX 平台构建

下载PDF 职称材料

网络时代信息资源的采集、描述与质量控制——以东北林业大学重点学科导航库为例 被引量：12

19

作者 李海英 《图书馆学研究》 2006年第3期57-59,49,共4页

网络信息资源已逐渐成为高等院校图书馆文献资源建设的一个重要内容,本文以东北林业大学学科导航库为例,系统地讨论了网络信息资源的采集、描述及其质量控制。

关键词 网络信息资源 学科导航 信息采集 描述 质量控制

下载PDF 职称材料

面向Web Archive的社交媒体信息采集工具比较研究 被引量：8

20

作者 陈为东 王萍 +1 位作者 王益成 黄新平 《图书馆学研究》 CSSCI 2017年第13期10-16,共7页

社交媒体承载着丰富的网络信息资源,网络信息资源保存能实现信息资源的长期存取,为社交媒体信息采集和长期保存奠定了基础。社交媒体信息采集意义与流程不同于网络信息资源采集,其采集工具分为捕获形式、插件技术、专门针对某一资源或... 社交媒体承载着丰富的网络信息资源,网络信息资源保存能实现信息资源的长期存取,为社交媒体信息采集和长期保存奠定了基础。社交媒体信息采集意义与流程不同于网络信息资源采集,其采集工具分为捕获形式、插件技术、专门针对某一资源或社交媒体、保存对象、其他种类共5类,从API独立性、采集内容、适用对象、是否开源与免费5个指标比较了捕获形式下以API获取信息的7种工具,为国内社交媒体信息长期保存选择采集工具时提供参考。 展开更多

关键词 网络信息资源保存 社交媒体 信息采集 采集工具

原文传递