卷积神经网络已在多个领域取得了优异的性能表现,然而由于其不透明的内部状态,其可解释性依然面临很大的挑战.其中一个原因是卷积神经网络以像素级特征为输入,逐层地抽取高级别特征,然而这些高层特征依然十分抽象,人类不能直观理解.为...卷积神经网络已在多个领域取得了优异的性能表现,然而由于其不透明的内部状态,其可解释性依然面临很大的挑战.其中一个原因是卷积神经网络以像素级特征为输入,逐层地抽取高级别特征,然而这些高层特征依然十分抽象,人类不能直观理解.为了解决这一问题,我们需要表征出网络中隐藏的人类可理解的语义概念.本文通过预先定义语义概念数据集(例如红色、条纹、斑点、狗),得到这些语义在网络某一层的特征图,将这些特征图作为数据,训练一个张量分类器.我们将与分界面正交的张量称为语义激活张量(Semantic Activation Tensors,SATs),每个SAT都指向对应的语义概念.相对于向量分类器,张量分类器可以保留张量数据的原始结构.在卷积网络中,每个特征图中都包含了位置信息和通道信息,如果将其简单地展开成向量形式,这会破坏其结构信息,导致最终分类精度的降低.本文使用SAT与网络梯度的内积来量化语义对分类结果的重要程度,此方法称为TSAT(Testing with SATs).例如,条纹对斑马的预测结果有多大影响.本文以图像分类网络作为解释对象,数据集选取ImageNet,在ResNet50和Inceptionv3两种网络架构上进行实验验证.最终实验结果表明,本文所采用的张量分类方法相较于传统的向量分类方法,在数据维度较大或数据不易区分的情况下,分类精度有显著的提高,且分类的稳定性也更加优秀.这从而保证了本文所推导出的语义激活张量更加准确,进一步确保了后续语义概念重要性量化的准确性.展开更多
结构磁共振成像(s MRI)本质上具有三维张量结构,而传统的向量空间机器学习方法将其展开成向量进行建模,这破坏了数据的内在结构信息的完整性,降低了机器学习性能。为了克服数据向量化的弊端,提出了一种基于支持张量机(Support tensor ma...结构磁共振成像(s MRI)本质上具有三维张量结构,而传统的向量空间机器学习方法将其展开成向量进行建模,这破坏了数据的内在结构信息的完整性,降低了机器学习性能。为了克服数据向量化的弊端,提出了一种基于支持张量机(Support tensor machine,STM)的以3D T1加权MR脑白质图像为输入的阿尔兹海默症诊断算法。首先用SPM8软件将采集的MRI数据进行预处理,分割为灰质、白质、脑脊液3部分,提取脑白质各体素的灰度值构建三阶灰度张量,然后用递归特征消除(Recursive Feature Elimination,RFE)法结合支持张量机进行特征选择,最后用支持张量机进行分类。在阿尔兹海默症患者(AD),轻度认知障碍患者(MCI)(包括转化为AD的MCI-C和未转化的MCI-NC)以及正常对照(NC)4组人群中进行实验测试,并用10折交叉验证方法获得验证结果。用ROC曲线下面积AUC、分类准确率、敏感性、特异性这4个指标评价分类器的性能,AD vs NC组分别达到99.1%、97.14%、95.71%、98.57%;AD vs MCI组分别达到88.29%、84.07%、78.57%、91.07%;MCI vs NC组分别达到89.18%、87.91%、93.75%、78.57%;MCI-C vs MCI-NC组分别达到87.5%、82.08%、80.36%、82.14%。算法保持了原始图像的张量结构,提高了分类器的性能,实验结果表明此算法是一种有效的阿尔兹海默症诊断方法。展开更多
基于随机梯度下降法,提出了在线支持张量机(online support tensor machine,OSTM)算法。该算法的学习数据是张量模式,并以序列方式获取。算法利用张量秩一分解来代替原始张量辅助内积运算,不仅保持了原始张量的自然结构信息和关系,也极...基于随机梯度下降法,提出了在线支持张量机(online support tensor machine,OSTM)算法。该算法的学习数据是张量模式,并以序列方式获取。算法利用张量秩一分解来代替原始张量辅助内积运算,不仅保持了原始张量的自然结构信息和关系,也极大地节省了存储空间和计算时间。在13个张量数据集上的实验表明,与在线支持向量机相比,在拥有可比的测试精度的情况下,在线支持张量机具有更快的训练速度,尤其对于高阶张量,其优越性更明显。展开更多
以秩一支持张量机(Rank-one Support Tensor Machine,R1-STM)为代表的张量学习现已成为模式识别领域的一个研究热点,具有非常广泛的应用.秩一支持张量机是非凸优化问题,不但求解非常耗时,而且得到的解是局部最优解.基于张量核函数的支...以秩一支持张量机(Rank-one Support Tensor Machine,R1-STM)为代表的张量学习现已成为模式识别领域的一个研究热点,具有非常广泛的应用.秩一支持张量机是非凸优化问题,不但求解非常耗时,而且得到的解是局部最优解.基于张量核函数的支持张量机(Support Tensor Machine based on Tensor-Kernel,TK-STM)能够解决非线性分类问题,不仅继承了支持向量机(Support Vector Machine,SVM)的优点,而且保持了更多的张量结构信息,能够通过一步迭代得到全局最优解.数值试验部分采用了五个向量型数据集和七个张量型数据集,并且将TK-STM与SVM和R1-STM这两个经典算法在分类精度和训练时间上进行了比较,实验结果表明无论在分类效果上还是训练时间上,TK-STM都具有明显的优势,特别是在处理高维小样本数据集上.展开更多
One-class classification problem has become a popular problem in many fields, with a wide range of applications in anomaly detection, fault diagnosis, and face recognition. We investigate the one-class classification ...One-class classification problem has become a popular problem in many fields, with a wide range of applications in anomaly detection, fault diagnosis, and face recognition. We investigate the one-class classification problem for second-order tensor data. Traditional vector-based one-class classification methods such as one-class support vector machine (OCSVM) and least squares one-class support vector machine (LSOCSVM) have limitations when tensor is used as input data, so we propose a new tensor one-class classification method, LSOCSTM, which directly uses tensor as input data. On one hand, using tensor as input data not only enables to classify tensor data, but also for vector data, classifying it after high dimensionalizing it into tensor still improves the classification accuracy and overcomes the over-fitting problem. On the other hand, different from one-class support tensor machine (OCSTM), we use squared loss instead of the original loss function so that we solve a series of linear equations instead of quadratic programming problems. Therefore, we use the distance to the hyperplane as a metric for classification, and the proposed method is more accurate and faster compared to existing methods. The experimental results show the high efficiency of the proposed method compared with several state-of-the-art methods.展开更多
文摘卷积神经网络已在多个领域取得了优异的性能表现,然而由于其不透明的内部状态,其可解释性依然面临很大的挑战.其中一个原因是卷积神经网络以像素级特征为输入,逐层地抽取高级别特征,然而这些高层特征依然十分抽象,人类不能直观理解.为了解决这一问题,我们需要表征出网络中隐藏的人类可理解的语义概念.本文通过预先定义语义概念数据集(例如红色、条纹、斑点、狗),得到这些语义在网络某一层的特征图,将这些特征图作为数据,训练一个张量分类器.我们将与分界面正交的张量称为语义激活张量(Semantic Activation Tensors,SATs),每个SAT都指向对应的语义概念.相对于向量分类器,张量分类器可以保留张量数据的原始结构.在卷积网络中,每个特征图中都包含了位置信息和通道信息,如果将其简单地展开成向量形式,这会破坏其结构信息,导致最终分类精度的降低.本文使用SAT与网络梯度的内积来量化语义对分类结果的重要程度,此方法称为TSAT(Testing with SATs).例如,条纹对斑马的预测结果有多大影响.本文以图像分类网络作为解释对象,数据集选取ImageNet,在ResNet50和Inceptionv3两种网络架构上进行实验验证.最终实验结果表明,本文所采用的张量分类方法相较于传统的向量分类方法,在数据维度较大或数据不易区分的情况下,分类精度有显著的提高,且分类的稳定性也更加优秀.这从而保证了本文所推导出的语义激活张量更加准确,进一步确保了后续语义概念重要性量化的准确性.
文摘结构磁共振成像(s MRI)本质上具有三维张量结构,而传统的向量空间机器学习方法将其展开成向量进行建模,这破坏了数据的内在结构信息的完整性,降低了机器学习性能。为了克服数据向量化的弊端,提出了一种基于支持张量机(Support tensor machine,STM)的以3D T1加权MR脑白质图像为输入的阿尔兹海默症诊断算法。首先用SPM8软件将采集的MRI数据进行预处理,分割为灰质、白质、脑脊液3部分,提取脑白质各体素的灰度值构建三阶灰度张量,然后用递归特征消除(Recursive Feature Elimination,RFE)法结合支持张量机进行特征选择,最后用支持张量机进行分类。在阿尔兹海默症患者(AD),轻度认知障碍患者(MCI)(包括转化为AD的MCI-C和未转化的MCI-NC)以及正常对照(NC)4组人群中进行实验测试,并用10折交叉验证方法获得验证结果。用ROC曲线下面积AUC、分类准确率、敏感性、特异性这4个指标评价分类器的性能,AD vs NC组分别达到99.1%、97.14%、95.71%、98.57%;AD vs MCI组分别达到88.29%、84.07%、78.57%、91.07%;MCI vs NC组分别达到89.18%、87.91%、93.75%、78.57%;MCI-C vs MCI-NC组分别达到87.5%、82.08%、80.36%、82.14%。算法保持了原始图像的张量结构,提高了分类器的性能,实验结果表明此算法是一种有效的阿尔兹海默症诊断方法。
文摘基于随机梯度下降法,提出了在线支持张量机(online support tensor machine,OSTM)算法。该算法的学习数据是张量模式,并以序列方式获取。算法利用张量秩一分解来代替原始张量辅助内积运算,不仅保持了原始张量的自然结构信息和关系,也极大地节省了存储空间和计算时间。在13个张量数据集上的实验表明,与在线支持向量机相比,在拥有可比的测试精度的情况下,在线支持张量机具有更快的训练速度,尤其对于高阶张量,其优越性更明显。
文摘以秩一支持张量机(Rank-one Support Tensor Machine,R1-STM)为代表的张量学习现已成为模式识别领域的一个研究热点,具有非常广泛的应用.秩一支持张量机是非凸优化问题,不但求解非常耗时,而且得到的解是局部最优解.基于张量核函数的支持张量机(Support Tensor Machine based on Tensor-Kernel,TK-STM)能够解决非线性分类问题,不仅继承了支持向量机(Support Vector Machine,SVM)的优点,而且保持了更多的张量结构信息,能够通过一步迭代得到全局最优解.数值试验部分采用了五个向量型数据集和七个张量型数据集,并且将TK-STM与SVM和R1-STM这两个经典算法在分类精度和训练时间上进行了比较,实验结果表明无论在分类效果上还是训练时间上,TK-STM都具有明显的优势,特别是在处理高维小样本数据集上.
基金Supponed by the National Natural Science Foundation of China under Grant Nos.6060309660533090(国家自然科学基金)+3 种基金the National High-Tech Research and Development Plan of China under Grant No.2006AA010107(国家高技术研究发展计划(863)the N~ional Key Technology R&D Program 0f China under Grant No.2007BAH11B01(国家科技支撑计划)the Program for Changjiang Scholars and Innovative Research Team in University ofChina under Grant Nos.IRT0652PCSIRT(长江学者和创新团队发展计划)
文摘One-class classification problem has become a popular problem in many fields, with a wide range of applications in anomaly detection, fault diagnosis, and face recognition. We investigate the one-class classification problem for second-order tensor data. Traditional vector-based one-class classification methods such as one-class support vector machine (OCSVM) and least squares one-class support vector machine (LSOCSVM) have limitations when tensor is used as input data, so we propose a new tensor one-class classification method, LSOCSTM, which directly uses tensor as input data. On one hand, using tensor as input data not only enables to classify tensor data, but also for vector data, classifying it after high dimensionalizing it into tensor still improves the classification accuracy and overcomes the over-fitting problem. On the other hand, different from one-class support tensor machine (OCSTM), we use squared loss instead of the original loss function so that we solve a series of linear equations instead of quadratic programming problems. Therefore, we use the distance to the hyperplane as a metric for classification, and the proposed method is more accurate and faster compared to existing methods. The experimental results show the high efficiency of the proposed method compared with several state-of-the-art methods.
