wzw's Blog

我干了什么 究竟拿了时间换了什么

Multi-lane Detection Using Instance Segmentation and Attentive Voting

ICCAS 2019的一篇车道线检测论文。文章使用了自己的车道线数据集（5000张），分割网络很简单，但是后处理创新地提出了 Attentive Voting 方法来判断两条实例的线是否属于同一条车道线。 论文链接 Model 整个车道线检测过程示意图如上图所示：首先是语义分割，然后聚类出实例，然后进行透视变换为 Bird’s Eye View，然后是无监督的 Attentiv...

Posted by wzw on February 25, 2020

Pytorch并行训练

在使用 Pytorch 的 torch.nn.DataParallel() 训练网络时发现第一块显卡显存占用非常大，其他显卡显存占用比较小，出现了 GPU 负载不均衡的问题，于是换用 torch.nn.parallel.DistributedDataParallel()，可以更均匀的分配 GPU 资源。 参考链接 Method torch.nn.parallel.Distribut...

Posted by wzw on December 18, 2019

Interlaced Sparse Self-Attention for Semantic Segmentation

non-local block 计算消耗较大，这篇论文提出了 Interlaced Sparse Self-Attention，包括一个 long-range attention 和一个 short-range attention，用两个稀疏的相似矩阵代替了原来 self-attention 中密集的相似矩阵，减小了普通的 self-attention 的计算量。 论文链接 Met...

Posted by wzw on December 18, 2019

FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation

空洞卷积能获得更大的感受野同时不减小特征图分辨率，提高语义分割精确度，但是空洞卷积输出分辨率变大，极大的增加了计算开销，因此 FastFCN 提出了 Joint Pyramid Upsampling(JPU) 来提取高分辨率特征图。 论文链接 Method Joint Upsampling 作者从 Joint Upsampling 出发，给一个低分辨率的目标图像和高分辨率的指导图...

Posted by wzw on October 10, 2019

CCNet: Criss-Cross Attention for Semantic Segmentation

长距离依赖能捕捉有用的上下文信息有利于视觉的理解，这篇论文作者提出了一个 Criss-Cross Network (CCNet) 能有效同时很高效地得到这种重要的信息。相比 non-local block 节省了 11 倍的 GPU 使用率和 85% 的 FLOPs(每秒浮点计算次数)，并且在多个语义分割数据集上达到了 state-of-the-art。 论文链接 Method 上...

Posted by wzw on July 26, 2019

MobileNet

MobileNetV1 & MobileNetV2 轻量模型 MobileNetV1 主要思想就是提出了深度可分离卷积 Depthwise Separable Convolution，结构如下图所示： 深度可分离卷积先分别在输入特征图的每一个通道上应用一个卷积，称为 depthwise convolution，再用一个1*1的卷积去融合 depthwise conv ...

Posted by wzw on July 25, 2019

非线性SVM与核函数

svm学习笔记，参考《统计学习方法》、深度学习500问 线性支持向量机 传送门 非线性支持向量机与核函数 如果能用一个超曲面将数据集中正负例分开，则称这个问题为非线性可分问题。 对于上图中的例子，我们可以用一个椭圆形的超曲面将数据集分开，是一个非线性可分问题。 非线性问题往往不好解，如果能通过一个非线性变换，将左图中椭圆变成右图中的直线，就可将非线性分类问题变换为线性分类...

Posted by wzw on July 19, 2019

线性SVM

svm学习笔记，参考《统计学习方法》 线性可分支持向量机与硬间隔最大化 线性可分支持向量机 定义：给定线性可分训练数据集，通过间隔最大化或者等价地求解相应的凸二次规划问题学习得到的分离超平面为 以及相应的分类决策函数 称为线性可分支持向量机。 函数间隔 定义：对于给定训练数据集 T 和超平面 (w,b) (w为法向量，b为截距)，定义超平面 (w,b) 关于样本点 ...

Posted by wzw on July 18, 2019

A^2-Nets: Double Attention Networks

在这篇论文中作者基于 self-attention 机制和 SENet 的启发，提出了double attention 机制。其核心思想是首先将整个空间的关键特征收集到一个紧凑的集合中，然后自适应地将它们分配到每个位置，以便后续的卷积层即使没有大的感受野可以感知整个空间的特征。 论文链接 Method 第一个 attention 操作称之为 gather， 是计算整个输入特...

Posted by wzw on July 17, 2019

Non-local Neural Network

在深度神经网络中捕捉长距离依赖(long-range dependencies)是非常重要的，对于图片数据，传统的方法是通过堆叠卷积操作扩大感受野来获得长距离依赖。作者在这篇论文中受计算机视觉中传统的 non-local means 方法的启发，提出了 non-local operation 来捕捉长距离依赖。 论文链接 传统的卷积是在局部领域内进行操作，堆叠卷积有几点限制： ...

Posted by wzw on July 15, 2019

FEATURED TAGS
Non-local-opteration DeepLearning Self-attention Semantic Segmentation MachineLearning
ABOUT ME

For the next quantum leap
离开世界之前，一切都是过程

FRIENDS