提供龙岗网站建设,新网站怎么做seo,石家庄站列车时刻表,重庆seo培训#x1f3e1;博客主页#xff1a; virobotics的CSDN博客#xff1a;LabVIEW深度学习、人工智能博主 #x1f384;所属专栏#xff1a;『LabVIEW深度学习实战』 #x1f37b;上期文章#xff1a;『LabVIEW深度相机与三维定位实战#xff08;上#xff09;』 #… 博客主页 virobotics的CSDN博客LabVIEW深度学习、人工智能博主 所属专栏『LabVIEW深度学习实战』 上期文章『LabVIEW深度相机与三维定位实战上』 如觉得博主文章写的不错或对你有所帮助的话还望大家多多支持呀 欢迎大家✌关注、点赞、✌收藏、订阅专栏 文章目录 前言一、立体匹配与ACV算法1.1 立体匹配1.2 ACV算法 二、环境搭建2.1 部署本项目时所用环境2.2 LabVIEW工具包下载及安装 三、LabVIEW实现ACVNet立体匹配3.1 获取模型3.2 测试范例 四、项目源码总结 前言
Hello大家好这里是virobotics。今天给大家分享在LabVIEW中实现深度相机与三维定位立体匹配与ACV算法。关于双目相机基础支持可查看上一篇博文『LabVIEW深度相机与三维定位实战上』 一、立体匹配与ACV算法
1.1 立体匹配 基本思路 如上一篇博文所述如果已知左右相机画面中的两个像素来源于空间中的同一个点那么就可以通过视差来计算出该点到基线的距离深度。 如果有一种算法针对左目画面中的每一个像素能够分别找到它们在右目画面中对应空间中同一点的像素假如存在的话那么就可以计算出单目画面中每一个点的深度从而形成立体视觉。 立体匹配的任务 立体匹配的目标就是从不同视点图像中找到匹配的对应点。该模型的输入为若干不同视角的相机采集的图像输出是这些图像上的点的对应关系。 立体匹配是目前机器视觉领域的一个难点近年来不断有人发明或改良出新的方法以求提高效率和准确性。本文接下来将介绍其中一种方法——ACV。
1.2 ACV算法 简介 该算法来源于今年2022发表于CVPR上的一篇论文 Attention Concatenation Volume for Accurate and Efficient Stereo Matching 原文下载地址 https://arxiv.org/abs/2203.02146 ACV即 Attention Concatenation Volume意为注意力连接(代价)体。它是文章提出的一种新的立体匹配“代价体”的构建方法。 “该方法利用相关线索生成注意力权重以抑制冗余信息增强连接体积中的匹配相关信息。为了产生可靠的注意力权重本文提出了多级自适应补丁匹配以提高不同视差下匹配成本的显著性即使是无纹理区域。” ACVNet网络结构 如下图所示首先通过CNN分别提取左右画面的特征图然后上下“兵分两路” 1、下边将左右特征图按照一定规律拼接生成初始连接代价体(Concat volume); 2、上边将不同层的左右特征图进行多级自适应补丁匹配(MAPM)最终生成注意力权重 (Attention Weights) 3、用注意力权重 对Concat volume进行过滤以增强相关抑制冗余得到注意力连接代价体(Attention concat volume) 4、最后ACV通过一个代价聚合网络(Cost Aggregation)输出最终结果Left画面每一点的视差预测。 初始连接代价体的构建 给定一个尺寸为H×W×3的输入立体图像对对于每个图像我们通过CNN特征提取分别得到左、右图像的一元特征图fl和fr。 特征图的大小为Nc×H/4×W/4Nc32。然后通过连接每个视差水平的fl和fr形成初始连接体即为 Cconcat 的尺寸为2Nc ×D/4×H/4×W/4 其中D为最大视差。 帮助理解 1、左右特征图都是Nc通道。并且经过多次卷积之后尺寸已经缩小为原来的1/4。那么原图最大视差D就对应特征图的最大视差为D/4 2、通俗地讲解拼接过程 把Nc通道的右特征图的所有像素沿X轴向右平移1个像素然后拼接在Nc通道的左特征图的后面得到第1组2Nc通道的拼接特征图。 平移2个像素拼接得到第2组、平移3个像素拼接得到第3组……直到平移D/4一共D/4组2Nc通道的拼接特征图。因此Cconcat 的尺寸为2Nc ×D/4×H/4×W/4 3、这种连接体的构建实际是在列举所有视差匹配的可能性。理想双目只在X方向有视差即同源点必然位于左右特征图的同一条水平线上且XL一定大于XR。因此我们对右侧特征图沿X向右平移1到D/4个单位再分别与左侧特征图叠加就能让所有同源点得到一次“左右重合”的机会。重合时对应的平移距离反映了该点的视差大小进而反映该点的深度。 多级自适应补丁匹配MAPM 从特征提取模块得到3个不同层次的特征图l1、l2、l3其通道数分别为64、128、128。对于每一个处于特定水平的像素我们利用一个具有预定尺寸和自适应学习权重的atrous patch来计算匹配成本。通过控制膨胀率我们确保patch的范围与特征图层有关同时在计算中心像素的相似度时保持相同的像素数量。然后两个相应的像素的相似性是patch内相应像素之间的相关性的加权和。 帮助理解 1、虽然算法复杂但是目的简单就是在估计左右特征图上的两个点是空间同一点的可能性(权重) 2、估算可能性的方法是选取该点及其周围点参与加权计算。这个选取范围叫做patch是个会膨胀的自适应范围。但无论怎么膨胀参与计算的点数是恒定的9个就是图中红色和橙色的点。白色的点是膨胀产生的空洞不参与计算。 将l1、l2和l3的三级特征图连接起来形成Nf个通道的单级特征图Nf320。将Nf通道平均分成Ng组Ng40前8组来自l1中间16组来自l2最后16组来自l3。不同级别的特征图不会相互干扰。我们把第g个特征组表示为 多级补丁匹配量Cpatch的计算方法为 注意力权重过滤 在得到注意权重A后我们用它来消除初始连接代价体中的冗余信息进而提高其表示能力。 通道 i 处的注意力连接代价体ACV计算为 ⊙表示对应像素点乘注意力权重 A 应用于初始连接代价体的所有通道的过滤。 代价聚合与视差预测 用一个预沙漏模块来处理ACV,它由4个3D卷积组成(包括批归一化、ReLU、2个3D堆叠沙漏网络,堆叠在一个 encoder-decoder结构。 由代价聚合获得3个输出对于每个输出使用2个3D卷积得到单通道4D volume然后上采样并通过softmax转化为置信体。3个预测的视差图表示为d0、d1、d2。最终预测值就是每一层视差与置信度乘积求和。k表示视差层级pk表示对应的置信度 二、环境搭建
2.1 部署本项目时所用环境
操作系统Windows10python3.6及以上LabVIEW2018及以上 64位版本AI视觉工具包techforce_lib_opencv_cpu-1.0.0.98.viponnx工具包virobotics_lib_onnx_cuda_tensorrt-1.0.0.16.vip【1.0.0.16及以上版本】
2.2 LabVIEW工具包下载及安装
AI视觉工具包下载与安装参考 https://blog.csdn.net/virobotics/article/details/123656523onnx工具包下载与安装参考 https://blog.csdn.net/virobotics/article/details/124998746 三、LabVIEW实现ACVNet立体匹配
3.1 获取模型
项目中提供一个onnx格式的ACVNet模型模型文件位于“范例\acvnet_maxdisp192_sceneflow_240x320.onnx”
模型的输入为左右两张彩色图大小均为 3240320须归一化到-1~1之间。
最大视差为maxdisp 192 。
模型的输出为3个层级下的左图各个像素的视差预测。通常我们只取其中一个层级下的预测结果。
3.2 测试范例 打开“范例\ACVNet_main.vi” 切换到程序框图检查依赖的模型文件路径、左右图片路径是否正确。 切换到前面板运行VI观察输出结果。本范例采用灰度图对预测结果进行后处理灰度大小与该点的视差大小正相关 修改图片路径用上一篇博文采集的left.png和right.png图片作为输入运行测试。 四、项目源码 如需源码可在一键三连并订阅本专栏后评论区留下邮箱 总结
以上就是今天要给大家分享的内容希望对大家有用。我是virobotics,我们下篇文章见~ 如果文章对你有帮助欢迎✌关注、点赞、✌收藏、订阅专栏 推荐阅读
LabVIEW图形化的AI视觉开发平台非NI Vision大幅降低人工智能开发门槛 LabVIEW图形化的AI视觉开发平台非NI VisionVI简介 LabVIEW AI视觉工具包OpenCV Mat基本用法和属性 手把手教你使用LabVIEW人工智能视觉工具包快速实现图像读取与采集
技术交流 · 一起学习 · 咨询分享请联系
