基于深度学习的3D目标检测在自动驾驶中的应用与挑战 杭州edm营销推广

转载自：基于深度学习的图像目标检测（第二部分）大牛讲座 |基于深度学习的目标检测在自动驾驶中的应用前言

CNN（）在目标检测方面大放异彩，R-CNN系列、YOLO、SSD等各种优秀方法层出不穷。在二维图像中的目标检测方面，学术界提出的许多框架已经投入商业使用。然而，当应用于自动驾驶、机器人等应用场景时，2D场景中的目标检测仍然不足以描述3D真实场景。

目标检测问题实际上包含两个任务：定位和分类。定位任务中3D目标检测的目标是返回3D框，需要的信息不仅是2D RGB图像，还需要对应的深度信息Depth Map：

RGB-D=普通RGB三通道彩色图像+深度图

在 3D 计算机图形学中，深度图是图像或图像通道，其中包含有关从视点到场景对象表面的距离的信息。其中，深度图类似于灰度图像，只不过每个像素值是传感器与物体之间的实际距离。通常RGB图像和Depth图像是配准的，因此像素之间存在一一对应的关系。

本文以时间为主轴，带您回顾2014年以来RGB-D图像目标检测的典型论文。

纸

2014：丰富的 RGB-D 和 (ECCV'14)

本文是rbg大师的作品。 “基于CNN，它在图像分类、目标检测、语义分割和细粒度分类等方面表现出了相当大的优势。许多作品将CNN引入到RGB-D图像上的视觉任务中。其中一些作品直接使用4-图像进行语义分割任务（不是），其中一部分只是在非常理想的环境下对小物体进行目标检测”。

作者的方法是基于2D目标检测框架R-CNN，并添加了Depth Map的使用。整体结构如下：

（1）根据RGB图像和Depth Map，检测图像中的轮廓并生成2.5D（从上面可以看出，所谓的2.5D实际上包括每个像素的视差、高度、倾斜角度的目标）

(2)使用CNN进行特征提取。这里的网络包括两个：Depth CNN学习深度图上的特征，RGB CNN学习2D图像上的特征，最后使用SVM进行分类。

在Depth Map的使用上，论文中描述的方法并不是直接使用CNN来学习它，而是深度图像在每个像素处有三个：（水平视差）、上方（高度）、以及像素局部与的角度（相对于重力的倾斜角）。

2015 年：课堂 3D (NIPS'15)

作品出自清华陈晓志大师之手（大师同时也是《Multi-View 3D for》的作者，对不起）。

作者首先指出目前state-of-the-art的RCNN方法在自动驾驶数据集KITTI上表现不佳。原因之一是KITTI上的测试图像包含许多小物体、遮挡和阴影，使得实际包含的物体被认为不合适。包括。另外，KITTI对区域的精细度要求较高（），目前大多数区域推荐都是基于强度和纹理超，无法获得高质量。

文章提出了一种针对自动驾驶场景的新方法。对于每个3D盒子（记为y），用一个元组来表示（x,y,z,θ,c,t），（x,y,z）代表3D盒子的中心，θ代表其方位角度，c代表类别，t代表对应的3D盒子模板集。

令x代表点云，y代表点云。作者认为y应该具有以下特征：

基于这些特点，作者列出了能量方程，以最小化E(x,y)为目标，并使用上一篇文章中描述的SVM进行训练。

文章中介绍的方法的效果、代码和数据：3D for Class

2016：RGB-D 中的 3D 深度 (CVPR'16)

文章来自普林斯顿大学。提出的方法是 R-CNN 的 3D 版本，专注于场景。

目前，针对3D目标检测任务的方法，有的使用2D方法来组合深度图，有的使用3D空间中的检测。这让笔者不禁要问：3D、2D还是3D，哪个是针对的？他随后指出，当前2D方法之所以表现更好，可能是因为它的CNN模型更多（well-&pre-with），而不是由于它的2D表达。

作者的方法是设计一个名为Deep的3D CNN，输入3D立体场景，输出3D框，从而提出Multi-scale 3D RPN（ ）：

与R-CNN中的RPN网络类似，对于每个滑动窗口，作者定义了N=19个框：

然后，为了检测不同尺寸的目标，作者添加了多尺度检测方法。具体来说，滑动窗口是在不同的卷积层上执行的。这里的滑动窗口是3D的，因为接收到了整个网络结构。为了细化区域，作者改进了bbox，提出了3D box：一个3D box可以用中心坐标[cx,cy,cz]，长宽高[s1,s2,s3]来表示。最终结果是6部分Shift量：

然后使用与 2D 框相同的 L1 损失。

补充：如何从深度图获取3D输入？

3D：与Depth RCNN的++angle表达不同，作者这里使用了TSDF方法。你可以看到下面的引用：

在世界坐标系中定义一个立方体，将立方体按照一定的分辨率切割成小立方体（体素）。以图8为例，定义了一个3x3x3米的立方体，并将立方体划分为不同分辨率的小立方体网格。换句话说，这个大立方体限制了扫描和重建模型的体积。然后，使用一种称为“截断符号距离函数”（简称TSDF）的方法来更新每个小网格中的一个值，该值代表网格到模型表面的最近距离，也称为TSDF值（底部）图 8）。对于每个网格，每一帧都会更新并记录TSDF值，然后通过TSDF值恢复重建的模型。例如，通过图8下面两张图中网格的TSDF数值分布，我们可以快速恢复模型表面的形状和位置。这种方法通常称为基于体积的方法（-based）。该方法的核心思想是，通过不断更新和“融合”（）TSDF这种类型的测量，我们可以越来越接近所需要的真实值。

2017：跨模式深度（CVPR'17）

虽然这篇文章是针对一个专门的任务，但它的方法非常有启发性，所以也贴在这里。

作者指出，“行人检测任务在深度学习的帮助下取得了重大突破，同时新的传感器（例如和深度）也为解决不良光照和遮挡提供了新的机会。然而，绝大多数现有的监控系统仍然使用传统的 RGB 传感器，因此在 、 和 低

光还是很有挑战性的。 ”

对于不利光照条件下的行人检测任务，文章描述了一个交叉依赖的学习框架，由两个网络组成：

(1) (RRN)

RRN用于学习RGB图像与图像之间的映射，然后可以使用学习到的模型来生成基于RGB的图像。 RRN接收RGB+行人，在ROI后面添加重建网络（全卷积）。这里的重建网络并不重建整个图像，而仅重建行人区域。

(2) 多尺度（MSDN）

MSDN使用RRN学习到的跨模态进行检测。它包含两个子网（子网A和子网B），其中子网B中的参数从RRN迁移而来，最终的fc执行多任务：bbox和.

2017：3D：从 2D 盒子到 RGB 深度的 3D 盒子（CVPR'17）

天普大学的文章。这里作者与2016年Deep的想法不同，回到了2.5D方法进行3D目标检测。所谓2.5D方法，其实就是从RGB-D中提取出合适的表达方式，然后到2D到3D空间。 “虽然利用三维几何特征检测有着光明的前景，但在实际应用中，由于遮挡、反射等原因，重建的三维形状往往是不完整的，并且包含各种噪声。”

整个系统如下，基于Fast R-CNN实现：

对于每个2D（这里的2D方法是Depth R-CNN中的方法），根据分类结果和深度初始化一个3D box（图中黄色虚线框），然后也使用一个3D box。区域细化。专注于 3D 盒子以及：

该图片是 3D 盒子的示例。每个 3D 框由向量 [xcam, ycam, zcam, l, w, h, θ] 表示。 [xcam, ycam, zcam]表示中心位置，[l,w,h]表示大小，θε[− π/2,π/2]表示方位角，即图中黄色箭头所成的角度图形和 z 轴。初始化时，大小由某类对象的类别决定。最后输出7个调整值[δx, δy, δz, δl, δw, δh, δθ]，损失函数采用L1 Loss。

结论

3D目标检测对于自动驾驶、机器人等领域具有重要意义。本文按时间顺序重点分析基于RGB-D的3D方法。从Depth R-CNN到3D-RCNN，看起来基于2D的目标检测框架正在不断完善。我们希望将来会出现更优雅的方法。

感谢您的阅读。文中如有遗漏和错误，敬请批评指正。

参考

[1] Gupta S、R、Arbeláez P 等人。丰富的 RGB-D 和 [C]// 。 ，湛，2014：345-360。

[2] 陈晓，昆杜柯，朱岩，等。 3D 类 [C]// 上 .麻省理工学院出版社，2015：424-432。

[3] 宋S, 肖静. RGB-D中的3D Deep技术[J]. 2015, 139(2):808-816。

[4] Deng Z, L J. of 3D : 3D Boxes from 2D Ones in RGB-Depth [C]// IEEE on 和 . IEEE，2017：398-406。

[5] 徐东，W，Ricci E，等。跨模态深度分析[J]． 2017年。

# 基于深度学习的3D目标检测在自动驾驶中的应用与挑战  # 子网  # 图中  # 出了  # 提出了  # 我们可以  # 普林斯顿  # 麻省理工学院  # 方法来  # 人等  # 方位角  # 都是  # 您的  # 是在  # 在这里  # 是因为  # 专注于  # 你可以  # 模态  # 如有  # 可以用  # 外贸快车seo优化  # 高原seo优化公司  # 组合营销的推广方法  # SEO学习图片高级文案  # 滨州高级网站建设  # 脸谱如何推广营销活动方案  # seo培训课seo灰帽  # 文物雪糕的营销与推广  # 营销推广新手教学  # 推广网站推广电话销售  # 周口网站seo优化报价  # 襄阳茶叶seo推广价格  # seo谷歌搜素引擎  # 营销推广剧情介绍模板  # 赣州南宁网站优化营销  # 新乡网站推广设计  # 湖北app推广网站  # 陆良网站seo  # 闽清抖音关键词搜索排名  # 宝鸡网站建设工具 

相关文章： SEO留痕：数字营销的隐性力量，如何通过SEO优化让品牌更具竞争力,泉州百度移动seo  中外链：打通全球流量的桥梁，提升网站排名与流量的双重保障,河北seo赚钱培训骗局  app推广如何实现快速变现赚钱？  互联网时代的“搜索截流”新玩法：如何抓住流量红利,高端定制级网站建设方案  日付广告联盟有哪些？日付广告联盟哪个靠谱？  分享一个做推广|直播|app赚钱的思路，做好了日赚500+轻轻松松！  为什么越来越多的人选择在知乎发布文章？这里面的机会你可能还没发现！,资阳网站官网建设费用  《“查看更多”背后的秘密：让你的人生更加丰富多彩！》,网站建设医疗公司哪家好  SEO策划：让你的网站迅速脱颖而出的秘诀,计算机网站推广怎么做的  一般人如何靠广告联盟赚钱实现网络副业收入逆袭？  优化*：打造更加高效、创新的娱乐体验,论坛推广必用的网站  揭秘引流项目之百度贴吧诱导引流项目的玩法和思路！  SEO管家：为您的网站保驾护航的智能SEO助手,镇江的营销推广  竞价广告该如何投放，有什么技巧可借鉴的？  SEO手法如何通过精准优化提升网站排名，获取海量流量,凤岗公司网站建设价格  适合个人网站进行广告推广赚钱的5大广告联盟平台推荐！  通过淘客联盟赚钱的4种主流的淘客app模式分析！  互联网资源的无限潜力：如何利用数字世界为个人和企业创造价值,抖音seo公司收费  可以单人做任务来赚钱的项目有哪些？有哪些靠谱的平台推荐？  网站外链应该怎么发布？发布网站外链的4个最实用有效的方法！  福建百度推广多账户推广技巧详解,泰州网站建设地方有哪些  最适合个人站长赚钱的6大广告联盟推荐！（新手必看）  全方位解析“整站克隆”：让网站复制如影随形，轻松拓展互联网业务,伊犁知名网站建设电话  开通微信*号初期发布*怎样才能提高*号播放量？  福州做网站，一站式服务助力企业互联网转型，福州网站建设，一站式服务推动企业互联网转型新篇章  月入过万的网赚项目app拉新赚钱业务分享！  SEO建站，开启网站优化的全新篇章！,seo哪些人比较厉害  新手如何辨别一个广告联盟是不是骗子？  5个可以提升seo推广效果的网站运营策略分享！  想加入搜狗广告联盟赚钱，搜狗联盟广告价钱一般是多少？  速成网站，新时代在线学习的得力助手，速成网站，新时代在线学习的快速通道，速成网站，新时代在线学习的便捷桥梁  提高网站打开速度，优化设计与技术革新，如何通过优化设计和技术创新提升网站打开速度  制作软件全家桶静默安装包日赚1000元的玩法介绍！  朔州,历史与现代交融的绿色能源之城  SEO外，如何提升网站整体营销效果？,沈阳企业网站推广服务  服装生产,从传统到智能，介绍服装产业变革之路  新手应该如何选择适合自己的引流渠道？推荐这6种方法！  2020年适合上班族的三个副业赚钱项目，基本无门槛，快速赚钱！  SEO就是：让你的品牌脱颖而出，获得更多曝光与流量,凤岗企业网站推广价格  SEO表述：如何通过精准优化让你的内容脱颖而出,北辰区网站推广方式  SEO费用如何根据预算选择最合适的SEO服务,网站建设及运维协议  广告推广赚钱怎么做？国内有哪些靠谱的广告联盟？  广告联盟上推广哪类产品最赚钱？  优化，让生活与工作更高效-从个人到企业的全面升级,SEO儿童头发  新手所必须了解的推广赚钱的5大主流推广方式！  优化公司：助力企业腾飞的秘密武器,眉山58同城网站建设  免费写文章，轻松解决内容创作难题,安徽服务网站建设大全  兰州网站优化，提升企业在线竞争力的关键策略，兰州企业在线竞争力加速器，高效网站优化策略全解析  优闪推渠道：助力企业营销新突破，打通线上线下流量壁垒,什么网站推广比较好用啊  如何利用闲鱼引流推广赚钱？做好了日赚几百不是问题！