本属于机器人自主环境感知技术忣激光扫描成像领域涉及到将移动机 器人系统采集的三维激光点云数据转化为二维灰度图像以完成对室内外场景的 表述。

视觉是智能机器人与智能系统进行环境感知的重要手段之一由于视觉传感 器是基于被动感知机理，因此在成像过程中容易受到亮度及光照强度变化等環境 因素的影响此外单目视觉传感器采集到的图像信息缺少空间深度信息，不利于 区分具有不同深度信息的景物

三维激光数据的获取鈈受亮度及光照强度变化等环境因素的影响，可提供精 准的三维空间测量信息但利用三维点云数据对大范围环境进行表述时，观测视 点嘚选取会直接影响环境感知效果；此外三维激光扫描点的分布是由实际场景特 性所决定三维点的分布无规律可循。考虑二维图像表述符匼人类视觉感知习惯 且具有像素排列格式规范等优点因此将三维点云数据转化为景物边缘显著、纹 理清晰且有较强场景层次的二维灰度圖像，将有助于基于该图像模型的场景认知 与理解目前，各领域研究中使用三维激光点云数据生成的灰度图像模型主要有 深度图和方位角图两种

传统的深度图是通过把激光传感器或其他测距传感器点云数据的深度信息 直接映射为灰度值，从而得到灰度图像参考文献(AnguelovD,DulongC,FilipD, puter,2010(6): 32-38.)。其优点是成像原理简单、计算耗时较少能够区分出不同深度层次的景 物。但其在图像细节和纹理的描述上很不理想尤其是在描述大范圍场景时，对 距离的变化很不敏感生成的图像往往会弱化景物的细节和近距离景物的边界信 息，从而给之后的图像处理和理解造成困难并且由于传统深度图景深方向取决 于激光的扫描方向，使得深度图的效果会受到激光扫描方向的影响

Journal,IEEE,):37-47.)应用方位角图模型将定点扫描的彡维点云数据 转换为方位角图，并在此基础上对场景进行识别与理解从以上文献中可知，方 位角图中景物的细节和纹理相对清晰但图潒灰度值完全由方位角决定，不能清 楚的区分不同深度层次的景物并且图像质量受视点选择的影响较大。场景中扫 描位置(视点)唯一限淛了实际应用中移动机器人平台的连续工作性能。计算 的方位角相对视点产生渐变的趋势使得整幅图像在横向具有灰度值渐变。

在实际應用中大范围的场景一般都是采用激光连续扫描的方式采集点云数 据，每一帧激光数据都有自己的扫描中心(局部视点)即使通过优化方法计算 出相对较优的全局视点，仍无法有效消除基于视点的构图方法(如方位角图)的 局限性

为解决上述问题，本发明提出了一种全新的灰喥图像生成方法完全不依赖 于场景视点并且不使用角度计算，这也是本发明与方位角图的本质区别以最优 深度代替传统深度图的深度概念，消除了扫描方向对图像质量的影响不同于传 统的深度图、方位角图的单变量映射到灰度值的做法，本方法通过计算点云对应 的最優深度值和方位向量长度经加权后映射为灰度值，从而生成图像基于本 方法生成的二维灰度图像既具有清晰的细节和纹理特征，又利鼡深度分布信息强 化了图像的空间层次感本发明可以用于连续扫描的大范围数据，也可以用于定 点扫描数据并且对扫描方式和扫描位置没有特别的要求，有着良好的适应性

本发明的具体技术方案如下：

一种三维激光点云数据的二维图像化表述方法，主要由移动机器人、激光 扫描器和计算机系统组成；激光扫描器和计算机系统均安装在移动机器人平台上 激光扫描器和计算机系统之间通过数据线进行通信；激光扫描器采集图像的三维 点云数据信息，计算机系统将三维激光点云数据转化为二维灰度图像；计算机系 统软件要求采集的三维激咣点云数据可以区分属于每一帧激光线的激光数据点 以便能够使三维激光点云数据以二维数组的形式存储，并且使每个激光点和灰度 图嘚像素点一一对应；将获得的激光点云数据存入二维数组中使得二维数组的 每一列激光点属于同一帧激光线，并在二维数组中截取所需夶小的场景用截取 场景的三维点云数据构建灰度图；

具体将三维激光点云数据转化为二维灰度图像计算方法如下：

(1)最优深度对应灰度值嘚计算

最优深度方向即为能使场景不同层次景物间区分度最大的深度方向；由于场 景点云分布的主方向反映了激光点的统计学方向，而激咣点的方向即为场景内景 物的层次方向所以垂直于场景点云分布主方向时，最能清楚的区分景物的层次 即最优深度方向垂直于场景点雲分布的主方向，本发明将场景点云投影到水平面 运用统计学原理计算场景点云分布的主方向，由此获得场景的最优深度信息：

式(1)为点雲在水平面投影的协方差矩阵其中(x,y)为点云在水平面投影 的坐标，cov代表协方差运算；通过计算协方差矩阵的特征向量V₁、V₂即可估计 出场景的點云分布主方向和最优深度方向；设|V₁|>|V₂|则V₁为场景点云分布的 主方向；由点云在水平面上的投影区域的主方向向量V₁可求出过原点且平行于V₁的矗线l₁的斜率K，进而确定直线l₁的方程:

由点到直线的距离公式:

上个周末我经历了一场思想狂潮。

如果我有一个自己获取到的图像数据集它非常非常小，希望教会计算机能够识别或区分一些指定的类别应该怎么办呢？

假设我有幾千张图像我想训练一个模型，能够自动检测出类别但是，只有这么少的数据那能不能够训练出一个深度神经网络对这些图像进行荿功地分类呢？

经过研究我发现人们在计算机视觉领域中经常面临的处境就是：用很少的数据来训练深度神经网络。

让我们面对这一现實：并非每个人都可以访问 Google 或 Facebook 这样的大数据而且有些数据很难获得。

但我也发现这种问题的解决方案其实非常简单。今天我将带领伱们学习如何使用那些较小的图像数据集来训练卷积神经网络（ Convolutional Neural Network ），你会得到一个不错的分类器它的分类正确率大约为 81%。在下一篇文章Φ我将展示一种非常强大的技术，称为迁移学习（ transfer learning ）它能够将分类正确率提高到 95% 左右。

你现在就可以开始收集数据了

我将使用 Kaggle 平台仩现有的狗和猫的数据集。是的我是挺懒的，没去收集自己的数据

Kaggle 是全球数据科学和机器学习从业者的大本营。他们主办了一些最大嘚数据科学竞赛这是一个获取开源数据以及向获奖专家学习的宝地。

我觉得我应该这样说：如果你来自非洲我们有一个新平台，叫Zindi（ /c/dogs-vs-cats-redux-kernels-edition/data )我们有两个选择，可以下载数据到我们自己的电脑上来训练模型或者可以使用 Kaggle 内核，让它为我们提供更多的算力让我们可以使用 GPU，鉯及几乎所有预先安装的用于机器学习和深度学习的库

我不知道你怎么想的，但我宁愿选择 Kaggle 内核除非我有 GPU。

如果你能负担得起 GPU 的费用或者是一名已经拥有 GPU 的玩家，并且因为太喜欢鼓捣电脑而想在自己的电脑上训练模型那么就可以按照这些教程来设置属于你自己的深喥学习工作站：《Build and Setup Your Own Deep Learning Server From Scratch》

注意：当你浏览 Kaggle 竞赛页面时，你最好阅读一下数据描述接下来，单击Kernels（内核）然后单击右上角的蓝色按钮New Kernel，系统會问你选择内核的类型（Select Kernel Type）选择 Notebook，这样我们就可以做一些互动编程

单击 Notebook，系统会创建一个新的私有内核并自动将猫狗数据集添加到伱的文件路径中，当然是在云端给你这个内核起个名字，然后给它施加超能力（GPU）这样计算时间就会更短。

你的 Notebook 打开后就像这样子的

现在，我们的内核已经准备就绪让我们导入一些将要使用的库。键入以下代码然后按下shift Enter来运行这个单元。

cv2也称为OpenCV，是一种可用于 Python 囷许多其他高级编程语言的图像和视频处理库它用于各种图像和视频分析，如面部识别和检测、车牌识别、照片编辑、高级机器人视觉、光学字符识别等等在本教程中，我们将使用它来读取和调整图像大小

NumPy是 Python 中最流行的数学库。有了这个库大型、多维数组和矩阵的笁作和计算变得简单快捷。它有大量的高级数学函数来操作这些数组

Pandas是一个为 Python 编程语言编写的软件库，用于数据处理和分析值得一提嘚是，Panda 提供了用于操作数值表和时间序列的数据结构和操作

Matplotlib是 Python 的绘图库。可用于绘制线条、条形图、图形、直方图甚至显示图像

os是一個内置的 Python 包，用于访问你的计算机和文件系统它可用于显示目录中的内容，创建新文件夹甚至还可以删除文件夹。

random可以帮助我们创建隨机数这些随机数将在我们拆分或者重新打乱数据集时使用。

gc是垃圾回收器的简称是手动清理和删除不必要变量的重要工具。我们将茬 Kaggle 内核上积极使用它因为我们正在处理图像数据集，因此分配给我们的可用内存可能已经满了

在导入必要的库之后，我们将图像读入箌内存中数据作为 Zip 文件的形式存储在内核中。

我们可以看到以下三个文件：

Loss['binary_crossentropy']：我们指定一个损失函数我们的优化器会将其最小化。在這种情况下由于我们处理的是两类问题，我们使用binary crossentropy loss（二进制交叉熵损失函数）

还记得我们之前定义的优化器吗？我们将使用其中一个叫做rmsprop的优化器这并非一个固定选择，它是超参数调优过程的一部分这可能就是世界级模型和幼稚模型之间的区别。

在这里我们指定茬训练之后，测量模型性能要使用的度量标准我们想知道模型的表现是否良好。

因为我们做的是分类问题因此正确率指标(acc)是一个不错嘚选择。

注意：用于测量模型性能的度量指标取决于你正在处理的问题类型最后，在开始训练模型之前我们需要执行一些归一化。也僦是将我们的图像像素值进行缩放使其具有单位标准偏差且均值为 0。

我们将在 keras 使用一个名为ImageDataGenerator的重要模块当我们在训练期间将图像输入模型时，这个模块会执行一些重要的功能

据 keras 作者Francois Chollet的说法，Keras ImageDataGenerator() 可以让我们快速设置 python 生成器自动将图像文件转换为预处理的张量，可在训练期间直接输入到模型中它可以轻松地执行以下功能：

将它们转换为浮点张量。

将像素值（0 到 255 之间）重新缩放到 [0,1] 区间（神经网络在归一化數据方面表现更好）

帮助我们轻松地增强图像。（因为我们训练一个小型数据集因此我们将使用一个重要的特性。）

让我们创建 ImageDataGenerator 对象我们将创建两个生成器，一个用于训练集另一个用于验证集。

我们将重放缩（rescale）选项传递给ImageDataGenerator对象rescale=1./255选项是一个非常重要的参数。它将圖像像素值进行归一化使其均值为 0，标准差为 1它可以帮助模型有效地学习和更新其参数。

第二组选项是图像增强选项它们告诉ImageDataGenerator随机哋对 Image（图像）应用一些变换。这将有助于增强我们的数据集并改进泛化

这一句，我们还为验证集创建了一个ImageDataGenerator对象注意，我们不做数据擴展只执行重放缩。

现在我们有了ImageDataGenerator对象让我们通过传递训练集和验证集来创建 python 生成器。

我们在上面创建的数据生成器上调用.flow( )方法并傳入数据和标签集。

批大小告诉数据生成器一次只接受指定的批（在我们的例子中是 32）图像

现在，我们通过在模型上调用 .fit( ) 方法并传递┅些参数来训练网络。

这一句我们指定每个轮数（epoch）的步数。这告诉我们的模型在对损失函数进行梯度更新之前需要处理多少个图像

總共 3200 个图像除以批大小 32，将给我们 100 步这意味着我们将在 整个训练集中，一次性地对模型进行总计 100 次梯度更新

总共 3200 张图片除以批次大小 32 將给我们 100 步。这意味着我们将 通过整个训练集对我们的模型进行总共 100 个梯度更新

一个轮数是一个完整的周期或遍历整个训练集。在我们嘚例子中当我们按照 steps_per_epoch 参数指定进行 100 次梯度更新时，会完成一个轮数

Epochs=64，表示我们要遍历训练数据 64 次每次进行 100 次梯度更 新。

我们传入验證数据生成器

这一句，我们还设置了步长我将使用与上述相同的步长。

仅仅经过 64 个轮数之后正确率就到达了约 80%。

对于我们的模型来說是很不错了因为我们是从零开始训练的，而且数据非常少

增加轮数并使用批大小和优化器等一些超参数进行训练模型，也许有助于提高表现

我把这个问题留给你们去探究。

接下来保存我们的模型，使用如下所示的简单 Keras 函数这样我们就可以在任何时候重用它，而鈈必在重新运行 notebook 时再次进行训练

我们将绘制一些图表，显示训练集和验证集的正确率和损失看看是否能得到一些洞见。

在训练 keras 模型之後它总是计算并保存我们在名为history的变量中编译模型时指定的度量。我们可以提取这些值并将其绘制出来

注意：history 对象包含训练期间发生嘚所有更新。

在这里我们只需从 “acc” 列表中的值数量中获取epoch的大小。

在这里我们根据轮数的大小来绘制正确率。

在这里我们根据轮數的大小来绘制损失。

那么我们能够从这幅图得到什么样的信息呢？

首先要注意的是我们并没有发生过拟合，因为训练和验证的正确率非常接近并相互跟随。

我们还可以注意到随着轮数的增加，正确率会不断提高这让我们有一种直觉：增加轮数的大小可能会给我們带来更高的正确率。

我们仍然没有发生过拟合因为训练和验证损失都在接近下降的趋势，就像上面的正确率曲线的那副图一样如果峩们增加轮数数的大小，损失可能会更低

如此一来，你就有了一些直觉现在试着增加轮数数的大小并使用一些超参数看看会发生什么。

在结束本教程之前我们将在测试集中的一些图像上测试模型。

用于预处理测试图像的代码

我们执行与训练集和验证集相同的预处理

峩们读取并将测试集中的前 10 个图像转换为数组列表。

注意：y_test 将为空因为测试集没有标签。

我们将数组列表转换为一个大的 numpy 数组

注意：峩们不会扩充测试集。现在我们将创建一个简单的 for 循环，它迭代生成器中的图像以进行预测然后我们将结果绘制出来。

创建一个列表來保存我们要生成的标签

我们设置要绘制图像的图形大小。

这里我们通过在训练的模型上调用.predict()方法，对ImageDataGenerator提供的特定图像进行预测

pred变量是模型确定当前图像是狗的概率。

因为我们给狗的图像设置标签为 1一个高概率——至少大于平均值 0.5，就意味着模型非常有信心认为这張图像是狗否则就是猫。

我们这样做是为了在绘制图像时为图像添加标题。

这里我们添加一个子图，这样我们就可以绘制多个图像

这里，我们将预测的类作为标题添加到图像图中

让我们看看模型在之前未见过的图像上是如何执行的。

嗯模型从五张图片中，出了┅个错误但我并没有说过这模型是最好的…… 至少现在还没有说过。

本文确实篇幅很长但我认为写出来还是值得的。在下一个教程中我们将通过使用与训练的网络来改进模型，使其正确率达到 96% 左右

德国慕尼黑工业大学TUM计算机视觉組2012年提出了一个RGB-D数据集是目前应用最为广泛的RGB-D数据集。数据集使用Kinect采集包含了depth图像和rgb图像，以及ground truth等数据具体格式请查看官网。

现需偠将深度图像和rgb图像转换成PCL中的点云数据并使用.pcd格式保存，以便下一步的处理

//实现了将深度图像和RGB彩色图像转换成RGB点云 //读取rgb图像和depth图潒，并转化为点云 //depth是16UC1的单通道图像注意flags设置为-1，表示读取原始数据不做修改 //使用智能指针创建一个空点云。这种指针用完会自动释放 //獲取深度图中(m,n)处的值 //d可能没有值若如此，跳过此点 //d存在值则向点云增加一个点 //计算这个点的空间坐标 //从rgb图像中获取它的颜色 //rgb是三通道嘚BGR格式图，所以按下面的顺序获取颜色

可以使用PCL_tool显示生成的点云