【三维重建】学习笔记——壹（成像原理）
目录
写在最前面：
一、相机成像原理：
（1）坐标系介绍：
1.世界坐标系（world (wcs)）
2. 相机坐标系（ ）
3. 像素坐标系：
4. 图像坐标系：
（2）坐标系的转换：
1. 小孔成像：
2. 相机坐标系：
3. 齐次坐标变换：
（3）相机的参数：
1. 相机内参
2. 相机外参
写在最前面：
本篇文章只是一名在校大学生做项目的学习笔记，内容部分参考B站视频，链接如下：1-三维重建概述分析.mp4_哔哩哔哩，其他引用也会直接声明。内容会不断改进更新，如有引用地方为标注，请联系；如有错误，感谢指正。
一、相机成像原理： （1）坐标系介绍：
想要能理解后续代码的原理，明白三维实物通过相机变为二维图像这一过程中，物体对应的坐标系的变换至关重要。
先介绍一下在这一过程中，存在哪里坐标系：
1.世界坐标系（world (wcs)）
引用一篇文章的定义（链接：计算 3D 点的像素坐标 ()）。当一个点首次在场景中定义时，我们说它的坐标是在世界空间中指定的：这个点的坐标是相对于全局或世界笛卡尔坐标系来描述的。坐标系有一个原点，称为世界原点，并且该空间中定义的任何点的坐标都相对于该原点（坐标为 [0,0,0] 的点）进行描述。点以世界空间表示（如图4）。
该坐标系是一种约定，用于定义 0D 虚拟空间中的坐标 [0,0,3] 和彼此正交的三个单位轴（图 4）。它是 3D 场景的本初子午线- 场景中的任何其他点或任意坐标系都是相对于世界坐标系定义的。定义此坐标系后，我们可以创建其他笛卡尔坐标系。与点一样，这些坐标系的特征是空间中的位置（平移值），但也具有彼此正交的三个单位轴或矢量（根据定义，这就是笛卡尔坐标系）。这三个单位向量的位置和值都是相对于世界坐标系定义的，如图 4 所示。
在图 4 中，紫色坐标定义了位置。x、y 和 z 轴的坐标分别为红色、绿色和蓝色。这些是任意坐标系的轴，它们都是相对于世界坐标系定义的。请注意，构成此任意坐标系的轴是单位向量。
个人理解，简单直白来说，在现实空间中存在的一个点，它所对应的环境或者说用来描述位置信息的参考环境就是世界坐标系。
另一个博主定义（知乎视觉深度、标定、立体匹配 - 知乎 ()）：用户定义的空间3维坐标系，用来描述3维空间中的物体和相机之间的坐标位置，满足右手法则，其世界坐标与相机坐标的转换公式如下所示（涉及到下面要讲的坐标变换）：
其中，R为3x3单位正交矩阵，表示了坐标系的旋转操作；t为3维平移向量，代表了坐标系的平移操作；0表示3维0向量。
2. 相机坐标系（ ）
相机坐标系是计算机视觉和计算机图形学中常用的坐标系之一，用于描述相机或摄像机的几何特性和拍摄的场景。相机坐标系通常是一个右手坐标系，具有以下特点：
原点：相机坐标系的原点通常位于相机的光学中心，即镜头的光学轴的交点。这是光线聚焦的地方，也是图像的中心。
坐标轴：相机坐标系通常包括三个坐标轴，分别是：
X轴：从相机的光学中心指向图像的右侧（通常与图像的水平方向平行）。
Y轴：从相机的光学中心指向图像的下方（通常与图像的垂直方向平行）。
Z轴：从相机的光学中心指向相机的前方，即相机的拍摄方向。
坐标方向：相机坐标系通常遵循右手定则，即当你用右手的食指指向X轴的正方向，中指指向Y轴的正方向时，拇指会指向Z轴的正方向。
单位：相机坐标系的坐标单位通常是毫米（mm）或米（m），取决于应用的精度要求。
相机坐标系在计算机视觉和计算机图形学中的应用非常广泛，它用于描述相机位置、方向、视场角度、成像过程、相机投影等几何特性。当我们拍摄一张照片或进行三维场景重建时，相机坐标系是理解和处理图像或点云数据的基础之一。通过将相机坐标系中的点映射到图像平面坐标系中，我们可以获得图像中的像素坐标，进而进行图像处理、目标检测、物体跟踪、深度估计等任务。因此，理解相机坐标系是计算机视觉和图形学中重要的概念之一。
3. 像素坐标系：
像素坐标系是数字图像处理中常用的坐标系，用于表示图像中的像素位置。在像素坐标系中，图像被分割成一个个小单元，每个小单元称为像素（Pixel），每个像素都有一个唯一的坐标位置，通常使用整数坐标表示。以下是关于像素坐标系的一些重要概念和特点：
原点位置：像素坐标系的原点通常位于图像的左上角。这意味着左上角的像素坐标通常是 (0, 0)，而右下角的像素坐标是 (width-1, -1)，其中 width 表示图像的宽度， 表示图像的高度。
坐标方向：在像素坐标系中，通常采用行优先（Row-Major）的方式表示像素的位置。这意味着坐标系的 y 轴方向向下延伸，x 轴方向向右延伸。
单位：在像素坐标系中，坐标单位是整数，通常以像素（pixel）为单位。例如，一个坐标 (100, 200) 表示位于图像的第 100 列和第 200 行的像素位置。
离散性：像素坐标系是离散的，这意味着它只包含整数坐标，不能表示图像中的连续位置。这是数字图像的特性，不同于连续坐标系。
像素值：每个像素位置都与图像中的一个像素值相关联，这个值通常表示图像中的亮度或颜色信息。在灰度图像中，像素值表示灰度级别；在彩色图像中，通常有多个通道，每个通道的像素值表示不同的颜色分量。
图像处理：在数字图像处理中，像素坐标系是用来进行像素级操作的基础。可以通过在像素坐标系中操作像素值来实现图像增强、滤波、分割、特征提取等各种图像处理任务。
总之，像素坐标系是数字图像处理中的基本坐标系，用于表示图像中的像素位置和像素值。了解像素坐标系对于理解和处理数字图像非常重要，因为它是进行图像处理和计算机视觉任务的基础。
4. 图像坐标系：
图像坐标系是一种用于表示数字图像中像素位置的坐标系统。它通常是一个二维坐标系统，用于确定图像中每个像素的位置。图像坐标系通常与像素坐标系相对应，但具体的坐标原点位置和坐标方向可能会有所不同。以下是关于图像坐标系的一些重要特点：
原点位置：图像坐标系的原点通常位于图像的左上角。这意味着左上角的像素在图像坐标系中的坐标通常是 (0, 0)。
坐标方向：通常情况下，图像坐标系的 y 轴向下延伸，x 轴向右延伸。这与大多数常见的笛卡尔坐标系相同，但与一些计算机图形学中的坐标系相反，后者通常将 y 轴向上延伸。
坐标单位：图像坐标系的坐标单位通常是整数，表示为像素（pixel）。每个像素在图像坐标系中都有一个唯一的坐标位置。
离散性：图像坐标系是离散的，它仅包含整数坐标，不能表示图像中的连续位置。这是数字图像的特性，与连续坐标系不同。
图像坐标值：每个像素位置都与图像中的一个像素值相关联，这个值通常表示图像中的灰度级别或颜色信息。在灰度图像中，像素值表示灰度强度；在彩色图像中，通常有多个通道，每个通道的像素值表示不同的颜色分量。
图像坐标系在计算机视觉、图像处理和计算机图形学中经常使用，它是处理和分析数字图像的基础。了解图像坐标系是进行像素级操作、目标检测、特征提取以及图像处理等任务的关键。
（2）坐标系的转换：
在世界坐标系中重构很多个体素，如何对应？
斯坦福公开课（）：详细介绍三维重建的一切基础，过于理论，需要扎实的数学基础
1. 小孔成像：
没有小孔，同一点会落在很多地方，一个地方对应很多点，无法得到成像的确切对应关系。也是相机的基本组成之一，f是焦距，o是光圈，如下图所示：
2. 相机坐标系：
P是相机坐标系中实际的一点，成像P'落在像平面（以中心为原点）中，通过相似三角形，得到对应的映射关系
注意：单位的换算，米和像素的转换，相机一个像素对应的长度大小，越高端，单位像素对应的长度越小，图像越清晰。
f、k、l（）均为相机内参
再将相平面坐标系转换到像素坐标系中（原点从中心点转换为右上角的点，平移实现）
问题：对应关系是否为线性？（例如两个坐标系x的对应，其中erfa固定，但是z呢？z一定固定吗）
x变了，z大概率也变
解决：齐次坐标
3. 齐次坐标变换：
本质就是再增加一个维度，欧氏空间变为齐次空间
在变换回来：
齐次坐标满足线性关系，寻找对应关系。
齐次坐标中的变换时为了得到变换矩阵，且这个矩阵是不变的（而且与z无关）。
（3）相机的参数： 1. 相机内参
根据在齐次坐标中得到的对应关系的变换矩阵可以定义相机内参，即 K。
K表示空间中点到图像中的对应关系；相机本身参数，固定值；是三维重建中必须要知道的一个指标。
2. 相机外参
为了实现不同视角拍摄物体的照片可以统一结合在像素空间，需要“中间商”相机坐标系，而世界坐标系到相机坐标系，需要一个旋转平移矩阵P。
其中R是3*3的矩阵，T是3*1的矩阵（X,Y,Z三个方向），RT就是像机位姿，即相机外参。
不难看出，相机内参是解决相机坐标系到像素坐标系的参数；外参是解决世界坐标系到相机坐标系的参数，二者缺一不可。
像素坐标系-->相机坐标系-->世界坐标系的对应：
下一章就可以开始相机标定啦！
