自动驾驶汽车在未知的动态环境中运行十分依赖传感器对整个环境的感知。传统的自动驾驶传感器难以同时提供视觉影像和三维信息，相比之下，光场相机具有一次拍摄即可同时获得二维和三维信息的特点，因此有望成为新型传感器。

本毕业设计意图在自动驾驶平台上探索光场成像这一新技术的应用，并与激光雷达展开对比，搭建起新型三维传感器系统。毕设完成了大尺度光场深度校准算法开发和道路模型检测算法开发，以及与激光雷达点云数据进行对比验证了系统的可行性。

应用理想双目成像模型以及半全局视觉立体匹配算法发展大尺度深度校准算法，利用光场相机对环境深度信息进行提取以及对三维信息进行重构。基于深度学习和传统目标识别算法PointRCNN和 AVOD，开发光场相机三维点云及二维多视角图像数据处理算法。搭建激光雷达点云数据处理深度学习网络PV-RCNN、BtcDet，实现对典型目标的识别，并开展多种算法的对比分析。开展室内试验，采集多种模拟场景光场点云数据，验证光场相机在自动驾驶应用的可行性。

1、 完成了毕业设计项目目标，对光场相机进行了参数标定并完成了大尺度深度校准算法，可以对自动驾驶中环境的深度信息进行提取并且完成立体三维点云的重构，深度误差10%，用时仅需1s左右。

2、  利用三维检测器AVOD和PointRCNN融合了光场相机的图像特征和三维点云特征，利用KITTI数据集对典型交通参与物完成了识别，识别准确率大于70%且识别范围可达70m。

3、利用深度学习的VoxelNet类方法和PointNet类方法对光场相机三维点云目标识别进行了实验分析对比，在30m和50m范围内激光雷达准确率分别达到90%和70%，并在不同的环境下对比了光场相机的优劣势。