业务介绍

      环境感知是通过摄像头、激光雷达、毫米波雷达、超声 波雷达、陀螺仪、加速度计等传感器，感知周围环境信 息和车辆/移动机器人状态信息。中科智谷利用已经掌 握的嵌入式技术，和电子科技大学科研团队研究的各类 算法，提供的服务主要包括基于视觉的全天时环境感知 技术；基于点云的环境感知技术；三维环境重构和通过 图像识别、检测目标物体。 

于激光和相机的高精度3D环境重建技术

项目案例

(1)基于视觉的小目标实例分割技术

项目概述

      对于小目标检测、语义和实例分割也是目前环境感知应用落地的一个重要制约因素。已有的实例分割算法在常 规场景下虽然已经取得了良好的效果，但面对一些挑战性场景，如行人、车辆之间存在密集遮挡，场景中存在 大量小目标物体时，实例分割精度不高。针对此情况，本项目在分析已有实例分割算法的基础上，在 SOLOv2 的主干特征提取网络中加入了 Non_local   非局部神经网络；同时，在主干特征提取网络的后端特征金字塔部分 增加 ASF 模块，构建了小目标实例分割模型，部分应用效果对比如下图所示。

(2)基于双目视觉的运动目标检测

项目概述

      精准感知交通环境中的动态目标是智能车安全行驶的保证。在众多传感器中，双目相机具有成本低、获取场景信息  丰富的特点，得到了计算机视觉领域众多学者的广泛关注。当前视觉运动目标感知方法主要有基于残差光流或场景  流的传统方法和基于深度学习的方法。为充分结合两类方法的优势，提高运动目标检测算法的适应性和检测准确度，  本项目研究人员构建了联合传统方法和深度学习方法的自动驾驶运动目标检测系统。深入研究了2D 残差光流和3D  场景流对交通环境中不同运动状态目标的刻画能力这一关键技术，创新性地提出了融合残差光流和场景流的目标运  动状态判断方法，总体技术方案如下图所示。

(3)基于可见光相机和红外相机的低光照条件下目标检测

项目概述

      交通场景精准语义分割是自动驾驶环境感知关键技术之一。目前，虽然基于深度学习的语义分割网络对光照良好的可  见光图像分割精度已接近真值，但对于夜间低照度交通环境分割效果尚不理想，严重影响了自动驾驶夜间行车安全。 针对此，本项目研究人员利用热红外相机较少受光线限制的特性，提出融合可见光相机和热红外相机的夜间交通场景 语义分割算法，为自动驾驶全天时环境感知提供一种技术方案。项目组研究了现有多光谱数据集的特点，构建了满足 测试要求的新数据集；分析了现有语义分割模型的性能；提出了一种基于双层注意力残差的夜间图像语义分割模型， 并在实车上进行了测试。改进深度残差注意力网络 DRAE 如下图所示。

算法可视化图如下所示：

(4)智慧工业

项目概述

      该系列项目主要是基于 Opencv  开源算子、Al 模型为算法基础开发视觉检测软件，并集成处理设备、视觉元件、光  电设备、电控设备等形成针对行业需求的视觉检测系统，系统主要功能包括图像的获取、图像的处理分析、数据管  理及人机交互、实行机构等。针对汽车、医药、食品等行业开发OCR 检测系统、包装缺陷检测系统等，实现对产品标识、  印刷品表面划(压)痕、印刷色差、脏污点、破损等的高质量检测，为企业生产提质增效。

(5)视觉检测工业机器人

项目概述

      该系列项目是开发视觉检测系统，为工业机器人装上“眼睛”,视觉检测系统作为工业机器人的“大脑中枢神经”, 通过视觉检测系统可以实现实时的产品的位姿识别、外观检测和尺寸测量等，并结合视觉系统与机器人间的标定转 换关系，实现基于视觉检测的结果的机器人的引导和定位、机器人高精度分类识别检测和分拣等。中科智谷开发的 工业机器人视觉检测系统广泛应用于医药行业、汽车零配件生产企业、烟草行业等。