Produkte

Webseiten

术语表

双目视觉

这种方法通常使用两个相机, 就像人眼一样,两个摄像头相互偏移,以便从两个角度记录场景。3D信息是对从两个角度采集的图像进行计算处理获得的。

从不同角度确定相机图像中的相同点是数据准确性的关键,该过程也称为匹配过程。基于相机的相对位置,软件会比较两幅图像中的对应点,识别视差,并生成完整的 3D 点云。

在计算的过程中,像立方体的角,可以很容易地识别为相关点。 然而,在光滑表面上的点是一个挑战,这时候可以使用图案投影仪来应对这一挑战。这种方法称为主动双目视觉,使用该图案在光滑的表面上创建纹理,使匹配过程更容易。

在工业机器视觉中,除了双目视觉之外,还有其他用于捕获 3D 图像的选择。 一些常见的方法为飞行时间 (ToF)、激光三角测量和结构光.

双目视觉的优势主要在于拍照和处理速度更快,物体可移动可静止。 无需像激光三角测量系统那样要同步物体移动进行扫码。 覆盖范围通常也比激光三角测量系统大得多。 例如,在卸垛和码垛应用中常见的大型物体都能轻松的显示在相机的视野中。

双目视觉产生的点云质量更高,并使计算精度更高,尤其是在近距离范围时,这通常优于 ToF 技术。

同样对于结构复杂的场景,双目视觉不太容易受到环境干扰的影响。

这些特性使双目视觉特别适用于物流和机器人应用领域,例如用于包裹拣选,卸垛/码垛,无人驾驶车辆导航和机器人引导。

拜耳马赛克

术语拜耳马赛克通常与应用了滤光镜的单芯片 CCD 传感器结合使用。 该过滤光镜使单个像素对光的波长做出不同的反应。 由于每个像素只有一种颜色通道,因此必须确定缺失的颜色通道才能获得 RGB 像素。

随件的文章解释了如何构造拜耳马赛克滤光镜以及哪些转换为 RGB 的方法是可能的。

传感器错误

由于随机生产工艺偏差,传感器制造商无法保证所有像素在相同条件下的行为方式相同。 传感器制造商对此没法控制,会产生图像错误。 常见的错误为

  • 像素坏点,
  • 暗电流
  • 像素灵敏度不同

使用不同的校正方法可以轻松计算出这些图像错误。 附件的 PDF 描述了各个错误的来源,并展示了如何使用 wxPropView 纠正它们。

USB3 视觉

USB3 视觉是图像处理行业的标准,通过 USB 3.0 规范图像采集设备和应用程序之间的通信。 USB3 Vision 定义了类似于 GigE Vision 的标准:

  • 传输层, 用来寻找搜索相机设备 ("设备搜寻"),
  • 参数配置 ("访问寄存器"),
  • 图片数据流传输 ("数据传输")
  • 事件和中断处理 ("事件处理")

并且诸多接口协议被统称为GenICam(Generic Interface for Camera)协议。GenICam的目标是为各种相机和设备提供通用编程接口。无论他们使用什么接口技术(GigE Vision,USB3 Vision,CoaXPress,Camera Link HS,Camera Link等)或者他们正在实现什么功能,应用程序编程接口(API)应始终相同且统一呈现。GenICam 还规范了相机参数功能,这些功能通过“标准功能命名约定”(SFNC)来定义。所有相机制造商将相机内部功能赋予了相同的名称和相同的行为。 在保持标准的同时,产家也能给相机赋予自己的特殊功能。 与 GigE Vision 不同的是,USB3.0的标准中也定义了外观设计方面的规范,例如可拧紧电缆连接的设计,这使得接口整体更加坚固。

每个人都知道USB标准的优点:U盘,鼠标或移动硬盘只需插入电脑即可工作——即插即用。USB3.0相机也一样,即插即用类似其他的USB设备。

对于图像处理软件公司来说,这也将更加容易。 只要该软件支持 USB3 Vision,它就可以与任何兼容 USB3 Vision 的相机一起使用。 这意味着不再需要像以前花大量时间去联系硬件和软件商来达成一致。可供用户使用的软件种类繁多,连接USB3相机再也不是问题。

USB 对比 Firewire

作为具有基于 PC 的图像采集卡的模拟相机的替代品,许多具有不同接口标准的数码相机现已将自己定位于图像处理市场。虽然高端性能仍然需要特殊的图像采集卡解决方案,但低成本的 USB 2.0 和 FireWire 解决方案在低端尤其受欢迎。

 为什么我们在为工业相机选择接口时选择USB?

 与 FireWire 相比,USB 技术具有以下几个优点:

  • 当前的每台笔记本电脑、PC 和许多嵌入式工业系统都提供 USB 接口。
  • USB 接口保证安全传输。
  • 带宽分配是动态的(与同步工作的 DCAM [1894-based Digital Camera Specification] 相比)。

 

MATRIX VISION 的工业 USB 2.0 相机 mvBlueFOX 为我提供了哪些优势?

除了 USB 接口和简单操作的一般优点外,mvBlueFOX 还具有其他优点:

  • 相机使用 HRTC(硬件实时控制器)实现灵活的数字 I/O 控制。
  • 提供灵活的触发选项。
  • 摄像机支持动态摄像机控制(参数更改“即时”)。
  • 可以使用自己的参数请求每个图像。
  • 提供工业 USB 端口。摄像机通过 USB 接口供电。
  • CCD 传感器已调整。这实现了小于百分之一的位置精度。
  • 这些相机可作为 OEM 模块提供。
  • 用户数据可以保存在相机上。
  • 驱动程序功能强大并提供许多图像处理功能。
  • 适用于所有 MATRIX VISION 产品(图像采集卡、相机)和未来 MATRIX VISION 产品的统一驱动程序架构可用。
  • 这些驱动程序可用于 Linux(也可用于 ARM、PPC 等嵌入式系统)。
后焦点

相机中镜头和图像传感器之间的距离。

光圈

镜头里控制光线的结构,镜头光圈打开,光线透过它进入,图像变亮。 关闭会导致图像变暗。

工业图像处理中的接口


 

USB 2.0

USB 3.2 Gen 1

Gigabit Ethernet

双网口 Gigabit Ethernet

10 Gigabit Ethernet

总带宽[MBit/s]

480

5000

1000

2000

10000

净带宽 [MB/s]

30

300 + x

120

240

1245

最长线缆长度 [m]

3,5

8 (100 光纤)

100

100

60

接口发布年份

2000

2010

2004

2008

2004

作为视觉标准年份

-

2013

2006

2011

2011

模拟工业相机

模拟工业相机需要一个图像采集卡,将模拟信号转换为数字信号,以便使用PC进一步处理数据。为了能够顺利工作,模拟工业相机和图像采集卡必须正确匹配,并进行一系列的设置。

嵌入式接口

 

USB 2.0

USB 3.2 Gen 1

PCI Express Gen.2

总带宽[MBit/s]

480

5000

16000 (x4 Lanes)

净带宽 [MB/s]

30

300 +

1500 (x4 Lanes)

最长线缆长度 [m]

3,5

8
(100 光纤)

0,3

接口发布年份

2000

2010

2007

作为视觉标准年份

-

2013

-

弥散现象(CCD)

弥散现象是CCD传感器在拍摄强烈点光源照射下的景物时出现光散射,形成条状光线影像的现象,一般称为漏光。这种现象由于CCD传感器物理结构上的缺陷导致,从CCD的读取方向,即画面的垂直方向上入射的强光会穿透图像保护层产生多余影像而形成的,特别是没有使用机械快门的摄像机在拍摄时会有严重漏光现象。通过在空闲和曝光之间更快地转换,可以减少污点。MATRIX VISION提供了一个快速转变模式:mvSmearReduction。

附件中的PDF描述了这一现象和mvSmearReduction模式。

工业图像处理

" 工业图像处理 "或" 数字图像处理 "是指图像数据的数字处理。与人工处理相比数字图像处理自动化,应用范围更广,以下是数字图像常用步骤:

  • 从图像数据中提取某些特征用于进一步处理或评估
  • 图像数据通常不再需要,有时甚至不显示
  • 采集和处理是根据系统中预先确定的程序和过程自动进行的
  • 算法的复杂性有时需要特殊的硬件来实现

使用和应用的领域

下面是一些来自不同使用领域的应用实例

工业自动化

  • 检查工件的尺寸准确性、完整性
  • 检查表面是否有正确的印刷,是否有缺陷
  • 印制电路板的装配控制
  • 控制和监测材料安装
  • 控制中心内过程序列的可视化

显微镜(生物学)

  • 改进和评估图像
  • 电子显微镜图像的获取和计算
  • 采集激光扫描图像,例如在眼科

医学

  • 眼科诊断(见上文)。
  • 烧伤的分类
  • 获取牙科资料

安全技术

  • 银行、加油站的图像序列的压缩和记录
  • 评估图像中的物体(视频传感器技术)
  • 红外线摄像技术
  • 监控提款机

交通技术

  • 监测、统计和控制交通流
  • 通过车牌OCR进行停车库收费核算
  • 车辆中的摄像头:距离测量、电动后视镜、交通标志检测
  • 监测/检查微量元素(飞机涡轮机)

消费行业

  • 商城清空控制
  • 确定商厂流量以控制人员部署
GigE Vision

GigE Vision是一个网络协议,用于图像采集设备和应用程序之间的通信。GigE Vision定义了

  • 一个传输层,可以实现设备发现("设备检测")。
  • 配置("相机访问")。
  • 流媒体数据,以及处理事件。
  • 对事件的处理("事件处理")。

使用SFNC定义的参数名称,相同的参数名称在不同的制造商那具有相同的行为。此外,在SFNC之外供应商也会制作自己的特殊功能。

用户在软件方面也有自由选择权。只要图像处理软件库支持GigE Vision,它就可以连接任何GigE Vision兼容的相机。对于用户来说,有各种各样的软件可供选择,而且软件的连接也很方便。

软件和硬件的可互换性是GigE Vision解决方案的市场份额比USB 2.0解决方案发展得更好的一个主要原因。

GigE Vision使用UDP进行数据传输,与TCP相比,它减少了额外开销。

注意 : UDP不保证数据包到达的顺序,也不保证数据包是否完全到达客户端。然而,GigE Vision提供了一种机制来检测丢失的数据包。这可以通过驱动程序中适当的重发方法来实现。更多信息可在以下网站找到。 http://www.machinevisiononline.org/public/articles/index.cfm?cat=167

所有MATRIX VISION GigE Vision驱动解决方案都提供了重发机制,因此可以检测到丢失的数据包,几乎所有数据都可以重建。但是,这种机制并不能扩展带宽,所以如果传输时间过长,数据包仍然可能丢失。

MATRIX VISION驱动程序允许对重发机制进行微调,并提供关于丢失数据以及再次请求的数据的信息。这些信息/配置是驱动程序SDK的一部分。进一步的信息可在API接口描述中找到。

卷帘快门

MATRIX VISION在工业相机和智能相机中使用的一些CMOS传感器为卷帘快门。这意味着图像的行曝光在不同的时间开始和结束。

水平运动的拍摄效果

当一个物体在水平方向移动时,拍摄时图像会偏移。传感器的 "滚动拍摄 "由于逐行捕捉的时间偏移,会得到物体的每行在不同的位置,合并起来的图像显示了图像的偏移,物体的运动会造成小的模糊。

垂直运动的记录效果

当一个物体在垂直方向上移动时,根据移动的方向,在图像采集中会发生压缩或拉伸。

带卷帘快门的CMOS传感器的闪光灯控制

带有卷帘快门的CMOS传感器的闪光灯控制受到限制。为了使所有的线条同时闪光,曝光时间必须足够长,以便使曝光的每行都能吸收到光线。在这个过程中,必须确保在CMOS的曝光过程中没有多余的光线存在。

mvIMPACT Acquire

mvIMPACT Acquire是MATRIX VISION硬件的编程接口。支持许多语言,包括:

  • C,
  • C++,
  • .NET
  • Python
  • Java
MARTIX VISION SDKs

mvIMPACT Acquire SDK

  • 自2004年起开始开发
  • 与以前的驱动mvSDK或mvAcquireControl不兼容
  • 面向对象
  • 支持C, C++, .NET, Python和Java语言
  • 兼容所有产品

mvAcquireControl

  • mvSDK的后继者
  • 以grabber.dll为基础
  • 支持C 和C++语言
  • 技术支持已经停止

mvSDK

  • 最老的编程接口
  • 与硬件相关
  • 设计耗时
  • 不同的硬件有不同的驱动DLL
  • 非面向对象
  • 技术支持已经停止
HRTC

MATRIX VISION的 HRTC 全称为 H ardware  R eal- T ime  C ontroller,是在相机的 FPGA 中实现的,用于实时的 I/O 和采集控制。正因为如此,HRTC 的使用使过程控制的 PLC 变得多余并在许多情况可以取而代之。

HRTC 程序由在控制器上运行的一系列步骤组成。GUI 工具 wxPropView 可用于创建步骤序列。

高动态范围

HDR模式(高动态范围)的作用是增加图像的对比度范围。这是通过将曝光阶段分为两到三个阶段来实现的。三个阶段的曝光时间可以分别设置。此外,还可以设置每个阶段内积累多少信号。

GenTL

GenTL (传输层) 是GenICam标准的传输层,负责将相机数据传输到用户应用程序。

GenICam

GenICam代表的是 GEN eric programing I nterface for CAMera。 它是一个通用接口,允许统一访问设备(如相机)的参数,并允许对其进行修改。符合GenICam标准的设备提供一个GenICam描述文件,该文件位于设备的内存里,本地硬盘或网站上。GenICam描述文件类似于机器可读的设备手册。它提供了支持读写的参数的可读名称和取值范围,以及改变或读取参数必须向单元发送哪些命令的说明。描述文件是XML文件。

更多的信息可以在网站上找到: http://www.genicam.org

双GigE

像GigE、USB 2.0等接口有一个自然的限制:带宽。他限制了具有更快速度的相机。双GigE相机弥补了这一缺点,提供了两倍的带宽(≤240 Mbyte),同时在软件中透明,即双GigE相机作为一个相机设备出现。这里不需要新的标准化或技术。GigE Vision 2.0定义了双GigE,因此这些相机可以按照这个成熟的标准。与万兆以太网相比,更简单的编程和更低的功耗,以及使用现有网络基础设施的可能性(万兆以太网的网络基础设施尚未普及,转换费用昂贵),使得这一发展步骤是明智的,这也是双千兆以太网与其他接口如USB3、CoaXPress和Camera Link HS相比的进一步优势。

CS口镜头

对应于C卡口,但法兰距更小。使用CS-Mount,法兰距为12.5毫米。CS口是 "更新"的标准,考虑到了对短小设计的渴望。

CCD与CMOS的对比

市场上有两种传感器技术: CCDCMOS

CCD传感器通常具有更好的图像质量,更低的噪音和没有固定模板噪音。但是,CMOS传感器更便宜,而且通常具有CCD技术无法集成的额外功能。通常情况下,CCD传感器有更高的动态范围,特别是在亮度差异较大的应用中,这是一个巨大的优势。

是否使用彩色或灰度传感器,通常取决于要完成的应用,然而,一些传感器只提供一种版本,彩色或者黑白。彩色传感器在感光的传感器矩阵前面有彩色滤光片结构,即某些像素只吸收某种颜色的光。这些过滤器结构对红外光是可渗透的。为了避免彩色图像的颜色失真,需要额外的红外隔离滤镜。然而,对于彩色物体,由于逐个像素的颜色变化,其使用会导致较低的空间分辨率。如果需要高度的色彩准确度,如印刷品的色彩检查,或需要高色彩空间分辨率,那么使用三芯片结构相机是有意义的,其中红、绿、蓝三色使用单独的芯片。

另一个考虑因素是快门。CCD和CMOS传感器都有全局快门,简单的CMOS传感器通常有配有卷帘快门。后者导致在拍摄快速移动物体的照片时,由于物体运动引起的图像模糊。

特点

CCD

CMOS

像素输出的信号

电子流

电压

芯片输出的信号

电压模拟信号

数字信号值

相机输出的信号

数字信号值

数字信号值

填充系数/光圈

增益干扰

系统噪音

系统的复杂性

传感器的复杂性

相机组件

PCB+各种芯片+镜头

芯片+镜头

研究和开发费用

与应用有关

与应用有关

系统成本

与应用有关

与应用有关

性能

反应

动态范围

像素均匀性

低到中等

均匀的曝光时间

快速,一起

稍弱

速度

窗口化

有限

扩展

高光溢出

电源功耗

结论

CCD传感器能提供更好的图像质量,具有更高的灵敏度和动态范围,并对所有像素进行同步曝光控制。CMOS相机通常更紧凑,允许更高的帧率,应用场合更广。

CameraLink

工业图像处理中最著名的接口之一是 CameraLink (CL)。专门用于图像快速传输,该接口支持每像素8至16位宽,最大像素频率为85 MHz。

CameraLink有三个种类:

  • BASE(每个时钟最多24位数据)
  • MEDIUM(每时钟最多48位数据)
  • FULL(每个时钟最多64位数据)
C口镜头

用于CCD相机镜头的标准接口,具有统一的连接螺纹,统一后焦距为17.526毫米。

图像处理标准

所附文章解释了消费接口标准:

  • GenICAM
  • GigE Vision
  • USB3 Vision
SNFC

GenICam标准的 S tandard F eature N aming C onvention。

您能在下面网址找到最新的GenICam功能列表: https://www.emva.org/standards-technology/genicam/genicam-downloads/

该文件被称为 "GenICam™标准功能命名规则( S tandard F eature N aming C onvention)"。

带宽制动

为了使多台摄像机可靠地运行,我们的摄像机提供了一个 带宽制动 功能。

例如,如果交换机必须处理来自几台摄像机的大量图像数据,而用于存储数据的缓冲区不足,图像数据就会丢失。

通过带宽制动,可以为每台摄像机指定有多少带宽可用。在这种情况下,发送的数据包之间会自动建立一个偏移。

你可以在我们的 在线文件 .

行动命令

行动命令是GigE Vision标准定义的一种可能性,可以几乎同时在几个设备上触发一个行动。这意味着,由于以太网的性质,可能会出现延迟,但在许多应用场景中,这些延迟是可以接受的。

最常见的动作包括:定时器和计数器被重置或计数器被递增,或者动作指令作为软件触发源发挥作用。在这种情况下,行动命令可以通过独占、写入或读取权限访问设备。

行动命令在网络中可以是广播的,也可以是单播的。

行动命令可用于GigE Vision相机系列 mvBlueCOUGAR-X、-XD和-XT 并在 手册 手册中描述的。

多核采集优化器(MAO)

通常情况下,在多核计算机中,CPU核心由操作系统决定,它接管并处理网络通信。通常情况下,这种方法是可靠的。但随着新的高分辨率和更快的GigE Vision相机,更高的带宽成为新的标准。如果主机系统也要处理计算密集型的图像处理功能,那么用于网络通信的CPU核心过载和数据包,从而导致图像数据或信息丢失的情况就比较常见。

为了能够主动控制CPU核心的利用率,我们开发了 多核采集优化器(MAO) 发达。有了这个聪明的功能,你可以很容易地把网络通信和mvIMPACT Acquire SDK的基于主机的图像处理功能分配给几个CPU核心。wxPropView中有一个向导可用于此目的。

自动功能控制

无论是在室外使用不同的亮度,还是在工业设施中使用人造光搭配白天和黑夜的影响,我们的工业相机总是能在图像中提供合适的亮度。这是由mvAutoFeatureControl确保的。你可以用它来定义如何自动控制信号放大(增益)和曝光的行为。有几处房产可用于此目的。关于mvAutoFeatureControl的PDF文档告诉你这些是什么以及它们的作用。