MASTER MECATRÓNICA.

UNIVERSIDAD DE VIGO

Introducción a la visión artificial

[Link]@[Link]
 OBJETIVOS

- CONOCER ELEMENTOS HARDWARE DE LOS SISTEMAS DE VISIÓN ARTIFICIAL

- CONOCER MÉTODOS DE INSPECCIÓN BÁSICOS
- VALORAR CUANDO Y PORQUE LA VISIÓN ARTIFICIAL ES LA SOLUCIÓN
- SENSIBILIZARSE CON EL PROBLEMA DE LA ILUMINACION
- APLICACIÓN AL GUIADO DE ROBOTS
 CONTENIDO
- INTRODUCCIÓN
- ¿Por qué y cuando se utiliza la visión artificial?

- PARTE I: HARDWARE. Elementos de un sistema de visión artificial.

- Óptica
- Cámara. Relación Px/mm.
- Iluminación
- Procesadores

- PARTE II: SOFTWARE. Métodos de inspección

- Búsqueda de patrón
- Medición de área
- Detección de bordes y medición
 Situación de la visión artificial en la
industria
- La visión artificial se introdujo en la industria hace más de 30
años pero…

- La combinación de unas expectativas muy altas,

desconocimiento de la tecnología, requisitos inadecuados,
etc, termino en costosos y fracasados proyectos.

- En muchas fabricas se sigue desconfiando de esta tecnología

debido a algún fracaso pasado.
 Situación de la visión artificial en la
industria
- Uno de los principales motivos es pensar que lo que
distinguimos las personas fácilmente puede automatizarse
 Situación de la visión artificial en la
industria
- En los últimos años la visión artificial ha mejorado mucho,
gracias a nuevas tecnologías de iluminación, procesadores,
algoritmos, etc.
- Además se han reducido mucho los costes, existiendo equipos
sencillos desde 600 euros.
- Aun asi, sigue siendo suficientemente compleja como para
que existan empresas especializadas en este tipo de
soluciones.
 ¿Por qué se utiliza visión artificial?
- Los sistemas de visión artificial cubren una gran parte de las
aplicaciones de sensórica que no pueden ser resueltas con
sensores básicos.

- El elevado precio de los sistemas de visión artificial hace que

antes de utilizarse se estudien todas las alternativas.
Fotocélulas, inductivos, capacitivos, etc.

- Pero en ocasiones la visión es la única solución.

 Ejemplo
Verificación de la correcta impresión de fecha de
caducidad en envases.

La elevada velocidad de los sistemas actuales de

packaging hace imposible la inspección por
personas

¿Podría hacerse con fotocélulas?

 Ejemplo
Verificación de la correcta impresión de fecha de
caducidad en envases.

31/12/2030

NG OK
31/12/2003

NG NG
 ¿Dónde se aplican?
- En general para:
- Control de calidad

- Clasificación

- Guiado de sistemas robóticos.

Elementos de un sistema de
visión artificial

Controlador/
Procesador
Visión

E/S Digitales Ethernet

PLC / PC
 PARTE I:
HARDWARE
 Soluciones industriales
Formato compacto

Modular con
controlador dedicado

Basada en PC
 FQ: descripción básica
TIPO TODO EN UNO

INCLUYE:
- Optica, regulable
- Iluminación
- Sensor CCD
- Procesador de imagen
- Color real 24 bit
- Comunicaciones ETN
- E/S digitales

OTROS:
- Programación desde PC
- 5 métodos de inspección
- Hasta 32 inspecciones simultaneas
- Hasta 32 memorias
- Función de datalogger. Registro imágenes NG
- IP67
- Filtro polarizado opcional
 Cámaras
- Se pueden clasificar en 3 tipos:
- Lineales (1D): Muy alta resolución. Caras y poco utilizadas.

- Matriciales (2D): Resolución baja o media. Las más empleadas

en la industria.
 Cámaras
- 3D basadas en:
- Cámaras estereoscópicas
- TOF (time of flight)
 Cámaras
- Las más comunes son las 2D. El estándar en industria de alta definición esta en los
5MPx (2581x1936).

- Muchas aplicaciones se pueden resolver con 0.3MPx (632x474) (Por ejemplo FQ)

- Existen cámaras especiales para rayos X e infrarrojos. Pero no son muy habituales.

- Las camaras 2D normales tienen un precio de mercado de unos 2000 euros.

- Cámaras hiperespectrales o “visión química”. No hay muchas soluciones industriales.

 CCD
Esquema de un CCD, cada pixel está formado por 2 puntos
verdes, uno rojo y uno azul.
 CCD
- Los parámetros principales parámetros de los sensors
son:
- Tamaño del pixel
- Resolución, medidas del CCD.
- Sensibilidad a la luz
- Rango dinamico
- Tipo de obturador (complete o “rolling shutter”)
Cámaras
 Óptica
- En general se utilizan lentes con rosca tipo C.
- Son lentes con distancia focal fija y enfoque manual.
- Hay modelos con autofocus y empiezan a estar disponibles
versión con lentes liquidas.
- Se pueden combinar con tubos de extensión y filtros
- Existen lentes para aplicaciones de alta resolución.
- Su precio ronda los 300 euros.
 Montaje tipo C
- Es el más habitual para cámaras.
 Óptica
- En general se puede trabajar con estas suposiciones.
- Se supera el criterio de Rayleigh
- Lente delgadas (radio curvatura muy superior a espesor)
- Aproximación paraxial
- Lentes convergentes
 Óptica básica

DEMOSTRACIÓN
- Foco de la lente con 3 rayos
- Punto de enfoque con 1 rayo
- Angulo de visión.
- Plano enfoque y circulo
confusión con haz
- Reducción de círculo de
confusión
 Óptica
Angulo de visión, campo de visión
 Óptica
Selección de lentes, tipo compacto.
 Óptica
Selección de lentes, óptica intercambiable
 Óptica
Selección de lentes, óptica intercambiable
 Óptica
Selección de lentes, óptica intercambiable
 Óptica
Selección de lentes, óptica intercambiable
Si cambiamos una cámara de 1024x768px por
una de 2048x1536px, manteniendo la misma
óptica.
¿Cómo se ve afectado el ángulo de visión?
¿Cómo se ve afectada la profundidad de
campo?

Sensores y actuadores para maquinaria

Cámaras
 Óptica
Selección de lentes, óptica intercambiable
 Concepto densidad Px
La cámara va a trabajar en pixels. Su unidad fundamental de información y de medida.
Pero en ocasiones hay que trabajar con unidades reales.

Sabiendo las dimensiones del área enfocada y la resolución de la cámara podemos

obtener la relación de conversión de px a mm.

Y partir de ahí podemos trabajar con mm. Para ello tenemos que realizar una
calibración.

Por ejemplo si enfocamos una superficie de 200x150mm (4:3) con una cámara de
640x480 px. Tendremos una relación 0,3125 mm/px en X. y 0.3125 mm/px en Y.

En teoría tendríamos una resolución de +- 0.3125mm si la detección de borde fuera

perfecta. (Más detalles sobre este punto en Medición de Borde)
 479px

0 px

0 px

639px
 Ópticas especiales
Ópticas telecentricas
 Ópticas especiales
Ópticas telecentricas
 Ópticas especiales
- Ópticas 360
- Autoenfoque con lente liquida
- Etc..
 Iluminación
- La iluminación es una pieza clave de los sistemas de visión
artificial.
- En la mayoría de las ocasiones es el elemento más importante.
- La mayoría los problemas de los primeros sistemas de visión
artificial fueron causados por malas iluminaciones.
- Actualmente están basadas en tecnología LED. Gracias a la cual se
han solucionado muchos problemas derivados de la iluminación.
Como el desgaste de tubos fluorescentes.
 Iluminación
- Existen muchos tipos de iluminación.
- La selección del modelo más adecuado no es sencilla. Es necesaria
una gran especialización.
- El coste puede variar de 500 euros por una barra de LEDs hasta
varios miles por soluciones especiales.
 Iluminación
- Se puede clasificar en función de la relación de posición entre
cámara, objeto e iluminación.
 Iluminación
- Luz directa vs difusa
 Iluminación
- Campo brillante vs campo oscuro
Iluminación
Iluminación
 Iluminación
Clasificación de tipos de iluminación según
DCM Sistemes ([Link]
 Iluminación
Ejemplo, DCM Sistemes [Link]
 Iluminación
Ejemplo de luz estructurada para resaltar el relieve del
objeto.
 Iluminación

DEMOSTRACIÓN
Objeto plano
Objeto cilindrico
HDR
Anillo LED
Filtros
Luz de lampara LED economica…
Color iluminación
 Procesadores
- En los modelos compactos suele ser HW específico.

- En los modelos modulares suele ser un HW de PC industrial, con un sistema

operativo tipo Windows Embedded o serio tipo QNX.

- La integración con el resto de sistemas del automatismos suele hacerse con E/S
digitales o algun estandar de comunicaciones. Actualmente los más fuertes son
EIP y ECAT.

- El precio empieza en 600 euros y puede superar los 20Keuros.

 Otros elementos
- Filtros para las lentes.
- Soportes para cámaras, iluminación, etc…
- Protecciones, cortinas
- Fuentes alimentación estabilizadas para los LEDS,
- Etc…
 PARTE II:
SOFTWARE
 Herramientas software
- Podemos clasificarlas en 3 grandes grupos
- Filtrado y preprocesado de imagen
- Métodos de inspección de imagen
- Auxiliares, comunicaciones, E/S, operaciones booleanas, etc.
 Filtros y preprocesado
- Permiten, una vez tomada la imagen procesarla para
mejorar o resaltar algún aspecto de la misma y así
facilitar la inspección posterior.
- Existen diferentes tipos pero todos tienen un costo
computacional que aumentará el tiempo de procesado
total.
- Lo ideal es que la imagen captada de forma natural sea
suficientemente buena.
- Su uso es opcional.
 Filtros y preprocesado
- Ejemplos típicos:

Suavizado Erosionado

Extracción de bordes
 Métodos de inspección
- Existen una gran cantidad de métodos de inspección.

- Podemos clasificarlos en:

- Básicos o elementales
- Derivados de los básicos
- Avanzados de aplicación general
- Especificos

- Que además de poder combinarse entre ellos, también se

pueden combinar con filtro digitales. (Conversion grises,
HDR, etc.)
 Métodos de inspección
BÁSICOS:
- Búsqueda por patrón
- Medición de área
- Detección de borde

DERIVADOS:
- Búsqueda simultanea de múltiples patrones, etc.
- Centro de gravedad de la pieza, etc.
- Medición de longitud, etc.
 Métodos de inspección
AVANZADOS DE APLICACIÓN GENERAL:
- OCR
- Pick&place para robots
- Etc.

ESPECIFICOS:
- Nodos negros en madera
- Clasificación de pescado por especie
- Inspección de grietas
- Etc.
 Busqueda de patrón.
- Método de inspección por excelencia.

- Se compara una imagen memorizada previamente (Teaching)

con la imagen capturada.

- La correlación entre las dos imágenes da como un resultado

un porcentaje.

- Se define valor minimo para que la inspección se de por OK

en vez de NG
Busqueda de patrón.
Busqueda de patrón.

DEMOSTRACIÓN
Búsqueda de patrón.
Ejemplos de métodos derivados
 Medición de área
- Se realiza un contaje de los pixels que tienen un color
similar a uno dado.

- Se definen unos valores máximos y mínimos entre los

que tiene que estar ese recuento para que la inspección
sea OK.
Medición de área
 Medición de área

DEMOSTRACIÓN
 Detección de bordes
- La detección de borde se puede hacer de varias formas.

- Lo habitual y mas sencillo es detectando un cambio

brusco de color en una dirección dada.

- Acotando la zona donde puede estar ese borde

obtenemos el resultado de OK o NG.
Detección de bordes
Detección de bordes

DEMOSTRACIÓN
Detección de bordes

DEMOSTRACIÓN
LASER LINEAL
¿Resolución necesaria para medir?
Detección de bordes
Ejemplos de método derivado
 Métodos derivados
- Otro ejemplo, localización del centro de piezas rectangulares
en cinta transportadora para guiado de robots. Las
dimensiones son variables y desconocidas a priori.

¿Qué método básico se podría emplear? ¿Y como?

 Métodos derivados
- Se desea comprobar las galletas artesanas que avanzan
por la cinta tiene un tamaño mínimo y que no están
quemadas.

¿Qué método básico se podría emplear? ¿Y como?

FQ: simulación
FQ: simulación
FQ: simulación
FQ: simulación
 Guiado de sistemas mecánicos con visión

- Detectando bordes ó con búsqueda por patrón se puede localizar

la posición y ángulo de una pieza.

- Esa posición vendrá dada en pixels con respecto a la imagen que

toma la cámara.

- Convirtiendo de px a mm y aplicando un offset adecuado,

tendremos las coordenas en mm, respecto del sistema del robot.
Sistema coordenadas referenciado respecto a la imagen de la camara.
(Xc [px], Yc [px]).

Sistema coordenadas del robot.

(Xr [mm], Yr [mm])
 BACKLIGHT

DEMOSTRACIÓN
 VIDEOS APLICACIONES
CORTE DE TRONCOS
Luz estructurada y posicionado de discos de corte.

ROBOT DELTA Y CINTA TRANSPORTADORA

Ejemplo clásico de pick & place
GRACIAS POR VUESTRA ATENCIÓN