{"id":143,"date":"2026-04-17T11:30:55","date_gmt":"2026-04-17T16:30:55","guid":{"rendered":"https:\/\/academia.utp.edu.co\/ia-e-industria\/?page_id=143"},"modified":"2026-05-10T18:52:29","modified_gmt":"2026-05-10T23:52:29","slug":"seguimiento-visual-de-un-manipulador-serial-utilizando-dnn","status":"publish","type":"page","link":"https:\/\/academia.utp.edu.co\/ia-e-industria\/seguimiento-visual-de-un-manipulador-serial-utilizando-dnn\/","title":{"rendered":"Seguimiento Visual de un Manipulador Serial Utilizando DNN"},"content":{"rendered":"\n
\n
\n

Autores:<\/strong><\/h2>\n\n\n\n

Kevin David Ortega Qui\u00f1ones, Byron S. Hern\u00e1ndez, Jorge I. Sep\u00falveda, Henry Medeiros, Germ\u00e1n Andr\u00e9s Holgu\u00edn Londo\u00f1o.<\/p>\n<\/div>\n\n\n\n

<\/div>\n<\/div>\n\n\n\n

Problema<\/strong><\/h1>\n\n\n\n

En la industria, se presenta un desaf\u00edo cr\u00edtico relacionado con la estimaci\u00f3n de la pose (posici\u00f3n y orientaci\u00f3n) del efector final de un brazo rob\u00f3tico articulado de 6 grados de libertad. Tradicionalmente, esta estimaci\u00f3n se ha llevado a cabo utilizando encoders ubicados en las articulaciones del robot. Sin embargo, esta aproximaci\u00f3n convencional se enfrenta a un problema significativo, ya que los encoders pueden acumular errores a lo largo del tiempo debido a diversas fuentes, como la fricci\u00f3n, el juego mec\u00e1nico y las tolerancias de fabricaci\u00f3n.<\/p>\n\n\n\n

Como respuesta a esta problem\u00e1tica en la industria, se propone una alternativa de bajo costo y altamente efectiva: la implementaci\u00f3n de un sistema de estimaci\u00f3n visual basado en c\u00e1maras RGBD. Estas c\u00e1maras, que proporcionan informaci\u00f3n de color y profundidad en tiempo real, ofrecen un enfoque innovador para resolver este desaf\u00edo. A trav\u00e9s de la captura de datos visuales del entorno y el seguimiento preciso del brazo rob\u00f3tico en acci\u00f3n, se busca determinar con exactitud la posici\u00f3n tridimensional y la orientaci\u00f3n del efector final.<\/p>\n\n\n\n

\"\"
Figura 1: Brazo UR5 en el entorno de simulaci\u00f3n Gazebo.<\/figcaption><\/figure>\n\n\n\n

Base de datos<\/strong><\/h2>\n\n\n\n

Para entrenar el sistema, se cre\u00f3 una base de datos simulada utilizando ROS, Gazebo y un modelo de un brazo UR5. Se situaron 3 c\u00e1maras RGBD en posiciones fijas apuntando hacia el brazo. Mediante muestreo de Montecarlo se generaron poses aleatorias del brazo dentro de su espacio de trabajo. Para cada pose generada, se guardaron las im\u00e1genes RGB y de profundidad de las 3 c\u00e1maras.<\/p>\n\n\n\n

\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n<\/div>\n\n\n\n

Figura 2: im\u00e1genes RGB de las c\u00e1maras.<\/p>\n\n\n\n

\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n<\/div>\n\n\n\n

Figura 3: im\u00e1genes de profundidad de las c\u00e1maras.<\/p>\n\n\n\n

Etiquetado<\/strong><\/h2>\n\n\n\n

Adem\u00e1s de la captura de datos visuales con las c\u00e1maras RGBD, se realiz\u00f3 un proceso adicional de etiquetado minucioso que a\u00f1ade un nivel de detalle crucial a la informaci\u00f3n obtenida. Este proceso implic\u00f3 la asignaci\u00f3n de coordenadas tridimensionales (3D) a cada una de las 6 articulaciones del brazo rob\u00f3tico, generando un conjunto completo de 18 etiquetas. Para proporcionar una visi\u00f3n m\u00e1s clara de este procedimiento, es importante destacar que estas etiquetas constan de tres valores que representan la posici\u00f3n en tres ejes diferentes: [x, y, z] para cada una de las articulaciones.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Tabla 1: estructura de datos etiquetados.<\/p>\n\n\n\n

Estructura Propuesta<\/strong><\/h2>\n\n\n\n

El modelo propuesto consiste en una red neuronal convolucional (CNN) para procesar las im\u00e1genes de las 3 c\u00e1maras RGBD. Como columna vertebral de la CNN se utiliza la arquitectura ResNet50 para extraer un vector de caracter\u00edsticas de alta dimensi\u00f3n a partir de las im\u00e1genes de entrada.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Figura 4: sistema propuesto para la estimaci\u00f3n de la pose del efector final.<\/p>\n\n\n\n

Luego, este vector de caracter\u00edsticas se pasa a trav\u00e9s de una cascada de redes neuronales totalmente conectadas, donde cada red predice las coordenadas 3D [x, y, z] de una de las articulaciones del brazo rob\u00f3tico. En total se tienen 6 redes neuronales totalmente conectadas en cascada, una para cada articulaci\u00f3n.<\/p>\n\n\n\n

Se compararon 3 variantes de este enfoque:<\/p>\n\n\n\n

L\u00ednea base:<\/strong> Cada red neuronal totalmente conectada recibe \u00fanicamente el vector de caracter\u00edsticas extra\u00eddo por ResNet50. No hay paso de informaci\u00f3n entre las redes.<\/p>\n\n\n\n

Cascada:<\/strong> Cada red neuronal no solo recibe el vector de ResNet50, sino tambi\u00e9n las salidas (coordenadas 3D) de la red inmediatamente anterior.<\/p>\n\n\n\n

Cascada completa:<\/strong> Cada red recibe el vector de ResNet50 y las salidas de todas las redes anteriores en la cascada.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Figura 5: CNN seguida de una estructura en cascada totalmente conectada.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Figura 6: bloque totalmente conectado. Red Neuronal 1000-256-64-3.<\/p>\n\n\n\n

La hip\u00f3tesis muestra que proporcionar a cada red las estimaciones previas de las articulaciones mejorar\u00eda el rendimiento al agregar informaci\u00f3n adicional relevante para cada predicci\u00f3n. El m\u00e9todo de cascada completa mostr\u00f3 el mejor desempe\u00f1o durante la validaci\u00f3n.<\/p>\n\n\n\n

Resultados<\/strong><\/h2>\n\n\n\n

El m\u00e9todo de cascada completa, donde cada etapa recibe informaci\u00f3n de todas las etapas previas, obtuvo el menor error de validaci\u00f3n. Esto indica que proporcionar las estimaciones previas mejora el rendimiento del modelo. Visualmente tambi\u00e9n se observ\u00f3 una buena precisi\u00f3n de las predicciones en 3D.<\/p>\n\n\n\n

Bibtex<\/strong><\/h2>\n\n\n\n
@article{ortegaKevin2023,\n\n  title={Seguimiento visual de un manipulador serial utilizando redes neuronales profundas},\n\n  author={Ortega, Kevin David},\n\n  year={2023},\n\n  school={Universidad Tecnol{\\'o}gica de Pereira}\n\n}<\/code><\/pre>\n\n\n\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
Autores: Kevin David Ortega Qui\u00f1ones, Byron S. Hern\u00e1ndez, Jorge I. Sep\u00falveda, Henry Medeiros, Germ\u00e1n Andr\u00e9s Holgu\u00edn Londo\u00f1o. Problema En la […]<\/p>\n","protected":false},"author":1980,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_uag_custom_page_level_css":"","site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"class_list":["post-143","page","type-page","status-publish","hentry"],"uagb_featured_image_src":{"full":false,"thumbnail":false,"medium":false,"medium_large":false,"large":false,"1536x1536":false,"2048x2048":false},"uagb_author_info":{"display_name":"gahol","author_link":"https:\/\/academia.utp.edu.co\/ia-e-industria\/author\/gahol\/"},"uagb_comment_info":0,"uagb_excerpt":"Autores: Kevin David Ortega Qui\u00f1ones, Byron S. Hern\u00e1ndez, Jorge I. Sep\u00falveda, Henry Medeiros, Germ\u00e1n Andr\u00e9s Holgu\u00edn Londo\u00f1o. Problema En la […]","_links":{"self":[{"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/pages\/143","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/users\/1980"}],"replies":[{"embeddable":true,"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/comments?post=143"}],"version-history":[{"count":6,"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/pages\/143\/revisions"}],"predecessor-version":[{"id":299,"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/pages\/143\/revisions\/299"}],"wp:attachment":[{"href":"https:\/\/academia.utp.edu.co\/ia-e-industria\/wp-json\/wp\/v2\/media?parent=143"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}