Introducao:

Neste trabalho iremos apresentar o projecto de Sistema de classificação automatizada de

objetos usando visão computacional e robótica. Com O avanço da tecnologia tem
impulsionado a automação de diversos processos em diversas areas, incluindo a indústria, a
logística, agricultura e ate mesmo nas universidades. Um dos desafios enfrentados nesses
setores é a necessidade de classificar objetos de maneira eficiente e precisa. A classificação
manual pode ser trabalhosa, demorada e suscetível a erros humanos. Nesse contexto, a
combinação de visão computacional e robótica oferece uma solução promissora para a
automação desse processo.
Justificativa:

A classificação automatizada de objetos é uma tarefa complexa que exige a identificação e a

categorização precisa de itens com base em suas características distintivas. A visão
computacional, que utiliza algoritmos e técnicas para processar imagens e extrair informações
relevantes, tem mostrado um grande potencial para realizar essa tarefa de forma eficiente.
Além disso, a robótica oferece a capacidade de manipular objetos com precisão e realizar
ações físicas, como agarrar e mover os itens.

A combinação da visão computacional e robótica permite o desenvolvimento de um sistema

de classificação automatizada de objetos que pode trazer inúmeros benefícios para diferentes
setores. Por exemplo, na indústria, esse sistema pode acelerar a linha de produção, aumentar
a precisão na seleção de produtos e reduzir os custos de mão de obra.Nas universidades pode
ajudar nos com a marcação de presença de um certo individuo,Na logistica, pode agilizar a
triagem e o manuseio de pacotes e mercadorias. Na agricultura, pode auxiliar na classificação e
separação de produtos agrícolas, melhorando a eficiência do processo de colheita e seleção.

Além dos benefícios operacionais, a implementação de um sistema de classificação

automatizada de objetos contribui para a redução de erros humanos, aumentando a qualidade
e a confiabilidade dos resultados. Além disso, proporciona maior flexibilidade e
adaptabilidade, permitindo a fácil reprogramação e reconfiguração para atender às
necessidades específicas de diferentes produtos e ambientes.

Portanto, o desenvolvimento de um projeto que integre visão computacional e robótica para

criar um sistema de classificação automatizada de objetos é uma iniciativa relevante e
oportuna. O projeto visa explorar o potencial dessas tecnologias para melhorar a eficiência, a
precisão e a confiabilidade dos processos de classificação, impulsionando a automação e
trazendo benefícios significativos para diversos setores.
1.2 Objetivos

1.2.1 Objetivo geral

Abordar acerca de Sistema de classificação automatizada de objetos usando visão

computacional e robótica

1.2.2 Objetivos específicos

Definir o Desenvolvimento do sistema de visão computacional

Demonstrar o Projeto e construção do manipulador robótico

Demonstrar como devera ser feito a Integração dos sistemas de visão computacional e
robótica

Identificar a Avaliação e aprimoramento do sistema

1.3 Metodologia

O método de pesquisa adotado neste trabalho foi o de pesquisa bibliográfica, cujo foram

identificados livros, artigos e revistas que abordavam do tema em questão. Conforme

Marconi e Lakatos (2003, p.83), o método “é o conjunto de atividades sistemáticas e

racionais que, com maior segurança e economia, permite alcançar o objetivo, traçando o

caminho a ser seguido, detectando erros e auxiliando as decisões do cientista”.

Visao computacional

O que é Visão Computacional, quais os principais tipos de aplicação:

Se você pesquisar no Google “visão computacional” ou “computer vision”, e for para a

Aba “Imagens” você vai encontrar diversas imagens com um olho e um fundo que
lembra código/programação.

visão computacional é uma área da inteligência artificial focada em detectar e extrair

informações a partir de imagens e vídeos. Sendo essa capacidade de detectar e
extrair informação, comparada com a capacidade humana de enxergar (não só
apenas ver). A partir dessas informações extraídas de uma cena (é como chamamos a
fonte de informação, a imagem ou um vídeo) conseguimos automatizar atividades
repetitivas que realizamos, prevenir acidentes, detectar sentimentos ou até mesmo
diferenciar um muffin de um cachorro. visão computacional é uma área da inteligência
artificial focada em detectar e extrair informações a partir de imagens e vídeos.
Sendo essa capacidade de detectar e extrair informação, comparada com a
capacidade humana de enxergar (não só apenas ver). A partir dessas informações
extraídas de uma cena (é como chamamos a fonte de informação, a imagem ou um
vídeo) conseguimos automatizar atividades repetitivas que realizamos, prevenir
acidentes, detectar sentimentos ou até mesmo diferenciar um muffin de um
cachorro.
Mas como os computadores podem enxergar?

Olhando por cima, bem por cima, podemos falar que a visão computacional surgiu a
partir da intersecção de algumas áreas de conhecimento. E, sendo mais generalista,
consigo afirmar que foram duas principais áreas: a matemática, com a física e
processamento de sinais, e a segunda, a computação, com a inteligência artificial,
reconhecimento de padrões e processamento de imagens.

O que podemos fazer com a Visão Computacional?

Segue uma breve lista do que podemos fazer.

1. Classificação de Imagem (ou Image Classification):

O problema mais popular de classificação na área de visão computacional é o

problema de classificação de dígitos. Nesse problema é esperado receber uma
imagem de um dígito escrito a mão e retornar qual o número escrito nessa
imagem. Parece simples, né? A gente consegue fazer isso em menos de 1 segundo,
 mas para o computador é um problema muito desafiador, “não só porque é difícil
fazer computadores executarem um cálculo matemático que reproduza a visão
humana, mas porque não estamos inteiramente certos de como o processo da

visão realmente funciona”, como diz o artigo “O que é Visão Computacional”. A

classificação não fica restrita apenas à números, pois nós humanos fazemos
classificação de objetos a todo momento e também queremos que o computador
faça para nós. Imagina que legal: você passar uma imagem e o seu programa te
disser do que é a imagem? Isso é possível com a visão computacional!

2. Detecção de Objetos (ou Object Detection):

A detecção de objetos é considerada um avanço da classificação de imagens. Nela

consideramos que a imagem possuirá mais de um objeto e gostaríamos de detectar todos os
objetos ou um objeto específico na imagem.

Na imagem abaixo podemos ver vários resultados de detecção de objetos, tanto em espaços
fechados e controlados (foto de comida), quanto em ambientes abertos com variação de luz
(foto da praia). Também notamos que é possível detectar mais de um objeto na imagem,
estando esses objetos contidos ou não, próximos ou não.
3.segmentação de Objetos (ou Object Segmentation):
A segmentação de objetos propõe ser mais robusta do que a classificação e a
detecção. Na segmentação é esperado que os objetos da imagem sejam detectados
com mais precisão, no caso, deixamos de utilizar caixas retangulares ao redor do
objeto e passamos a considerar a borda deles.

4. Transferência de Estilo (ou Image Style Transfer):

Você já deve ter visto transferência de estilo na internet, mas caso você ainda não
tenha visto nada dessa técnica, ela consiste de aprender o estilo presente em um
fotografia e transferir para uma outra. O exemplo mais conhecido é o da figura abaixo,
nela transferimos a ambientação de uma pintura para uma qualquer.
a transferência de estilo não está apenas restrita para casos de pinturas famosas. Ela
pode ser utilizada também para iluminação e coloração.
A partir dessas e de outras aplicações da área de visão computacional, vemos setores
como de medicina (para exames de imagem), monitoramento e segurança, robótica,
mobilidade e carros autônomos, entre outros desenvolvendo produtos e soluções com
essa tecnologia!

Conceitos que precisamos estudar para o projecto:

1. Vai precisar desenvolver uma base de álgebra
linear, cálculo, probabilidade e estatística. Pois, esses conceitos são a base
para entender mais facilmente a área de redes neurais que virá a seguir.
2. Entender a área de processamento digital de imagem, que diferente da visão
computacional, o foco principal é na imagem e na álgebra linear (para saber
mais veja o livro Processamento Digital de Imagens, Gonzalez e Woods). Os
fundamentos dessa área te permitirão entender o que é uma imagem,
características que compõe ela e operações que podemos realizar.
3. Entender conceitos da área de inteligência artificial. Ter uma base forte de IA,
te possibilitará entender mais na frente o que é aprendizado profundo (Deep
Learning) e como ele funciona.
4. Aprender os conceitos de visão computacional, com isso, aprenderá mais
sobre o funcionamento de câmeras, iluminação, algoritmos de otimização e
outros conceitos. notaremos que alguns fundamentos estão muito
relacionados com o processamento digital de imagem.
5. Momento de se aprofundar mais na área, aprenda o famoso deep learning! As
melhores soluções alcançadas na área de visão computacional foram atingidas
com redes de aprendizado profundo (o tal do Deep Learning), que levaram a
área para outro patamar – agora o tempo de aprendizado leva no máximo
algumas semanas e não mais meses! Então, se quisermos atingir resultados
bons precisaremos de um modelo robusto.
Tecnologias que precisamos estudar:
1. As linguagens mais utilizadas na área são o Python e o C++, ambas possuem
uma quantidade relativamente grande de material para estudo. Mas destaco
aqui o Python que nos últimos anos vem dominando o espaço e sendo a
queridinha de muitos blogs famosos (que recomendo logo mais).
2. Bibliotecas como PIL (apenas em Python) e as OpenCV, DLib (ambas em
Python e C++) serão essenciais para te ajudar no desenvolvimento e nos
 estudos. Essas são bibliotecas especializadas em visão computacional e
processamento de imagem.
3. Para trabalhar com Deep Learning e aprendizado de máquina (Machine
Learning), você precisará de algumas outras bibliotecas mais especializadas,
elas te ajudarão na hora de criar e utilizar modelos de aprendizado.
Atualmente existem diversas bibliotecas, e, diferente das bibliotecas de visão
computacional, essas você não precisa aprender todas, uma ou duas será
suficiente. Os principais Open Source são: TensorFlow, PyTorch, Keras. Vale
lembrar que elas são abertas e gratuitas, e existem vários tutoriais para
aprender os primeiros passos com elas!

Treinamento de aprendizado da maquina:

O treinamento de um modelo de aprendizado de máquina para reconhecer classificações é um

processo que envolve várias etapas. Vamos fornecer uma visão geral do processo geral, mas é
importante observar que os detalhes exatos podem variar dependendo do algoritmo de
aprendizado de máquina específico e da biblioteca ou plataforma que está utilizando. Aqui
estão os passos principais:

Coleta de dados: O primeiro passo é coletar um conjunto de dados que contenha exemplos das
classificações que desejamos reconhecer. Esses dados normalmente são divididos em duas
partes: um conjunto de treinamento e um conjunto de teste. O conjunto de treinamento é
usado para treinar o modelo, enquanto o conjunto de teste é usado para avaliar sua precisão
após o treinamento.

Pré-processamento dos dados: Antes de treinar o modelo, é comum realizar algumas etapas
de pré-processamento nos dados. Isso pode incluir a remoção de dados irrelevantes, a
normalização de valores numéricos, a codificação de dados categóricos, a tratamento de
valores ausentes e outras transformações necessárias para preparar os dados para o
treinamento.

Escolha do algoritmo/modelo: Existem vários algoritmos de aprendizado de máquina que

podem ser usados para classificação, como árvores de decisão, redes neurais, SVM (Support
Vector Machines) e outros. A escolha do algoritmo depende do problema em questão e das
características dos dados. Cada algoritmo tem suas vantagens e desvantagens, e pode ser
necessário experimentar diferentes abordagens para encontrar a melhor opção.

Treinamento do modelo: Nesta etapa, o modelo é alimentado com o conjunto de treinamento

e ajusta seus parâmetros internos para aprender padrões nos dados. O processo de
treinamento envolve alimentar os dados ao modelo repetidamente e fazer ajustes graduais
nos parâmetros para minimizar a diferença entre as previsões do modelo e as classificações
corretas fornecidas nos dados de treinamento.

Avaliação do modelo: Após o treinamento, é importante avaliar o desempenho do modelo

para verificar se ele está fazendo previsões precisas. Isso geralmente é feito usando o conjunto
de teste, que contém exemplos não vistos durante o treinamento. O modelo faz previsões
para esses exemplos e as compara com as classificações corretas para calcular métricas de
desempenho, como acurácia, precisão, recall e F1-score.

Ajuste do modelo: Se o desempenho do modelo não for satisfatório, é possível ajustar alguns
aspectos do algoritmo/modelo ou explorar diferentes técnicas de pré-processamento para
melhorar os resultados. Isso pode incluir ajustar os hiperparâmetros do algoritmo, como a taxa
de aprendizado, o número de camadas em uma rede neural, o critério de parada do
treinamento, entre outros.

Implantação do modelo: Após o treinamento e a avaliação do modelo, se ele atingir um

desempenho satisfatório, você pode implantá-lo em um ambiente de produção para fazer
previsões em dados reais. Isso geralmente envolve a integração do modelo em um sistema
maior.

A integração do sistema de visão computacional com uma câmera para capturar imagens dos
objetos.

Aqui está uma visão geral de como essa integração pode ser realizada:

Seleção da câmera: Escolha uma câmera adequada para o seu projeto, considerando requisitos
como resolução, taxa de quadros, interface de conexão (USB, Ethernet, etc.) e compatibilidade
com a biblioteca de visão computacional que você está utilizando.

Conexão física: Conecte a câmera ao computador ou ao sistema que está executando o

sistema de visão computacional. Isso pode envolver a utilização de cabos apropriados,
adaptadores ou interfaces de conexão específicas.

Configuração da câmera: Dependendo da câmera selecionada, você pode precisar configurar

parâmetros como resolução, taxa de quadros, formato de saída (por exemplo, RGB, grayscale)
e outras configurações específicas da câmera. Consulte a documentação da câmera para obter
informações detalhadas sobre como fazer essas configurações.
Aquisição de imagens: Com a câmera conectada e configurada, podemos usar a biblioteca ou o
software de controle da câmera para adquirir imagens. Isso geralmente envolve a utilização de
comandos ou funções específicas da biblioteca para iniciar a aquisição de imagens.

Processamento das imagens: Uma vez que as imagens são adquiridas, elas podem ser
processadas pelo sistema de visão computacional. Isso pode incluir etapas como pré-
processamento (redimensionamento, filtragem, correção de cores, etc.), detecção de objetos,
extração de características ou qualquer outro tipo de processamento de imagem necessário
para o seu projeto.

Análise e tomada de decisão: Com base nos resultados do processamento das imagens,
podemos tomar decisões ou executar ações específicas. Por exemplo, se estiver classificando
objetos, podemos usar os resultados da visão computacional para acionar um sistema de
controle que execute uma determinada ação com base na classificação.

É importante ressaltar que a integração exata pode variar dependendo das bibliotecas,
plataformas e linguagens de programação utilizadas. Recomenda-se consultar a documentação
e exemplos fornecidos pela biblioteca de visão computacional escolhida, bem como a
documentação da câmera, para obter orientações específicas sobre como realizar a integração
em no projeto.

Etapa 2: Projeto e construção do manipulador robótico

Projetar um braço robótico capaz de pegar, movimentar e soltar objetos com segurança
requer a consideração de diversos fatores, como design mecânico, seleção de componentes,
controle de movimento e segurança. Aqui estão algumas etapas gerais para nos ajudar a
iniciar o processo de projeto:

Requisitos do sistema: Defina claramente os requisitos do braço robótico, como a capacidade

de carga, o alcance necessário, a precisão de movimento e os tipos de objetos a serem
manipulados. Esses requisitos serão fundamentais para orientar o projeto.

Cinemática e design mecânico: Determine a configuração do braço robótico, como o número e

o tipo de articulações (por exemplo, articulações rotativas ou articulações de revolução) e a
estrutura geral (por exemplo, braço articulado, braço delta). Utilize conceitos de cinemática
para calcular as dimensões e posições das articulações com base nos requisitos do sistema.

Seleção de componentes: Escolha os componentes mecânicos adequados, como motores,

atuadores, redutores, engrenagens e juntas, levando em consideração os requisitos de carga,
velocidade, torque e precisão. Certifique-se de que os componentes selecionados sejam
compatíveis com a eletrônica de controle que você planeja utilizar.

Eletrônica de controle: Projete ou selecione a eletrônica de controle necessária para acionar os

motores e realizar o controle de movimento do braço robótico. Isso pode envolver o uso de
microcontroladores, drivers de motor, sensores de posição e outros dispositivos eletrônicos.

Algoritmo de controle: Desenvolva algoritmos de controle que permitam ao braço robótico

alcançar as posições desejadas, mover-se de forma precisa e suave e executar as tarefas de
manipulação com segurança. Considere técnicas de controle, como controle proporcional-
integral-derivativo (PID) ou controle baseado em modelo.

Segurança: Integre recursos de segurança no projeto do braço robótico. Isso pode incluir
sensores de força ou torque para detectar colisões ou excesso de carga, limites de posição
para evitar movimentos além dos limites físicos, sistemas de parada de emergência e barreiras
físicas ou virtuais para proteção dos operadores.

Testes e iterações: Realize testes do braço robótico em diferentes cenários para verificar o
desempenho, a segurança e a confiabilidade. Com base nos resultados, faça ajustes e iterações
no projeto, se necessário.
Lembremos de que projetar um braço robótico é um processo complexo e desafiador.
Recomenda-se estudar a fundo os conceitos de engenharia mecânica, controle e eletrônica,
além de buscar referências e recursos adicionais sobre projetos de braços robóticos.

Como devera ser feito a selecção motores, sensores e atuadores adequados para o
manipulador robótico:

Carga e torque: Analise a carga que o manipulador robótico terá que manipular e determine o
torque necessário nos atuadores. Considere tanto a carga máxima quanto a carga média que o
robô precisará lidar. Isso ajudará a determinar a capacidade de torque dos motores e
atuadores necessários.

Velocidade e precisão: Considere a velocidade e a precisão necessárias para realizar as tarefas

de manipulação. Determine se o robô precisa de alta velocidade ou movimentos mais lentos e
precisos. Isso influenciará a escolha dos motores, levando em consideração sua velocidade de
rotação, controle de velocidade e resposta dinâmica.

Tipo de movimento: Avalie o tipo de movimento que o manipulador robótico precisa realizar,
como movimento linear, rotação ou movimentos complexos. Isso ajudará a determinar o tipo
de motor e atuador adequado para cada articulação ou junta do robô.

Espaço e peso: Considere as restrições de espaço e peso do manipulador robótico. Se houver

limitações de espaço, motores compactos ou atuadores de baixo perfil podem ser necessários.
Certifique-se de que os componentes selecionados sejam compatíveis com a carga total do
robô, levando em consideração a própria estrutura mecânica e os objetos manipulados.
Controle: Verifique se os motores e atuadores escolhidos são compatíveis com o sistema de
controle que você está usando. Por exemplo, se estivermos utilizando um controlador
específico,temos que verificar se ele é capaz de controlar os motores selecionados ou se serão
necessários drivers adicionais.

Sensores: Identifique os sensores necessários para o controle e monitoramento do

manipulador robótico. Isso pode incluir sensores de posição (como encoders), sensores de
força ou torque, sensores de proximidade ou qualquer outro tipo de sensor necessário para
garantir a segurança e a precisão do robô.

Compatibilidade: Verifique a compatibilidade mecânica e eletrônica entre os motores,

sensores e atuadores selecionados. Certifique-se de que eles possam ser integrados na
estrutura do robô e conectados ao sistema de controle de forma adequada.

Custo: Considere o custo dos motores, sensores e atuadores em relação ao orçamento

disponível para o projeto. Levemos em conta a relação custo-benefício, considerando a
qualidade, desempenho e durabilidade dos componentes selecionados.

É importante realizar pesquisas, consultar a documentação dos fabricantes, buscar

recomendações de especialistas e realizar testes para garantir que os motores, sensores e
atuadores selecionados atendam aos requisitos do manipulador robótico.

Como desenvolver um sistema de controle para um braço robótico, permitindo o seu

movimento preciso e controlado:

Desenvolver um sistema de controle para um braço robótico requer um conjunto de etapas

que envolvem tanto a parte de hardware quanto a parte de software. Aqui estão algumas
diretrizes gerais para ajudá-lo a iniciar o processo:

Projeto mecânico do braço robótico: Começaremos projetando a estrutura mecânica do braço

robótico. Determinaremos o número de juntas, seus tipos (rotacional ou linear) e os
comprimentos dos membros do braço. Certificando-se de que a estrutura seja robusta o
suficiente para suportar os movimentos planejados.

Seleção dos atuadores: Escolheremos os atuadores adequados para as juntas do braço

robótico. Os atuadores podem ser motores de corrente contínua (DC), servomotores,
atuadores lineares, entre outros. Considerando as especificações de torque, velocidade e
precisão necessárias para o seu sistema.
Escolha dos sensores: Identifique os sensores necessários para obter informações sobre a
posição, velocidade e força do braço robótico. Alguns sensores comuns usados em braços
robóticos incluem codificadores rotativos, sensores de força/torque e sensores de posição
linear.

Eletrônica e controle: Projete e monte a eletrônica necessária para controlar os atuadores e

captar os sinais dos sensores. Dependendo do tipo de atuadores e sensores escolhidos,
podemos precisar de controladores específicos, como placas controladoras de motor ou
módulos de aquisição de dados.

Programação do sistema de controle: Desenvolva o software necessário para controlar o braço

robótico. Isso geralmente envolve a implementação de algoritmos de controle, como controle
proporcional-integral-derivativo (PID) ou controle por malha de realimentação. Podemos usar
linguagens de programação como C++, Python ou MATLAB, dependendo das suas preferências
e das bibliotecas disponíveis para o hardware escolhido.

Calibração e teste: Realize a calibração dos sensores e atuadores para garantir a precisão e a
confiabilidade do sistema. Em seguida, teste o braço robótico em diferentes cenários para
verificar o desempenho do controle e fazer ajustes conforme necessário.

Lembrar de que o desenvolvimento de um sistema de controle para um braço robótico é um

processo complexo e pode exigir conhecimentos em mecânica, eletrônica, programação e
controle de sistemas. É útil estudar e consultar materiais relevantes, como livros, tutoriais
online e exemplos de projetos semelhantes, para obter orientações mais detalhadas durante o
processo de desenvolvimento.

Etapa 3: Integração dos sistemas de visão computacional e robótica:

uma interface entre o sistema de visão computacional e o braço robótico, permitindo a

comunicação e a coordenação entre eles.

Para criar uma interface entre o sistema de visão computacional e o braço robótico,
permitindo a comunicação e a coordenação entre eles, podemos seguir os seguintes passos:

Definir protocolo de comunicação: Determinar o protocolo de comunicação que será utilizado

para a troca de dados entre o sistema de visão computacional e o braço robótico. Pode ser
uma conexão serial, Ethernet, Wi-Fi ou qualquer outro protocolo adequado às suas
necessidades.
Configurar o sistema de visão computacional: Configure o sistema de visão computacional para
processar as imagens capturadas e extrair as informações relevantes para o controle do braço
robótico. Isso pode envolver a detecção e rastreamento de objetos, extração de coordenadas
ou qualquer outra análise de imagem necessária.

Interface de software: Desenvolva um software que funcione como a interface entre o sistema
de visão computacional e o braço robótico. Esse software deve receber as informações
processadas pelo sistema de visão e convertê-las em comandos compreensíveis para o braço
robótico. Isso pode incluir coordenadas de destino, velocidades de movimento ou outros
parâmetros relevantes.

Controle do braço robótico: Utilizaremos o software de controle do braço robótico ou

desenvolva um novo para receber os comandos da interface e acionar os motores e atuadores
necessários para realizar os movimentos desejados. O software de controle deve garantir a
coordenação e a segurança dos movimentos do braço robótico.

Implementação da comunicação: Estabeleça a comunicação entre a interface e o braço

robótico por meio do protocolo definido anteriormente. Isso pode envolver o uso de
bibliotecas de comunicação, programação de soquetes, APIs ou outras ferramentas específicas
para o protocolo selecionado.

Testes e ajustes: Realizaremos testes para garantir que a interface esteja funcionando
corretamente. Verifique se os comandos do sistema de visão estão sendo transmitidos e
interpretados corretamente pelo braço robótico. Faremos ajustes conforme necessário para
garantir uma comunicação confiável e uma coordenação eficiente entre os sistemas.

É importante considerar os requisitos de latência, confiabilidade e segurança ao desenvolver a

interface entre o sistema de visão computacional e o braço robótico. Fazer Consulta a
documentação e as ferramentas de suporte fornecidas pelo fabricante do braço robótico e
pelas bibliotecas de visão computacional para obter orientações específicas sobre como
realizar a integração de forma adequada.
Como programar um sistema para que o braço robótico possa manipular os objetos com
base nas informações fornecidas pela visão computacional.

Para programar um sistema que permita ao braço robótico manipular objetos com base nas
informações fornecidas pela visão computacional, você pode seguir estas etapas:

Captura de informações: Utilize o sistema de visão computacional para capturar as

informações relevantes dos objetos, como posição, orientação, tamanho, forma ou qualquer
outra característica necessária para a manipulação.

Processamento das informações: Processe as informações capturadas pelo sistema de visão

computacional para extrair os dados necessários. Isso pode envolver técnicas como detecção
de objetos, segmentação, reconhecimento de padrões ou qualquer outra análise necessária
para identificar os objetos e suas características.

Determinação das ações do braço robótico: Com base nas informações processadas,
determine as ações que o braço robótico deve executar para manipular os objetos de maneira
adequada. Isso pode incluir a determinação da posição de agarre, a trajetória de movimento
do braço, a força necessária para segurar o objeto, entre outras considerações.

Programação do controle do braço robótico: Utilize o software de controle do braço robótico

ou a biblioteca apropriada para programar as ações necessárias. Isso pode envolver o uso de
linguagens de programação, como C++, Python ou outras, dependendo da plataforma e do
controlador do robô.

Comunicação entre o sistema de visão computacional e o braço robótico: Implemente a

comunicação entre o sistema de visão computacional e o braço robótico para transmitir as
informações processadas e os comandos de ação. Isso pode ser feito por meio de uma
interface de comunicação, como conexão serial, Ethernet ou Wi-Fi, conforme definido
anteriormente.

Testes e ajustes: Realize testes para verificar se o braço robótico está manipulando os objetos
corretamente com base nas informações fornecidas pela visão computacional. Faça ajustes e
refinamentos no programa conforme necessário para melhorar a precisão, a confiabilidade e a
eficiência do sistema.

Durante o desenvolvimento do sistema, é importante considerar aspectos de segurança, como

a detecção de colisões, a limitação de velocidade e a aplicação de forças adequadas para a
manipulação dos objetos.
Lembrar de consultar a documentação e os recursos fornecidos pelo fabricante do braço
robótico, bem como pelas bibliotecas de visão computacional utilizadas, para obter
orientações específicas sobre a programação e a integração dos sistemas.

Realize testes e ajustes para garantir que o sistema esteja funcionando corretamente.

Etapa 4: Avaliação e aprimoramento do sistema

Realizaremos testes de classificação com diferentes tipos de objetos para avaliar a precisão do
sistema.

Analisaremos os resultados obtidos e identificaremos as possíveis melhorias para aumentar a

eficiência e a confiabilidade do sistema.

Faremos ajustes no algoritmo de classificação, no hardware do manipulador robótico ou em

outros componentes, conforme necessário.