ABSTRACT Intelligent apple-harvesting robots use a staggered distribution of branches and leaves during operation, causing problems such as slow motion planning, low operational efficiency, and high path cost for multi-degrees-of-freedom (DOF) harvesting manipulators. This study presents an autonomous apple-harvesting robotic arm-hand composite system that aims to improve the operational efficiency of intelligent harvesting in dwarf anvil-planted apple orchards. The machine vision system for fruit detection uses the deep learning convolutional neural network (CNN) YOLOv7 and RGB-D camera online detection coupling technology to rapidly recognise apples. The spatial depth information of the fruit area was then extracted from the aligned depth image for precise positioning. Coordinate transformation was used to obtain the coordinates of the fruit under the coordinate system of the manipulator. Based on the informed rapid-exploration random tree (Informed-RRT*) algorithm and path-planning model, the identified target apples were harvested without collision path planning. In an apple-harvesting test, the recognition accuracy of the visual system was 89.4%, and the average time to harvest a single apple was 9.69 s, which was 4.8% faster than the mainstream general harvesting technology. Moreover, the harvesting time for a single apple was reduced by 1.7%. Thus, the proposed system enabled accurate and efficient fruit harvesting. appleharvesting operation planning multidegreesoffreedom multi degrees freedom DOF (DOF manipulators armhand arm hand anvilplanted anvil planted orchards CNN (CNN YOLOv RGBD RGB D positioning manipulator rapidexploration rapid exploration InformedRRT* InformedRRT Informed RRT* RRT (Informed-RRT* pathplanning model test 894 89 4 89.4% 969 9 69 9.6 s 48 8 4.8 Moreover 17 1 7 1.7% Thus (Informed-RRT 89.4 96 6 9. 4. 1.7 89. 1.
RESUMO Os robôs de colheita inteligente de maçãs têm uma distribuição escalonada de galhos e folhas durante a operação, o que causa problemas como o planejamento de movimentos lentos, a baixa eficiência operacional e o alto custo de trajetória dos manipuladores de colheita com vários graus de liberdade (DOF). Este artigo apresenta um sistema composto de braço-mão robótico autônomo para colheita de maçãs que visa melhorar a eficiência operacional da colheita inteligente em pomares de maçãs plantadas com anéis anões. O sistema de visão mecânica para detecção de frutas usa a rede neural convolucional de aprendizagem profunda (CNN) YOLOv7 e uma tecnologia de acoplamento de detecção on-line de câmera RGB-D para reconhecer rapidamente as maçãs. Em seguida, as informações de profundidade espacial da área da fruta são extraídas da imagem de profundidade alinhada para um posicionamento preciso. A transformação de coordenadas é usada para obter as coordenadas da fruta no sistema de coordenadas do manipulador. Com base no algoritmo de árvore aleatória de exploração rápida informada (Informed-RRT*) e no modelo de planejamento de caminho, as maçãs-alvo identificadas são colhidas sem planejamento de caminho de colisão. Em um teste de colheita de maçãs, a precisão do reconhecimento do sistema visual foi de 89,4%, e o tempo médio de colheita de uma única maçã foi de 9,69 s, 4,8% mais rápido do que a tecnologia de colheita geral convencional. Além disso, o tempo de colheita de uma única maçã foi reduzido em 1,7%. Assim, o sistema proposto permite uma colheita de frutas precisa e eficiente. operação lentos DOF. DOF . (DOF) braçomão braço mão anões CNN (CNN YOLOv online on line RGBD RGB D seguida preciso manipulador InformedRRT* InformedRRT Informed RRT* RRT (Informed-RRT* maçãsalvo alvo colisão 894 89 4 89,4% 969 9 69 9,6 s 48 8 4,8 convencional disso 17 1 7 1,7% Assim eficiente (DOF (Informed-RRT 89,4 96 6 9, 4, 1,7 89, 1,