Fusion multi-capteurs pour la technologie d'évitement des obstacles en temps réel pour les véhicules à guidage automatique (AGV)

I Introduction du système d'évitement d'obstacles en temps réel par fusion multi-capteurs pour AGV

1. Introduction

La technologie de fusion des capteurs est essentielle pour permettre aux robots d'éviter les obstacles sur toute leur surface. Son principe s'inspire de la manière dont le cerveau humain traite les informations de manière intégrative : en coordonnant plusieurs capteurs (par exemple, LIDAR, caméras de vision, etc.) pour l'intégration d'informations multi-niveaux et multi-dimensionnelles, il compense les limites d'un seul capteur et construit finalement une perception cohérente de l'environnement. Cette technologie intègre les avantages complémentaires des données multi-sources (par exemple, la mesure précise de la distance et la reconnaissance des objets) et optimise le flux de traitement de l'information grâce à des algorithmes intelligents, de sorte que les AGV peuvent simultanément améliorer la précision de l'évitement des obstacles et l'adaptabilité à l'environnement dans des environnements dynamiques complexes.

2. Améliorer la précision de la détection

L'intégration du LiDAR (mesure précise de la distance, mais l'éblouissement est facile à perturber), de la vision (identification du type d'objet, la faible luminosité est limitée) et des ultrasons (détection de la zone aveugle à courte distance) ainsi que d'autres données multi-capteurs, des lacunes complémentaires, afin d'améliorer la précision de l'identification des obstacles.

3. Amélioration de la fiabilité du système

La conception redondante garantit qu'en cas de défaillance d'un seul capteur (par exemple, défaillance du LIDAR), les autres capteurs peuvent continuer à éviter les obstacles. Combiné au filtrage de Kalman et à d'autres algorithmes, le bruit parasite est filtré pour améliorer la stabilité des données.

4. Adaptabilité environnementale étendue

La commutation dynamique permet aux capteurs de traiter des scènes complexes, telles que les interférences électromagnétiques lorsque le choix des données anti-brouillage, la fusion des ultrasons et du LiDAR dans un environnement enfumé, et pour les obstacles transparents/en surplomb de permettre l'utilisation de capteurs infrarouges et d'autres capteurs spéciaux.

5. Optimiser la prise de décision en matière d'évitement d'obstacles

Grâce à la détection multi-capteurs (par exemple, en délimitant des zones d'évitement d'obstacles/de détournement à l'avant), à l'intégration de la distance (LIDAR), du type (vision) et des informations de proximité (ultrasons) des obstacles, à la génération d'un modèle d'environnement global et à la planification précise de la trajectoire optimale.

II Fusion multi-capteurs Principe d'évitement des obstacles

1. Disposition typique

• Évitement principal des obstacles à l'avant : Laser 2D gauche et droit balayant les obstacles horizontalement, ultrasons inférieurs complétant la détection des obstacles faibles, laser 3D oblique supérieur à l'avant couvrant l'espace tridimensionnel.
• Protection latérale : Caméras de profondeur montées en biais des deux côtés pour éliminer l'angle mort latéral de l'AGV.
• Prévention des collisions avec la fourche : La fourche est équipée d'un IMU qui surveille l'attitude en temps réel, combiné avec les données laser 3D supérieures et inférieures pour prédire dynamiquement la trajectoire de la fourche et protéger la zone environnante.
• Prévention des collisions entre les fourches : Deux capteurs à ultrasons surveillent les obstacles dans la zone sectorielle des deux côtés de l'arrière du véhicule.

2. Méthodes de fusion

• Niveau des données : Unifier les horodatages et les systèmes de coordonnées de plusieurs capteurs, et fusionner directement les données des nuages de points.
• Niveau des caractéristiques: Fusion des caractéristiques de bord LiDAR avec les caractéristiques visuelles SIFT, apprentissage profond à l'aide de PointNet++ (nuage de points) et CNN (image), ou génération de cartes de probabilité d'obstacles via EKF.
• Niveau de décision : Le réseau bayésien pondère dynamiquement la confiance de chaque capteur, les ultrasons déclenchent des arrêts d'urgence dans les scénarios d'urgence et le LiDAR planifie des chemins de déviation.

3. Détection de l'environnement

• Répartition des tâches entre le lointain et le proche : le nuage de points du radar 3D détecte les obstacles globaux au loin, et la caméra de profondeur identifie les obstacles locaux au proche.
• Définition des obstacles : personnes, marchandises, chariots élévateurs et autres objets volumineux, le processus de base est la "détection → suivi → localisation" (confirmation de l'existence → prédiction de la trajectoire → calcul de la distance).
• Carte sémantique : étiquetage des catégories d'obstacles (par exemple, étagères, ascenseurs) par la segmentation des instances, l'extraction des contours et leur mise en correspondance avec la carte afin d'aider à la prise de décision intelligente en matière d'évitement des obstacles.

• Processus global d'évitement des obstacles : Pour le problème des données de nuages de points volumineux et bruyants, le filtrage et le déséchantillonnage sont effectués en premier lieu ; après avoir segmenté le nuage de points au sol, les groupes d'obstacles au sol sont segmentés par un algorithme de regroupement, et les attributs tels que le centre/la dimension sont ajustés au cadre environnant ; en combinaison avec le cadre de détection de cibles de nuages de points (par exemple, PointPillar), l'annotation sémantique et le suivi sont effectués, et un filtre de Kalman est construit pour lisser la trajectoire, PointPillar), l'annotation sémantique et le suivi sont effectués, et un filtre de Kalman est construit pour lisser la trajectoire, et l'optimisation simultanée de l'arithmétique est effectuée pour garantir un traitement en temps réel ; une compensation et une correction sont nécessaires en cas de distorsion du mouvement. en temps réel ; une correction de la compensation est nécessaire en cas de distorsion du mouvement.

4. Algorithme d'évitement des obstacles en temps réel

• Évitement des obstacles locaux : La caméra de profondeur couvre la zone périphérique du corps, l'UMI de la fourche fournit un retour d'information en temps réel sur l'angle d'attitude, et le capteur de fond surveille les obstacles spatiaux.
• Re-planification de la trajectoire : basée sur la vitesse de l'AGV (cycle de 100 à 200 ms), échantillonnage de trajectoires réalisables par la méthode de la fenêtre dynamique, prédiction de la tendance dynamique du mouvement des obstacles, optimisation de la trajectoire en temps réel.
• Assistance à l'apprentissage par renforcement : combinée à DQN, PPO et d'autres algorithmes, elle entraîne l'AGV à s'adapter à la scène dynamique complexe de l'environnement de simulation afin d'améliorer la capacité de prise de décision autonome.

III Fusion multi-capteurs Évitement d'obstacles Défis et avenir

1. Scénarios d'application de l'évitement d'obstacles par les AGV

Les scénarios d'application pratique de l'évitement des obstacles par l'AGV rencontrent souvent certaines difficultés. Voici une liste de défis et de solutions :

2. Orientations futures

• Stratégies bioniques : imiter le comportement d'une colonie de fourmis ou d'un essaim d'oiseaux pour prédire les trajectoires dynamiques des obstacles.
• Fusion neuronale : modèles de bout en bout (par exemple PointNet+++Transformer) pour traiter directement les données LiDAR et de vision.
• Architectures de type cérébral : réseaux neuronaux à impulsions (SNN) pour la prise de décision à faible consommation d'énergie, mécanismes LSTM+attention pour la prévision de longues séries temporelles de mouvements d'obstacles.
• Co-informatique : traitement en couches à la périphérie du nuage pour réduire la pression arithmétique à bord.
• Migration de la simulation : randomisation du domaine pour une meilleure généralisation, mise au point adaptative en ligne et en temps réel des modèles (par exemple Meta-RL).
• Intelligence de la population : apprentissage fédéré pour optimiser les trajectoires de plusieurs VAG, théorie des jeux pour coordonner dynamiquement le droit de passage.
• Objectif : construire un système intelligent de "détection-décision-contrôle", grâce à des algorithmes bio-inspirés, à une collaboration inter-domaines (V2X/jumelage numérique) et à un matériel à faible consommation d'énergie, afin de réaliser des capacités de conduite semblables à celles de l'homme dans des environnements complexes, en tenant compte de la sécurité, de l'efficacité et de l'éthique.

S'abonner à AiTEN Robotics pour plus de contenu technique.