Abrégé

A system evaluates modifications to components of an autonomous vehicle (AV) stack. The system receives driving recommendations traffic scenarios based on user annotations of video frames showing each traffic scenario. For each traffic scenario, the system predicts driving recommendations based on the AV stack. The system determines a measure of quality of driving recommendation by comparing predicted driving recommendations based on the AV stack with the driving recommendations received for the traffic scenario. The measure of quality of driving recommendation is used for evaluating components of the AV stack. The system determines a driving recommendation for an AV corresponding to ranges of SOMAI (state of mind) score and sends signals to controls of the autonomous vehicle to navigate the autonomous vehicle according to the driving recommendation. The system identifies additional training data for training machine learning model based on the measure of driving quality.

Classes IPC  ?

• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06V 10/774 - Génération d'ensembles de motifs de formationTraitement des caractéristiques d’images ou de vidéos dans les espaces de caractéristiquesDispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant l’intégration et la réduction de données, p. ex. analyse en composantes principales [PCA] ou analyse en composantes indépendantes [ ICA] ou cartes auto-organisatrices [SOM]Séparation aveugle de source méthodes de Bootstrap, p. ex. "bagging” ou “boosting”
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo

Abrégé

A system evaluates modifications to components of an autonomous vehicle (AV) stack. The system receives driving recommendations traffic scenarios based on user annotations of video frames showing each traffic scenario. For each traffic scenario, the system predicts driving recommendations based on the AV stack. The system determines a measure of quality of driving recommendation by comparing predicted driving recommendations based on the AV stack with the driving recommendations received for the traffic scenario. The measure of quality of driving recommendation is used for evaluating components of the AV stack. The system determines a driving recommendation for an AV corresponding to ranges of SOMAI (state of mind) score and sends signals to controls of the autonomous vehicle to navigate the autonomous vehicle according to the driving recommendation. The system identifies additional training data for training machine learning model based on the measure of driving quality.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués
• B60W 40/04 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes liés aux conditions de trafic

Abrégé

A system evaluates modifications to components of an autonomous vehicle (AV) stack. The system receives driving recommendations traffic scenarios based on user annotations of video frames showing each traffic scenario. For each traffic scenario, the system predicts driving recommendations based on the AV stack. The system determines a measure of quality of driving recommendation by comparing predicted driving recommendations based on the AV stack with the driving recommendations received for the traffic scenario. The measure of quality of driving recommendation is used for evaluating components of the AV stack. The system determines a driving recommendation for an AV corresponding to ranges of SOMAI (state of mind) score and sends signals to controls of the autonomous vehicle to navigate the autonomous vehicle according to the driving recommendation. The system identifies additional training data for training machine learning model based on the measure of driving quality.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G05B 13/02 - Systèmes de commande adaptatifs, c.-à-d. systèmes se réglant eux-mêmes automatiquement pour obtenir un rendement optimal suivant un critère prédéterminé électriques
• G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
• B60W 40/06 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes liés à l'état de la route
• B60W 40/12 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés à des paramètres du véhicule lui-même

Abrégé

A system receives information describing paths traversed by vehicles of a vehicle type, for example, a bicycle or a motorcycle. The system determines locations along the paths. For each location the system determines a measure of likelihood of encountering vehicles of the vehicle type in traffic at the location. The system selects a subset of locations based on the measure of likelihood and obtains sensor data captured at the subset of locations. The system uses the sensor data as training dataset for training a machine learning based model configured to receive input sensor data describing traffic and output a score used for navigation of autonomous vehicles. The machine learning model is provided to a vehicle, for example, an autonomous vehicle for navigation of the autonomous vehicle.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• B60W 40/04 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes liés aux conditions de trafic

Abrégé

Systems and methods for predicting user interaction with vehicles. A computing device receives an image and a video segment of a road scene, the first at least one of an image and a video segment being taken from a perspective of a participant in the road scene and then generates stimulus data based on the image and the video segment. Stimulus data is transmitted to a user interface and response data is received, which includes at least one of an action and a likelihood of the action corresponding to another participant in the road scene. The computing device aggregates a subset of the plurality of response data to form statistical data and a model is created based on the statistical data. The model is applied to another image or video segment and a prediction of user behavior in the another image or video segment is generated.

Classes IPC  ?

• G06N 3/08 - Méthodes d'apprentissage
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• G08G 1/16 - Systèmes anticollision
• G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 30/00 - Fonctions des systèmes d'aide à la conduite des véhicules routiers non liées à la commande d'un sous-ensemble particulier, p. ex. de systèmes comportant la commande conjuguée de plusieurs sous-ensembles du véhicule
• G06N 3/084 - Rétropropagation, p. ex. suivant l’algorithme du gradient
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes
• G06F 18/40 - Dispositions logicielles spécialement adaptées à la reconnaissance des formes, p. ex. interfaces utilisateur ou boîtes à outils à cet effet
• G06F 18/214 - Génération de motifs d'entraînementProcédés de Bootstrapping, p. ex. ”bagging” ou ”boosting”
• G06V 10/778 - Apprentissage de profils actif, p. ex. apprentissage en ligne des caractéristiques d’images ou de vidéos
• G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p. ex. séparateurs à vaste marge [SVM]
• G06N 5/01 - Techniques de recherche dynamiqueHeuristiquesArbres dynamiquesSéparation et évaluation

Abrégé

An autonomous vehicle collects sensor data of an environment surrounding the autonomous vehicle including traffic entities such as pedestrians, bicyclists, or other vehicles. The sensor data is provided to a machine learning based model along with an expected turn direction of the autonomous vehicle to determine a hidden context attribute of a traffic entity given the expected turn direction of the autonomous vehicle. The hidden context attribute of the traffic entity represents factors that affect the behavior of the traffic entity, and the hidden context attribute is used to predict future behavior of the traffic entity. Instructions to control the autonomous vehicle are generated based on the hidden context attribute.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• B60W 40/04 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes liés aux conditions de trafic
• G06N 3/08 - Méthodes d'apprentissage
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués

Abrégé

A system uses a machine learning based model to determine attributes describing states of mind and behavior of traffic entities in video frames captured by an autonomous vehicle. The system classifies video frames according to traffic scenarios depicted, where each scenario is associated with a filter based on vehicle attributes, traffic attributes, and road attributes. The system identifies a set of video frames associated with ground truth scenarios for validating the accuracy of the machine learning based model and predicts attributes of traffic entities in the video frames. The system analyzes video frames captured after the set of video frames to determine actual attributes of the traffic entities. Based on a comparison of the predicted attributes and actual attributes, the system determines a likelihood of the machine learning based model making accurate predictions and uses the likelihood to generate a navigation action table for controlling the autonomous vehicle.

Classes IPC  ?

• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• G06N 20/00 - Apprentissage automatique
• G06N 5/04 - Modèles d’inférence ou de raisonnement
• G06N 3/08 - Méthodes d'apprentissage
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués
• G06F 18/40 - Dispositions logicielles spécialement adaptées à la reconnaissance des formes, p. ex. interfaces utilisateur ou boîtes à outils à cet effet
• G06F 18/214 - Génération de motifs d'entraînementProcédés de Bootstrapping, p. ex. ”bagging” ou ”boosting”
• G06F 18/21 - Conception ou mise en place de systèmes ou de techniquesExtraction de caractéristiques dans l'espace des caractéristiquesSéparation aveugle de sources
• G06F 18/2113 - Sélection du sous-ensemble de caractéristiques le plus significatif en classant ou en filtrant l'ensemble des caractéristiques, p. ex. en utilisant une mesure de la variance ou de la corrélation croisée des caractéristiques
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p. ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes

Abrégé

A system uses a machine learning based model to determine attributes describing states of mind and behavior of traffic entities in video frames captured by an autonomous vehicle. The system classifies video frames according to traffic scenarios depicted, where each scenario is associated with a filter based on vehicle attributes, traffic attributes, and road attributes. The system identifies a set of video frames associated with ground truth scenarios for validating the accuracy of the machine learning based model and predicts attributes of traffic entities in the video frames. The system analyzes video frames captured after the set of video frames to determine actual attributes of the traffic entities. Based on a comparison of the predicted attributes and actual attributes, the system determines a likelihood of the machine learning based model making accurate predictions and uses the likelihood to generate a navigation action table for controlling the autonomous vehicle.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• G06F 18/21 - Conception ou mise en place de systèmes ou de techniquesExtraction de caractéristiques dans l'espace des caractéristiquesSéparation aveugle de sources
• G06F 18/2113 - Sélection du sous-ensemble de caractéristiques le plus significatif en classant ou en filtrant l'ensemble des caractéristiques, p. ex. en utilisant une mesure de la variance ou de la corrélation croisée des caractéristiques
• G06F 18/214 - Génération de motifs d'entraînementProcédés de Bootstrapping, p. ex. ”bagging” ou ”boosting”
• G06F 18/40 - Dispositions logicielles spécialement adaptées à la reconnaissance des formes, p. ex. interfaces utilisateur ou boîtes à outils à cet effet
• G06N 3/08 - Méthodes d'apprentissage
• G06N 5/04 - Modèles d’inférence ou de raisonnement
• G06N 20/00 - Apprentissage automatique
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p. ex. des objets vidéo
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes

Abrégé

Systems and methods for predicting user interaction with vehicles. A computing device receives an image and a video segment of a road scene, the first at least one of an image and a video segment being taken from a perspective of a participant in the road scene and then generates stimulus data based on the image and the video segment. Stimulus data is transmitted to a user interface and response data is received, which includes at least one of an action and a likelihood of the action corresponding to another participant in the road scene. The computing device aggregates a subset of the plurality of response data to form statistical data and a model is created based on the statistical data. The model is applied to another image or video segment and a prediction of user behavior in the another image or video segment is generated.

Classes IPC  ?

• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• B60W 30/00 - Fonctions des systèmes d'aide à la conduite des véhicules routiers non liées à la commande d'un sous-ensemble particulier, p. ex. de systèmes comportant la commande conjuguée de plusieurs sous-ensembles du véhicule
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• G06F 18/214 - Génération de motifs d'entraînementProcédés de Bootstrapping, p. ex. ”bagging” ou ”boosting”
• G06F 18/40 - Dispositions logicielles spécialement adaptées à la reconnaissance des formes, p. ex. interfaces utilisateur ou boîtes à outils à cet effet
• G06N 3/08 - Méthodes d'apprentissage
• G06N 3/084 - Rétropropagation, p. ex. suivant l’algorithme du gradient
• G06V 10/778 - Apprentissage de profils actif, p. ex. apprentissage en ligne des caractéristiques d’images ou de vidéos
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes
• G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
• G08G 1/16 - Systèmes anticollision
• G06N 5/01 - Techniques de recherche dynamiqueHeuristiquesArbres dynamiquesSéparation et évaluation
• G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p. ex. séparateurs à vaste marge [SVM]

Abrégé

Systems and methods for predicting user interaction with vehicles. A computing device receives an image and a video segment of a road scene, the first at least one of an image and a video segment being taken from a perspective of a participant in the road scene and then generates stimulus data based on the image and the video segment. Stimulus data is transmitted to a user interface and response data is received, which includes at least one of an action and a likelihood of the action corresponding to another participant in the road scene. The computing device aggregates a subset of the plurality of response data to form statistical data and a model is created based on the statistical data. The model is applied to another image or video segment and a prediction of user behavior in the another image or video segment is generated.

Classes IPC  ?

• G06N 3/08 - Méthodes d'apprentissage
• B60W 30/00 - Fonctions des systèmes d'aide à la conduite des véhicules routiers non liées à la commande d'un sous-ensemble particulier, p. ex. de systèmes comportant la commande conjuguée de plusieurs sous-ensembles du véhicule
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• G06F 18/214 - Génération de motifs d'entraînementProcédés de Bootstrapping, p. ex. ”bagging” ou ”boosting”
• G06F 18/40 - Dispositions logicielles spécialement adaptées à la reconnaissance des formes, p. ex. interfaces utilisateur ou boîtes à outils à cet effet
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• G06N 3/084 - Rétropropagation, p. ex. suivant l’algorithme du gradient
• G06V 10/778 - Apprentissage de profils actif, p. ex. apprentissage en ligne des caractéristiques d’images ou de vidéos
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes
• G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
• G08G 1/16 - Systèmes anticollision
• G06N 5/01 - Techniques de recherche dynamiqueHeuristiquesArbres dynamiquesSéparation et évaluation
• G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p. ex. séparateurs à vaste marge [SVM]
• G06V 10/62 - Extraction de caractéristiques d’images ou de vidéos relative à une dimension temporelle, p. ex. extraction de caractéristiques axées sur le tempsSuivi de modèle

Abrégé

A vehicle collects video data of an environment surrounding the vehicle including traffic entities, e.g., pedestrians, bicyclists, or other vehicles. The captured video data is sampled and the sampled video frames are presented to users to provide input on a traffic entity's state of mind. The system determines an attribute value that describes a statistical distribution of user responses for the traffic entity. If the attribute for a sampled video frame is within a threshold of the attribute of another video frame, the system interpolates attribute for a third video frame between the two sampled video frames. Otherwise, the system requests further user input for a video frame captured between the two sampled video frames. The interpolated and/or user based attributes are used to train a machine learning based model that predicts a hidden context of the traffic entity. The trained model is used for navigation of autonomous vehicles.

Classes IPC  ?

• G06V 40/00 - Reconnaissance de formes biométriques, liées aux êtres humains ou aux animaux, dans les données d’image ou vidéo
• B60W 30/095 - Prévision du trajet ou de la probabilité de collision
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06F 18/214 - Génération de motifs d'entraînementProcédés de Bootstrapping, p. ex. ”bagging” ou ”boosting”
• G06N 20/00 - Apprentissage automatique
• G06V 10/774 - Génération d'ensembles de motifs de formationTraitement des caractéristiques d’images ou de vidéos dans les espaces de caractéristiquesDispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant l’intégration et la réduction de données, p. ex. analyse en composantes principales [PCA] ou analyse en composantes indépendantes [ ICA] ou cartes auto-organisatrices [SOM]Séparation aveugle de source méthodes de Bootstrap, p. ex. "bagging” ou “boosting”
• G06V 10/778 - Apprentissage de profils actif, p. ex. apprentissage en ligne des caractéristiques d’images ou de vidéos
• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes

Abrégé

A vehicle collects video data of an environment surrounding the vehicle including traffic entities, e.g., pedestrians, bicyclists, or other vehicles. The captured video data is sampled and presented to users to provide input on a traffic entity's state of mind. The user responses on the captured video data is used to generate a training dataset. A machine learning based model configured to predict a traffic entity's state of mind is trained with the training dataset. The system determines input video frames and associated dimension attributes for which the model performs poorly. The dimension attributes characterize stimuli and/or an environment shown in the input video frames. The system generates a second training dataset based on video frames that have the dimension attributes for which the model performed poorly. The model is retrained using the second training dataset and provided to an autonomous vehicle to assist with navigation in traffic.

Classes IPC  ?

• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
• G06N 20/00 - Apprentissage automatique
• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués
• G06V 40/10 - Corps d’êtres humains ou d’animaux, p. ex. occupants de véhicules automobiles ou piétonsParties du corps, p. ex. mains
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques

Abrégé

A system uses neural networks to determine intents of traffic entities (e.g., pedestrians, bicycles, vehicles) in an environment surrounding a vehicle (e.g., an autonomous vehicle) and generates commands to control the vehicle based on the determined intents. The system receives images of the environment captured by sensors on the vehicle, and processes the images using neural network models to determine overall intents or predicted actions of the one or more traffic entities within the images. The system generates commands to control the vehicle based on the determined overall intents of the traffic entities.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06N 3/045 - Combinaisons de réseaux
• G06V 10/20 - Prétraitement de l’image
• G06V 10/44 - Extraction de caractéristiques locales par analyse des parties du motif, p. ex. par détection d’arêtes, de contours, de boucles, d’angles, de barres ou d’intersectionsAnalyse de connectivité, p. ex. de composantes connectées
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06V 40/10 - Corps d’êtres humains ou d’animaux, p. ex. occupants de véhicules automobiles ou piétonsParties du corps, p. ex. mains

Abrégé

A computing device accesses video data displaying one or more traffic entities and generates a plurality of sequences from the video data. For each sequence, the computing device identifies a plurality of stimuli in the sequence and applies a machine learning model to generate an output describing the traffic entity. The computing device generates a data structure for storing, for each sequence, information describing the sequence and linking frame indexes of stimuli from the sequence to outputs of the machine learning model. The computing device stores the data structure in association with the video data. Responsive to receiving a selection of a sequence, the computing device loads video data for the sequence. Responsive to receiving a selection of a traffic entity within the video data, the computing device generates a graphical display element including the machine learning model output for the selected traffic entity.

Classes IPC  ?

• G06V 20/40 - ScènesÉléments spécifiques à la scène dans le contenu vidéo
• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06T 11/20 - Traçage à partir d'éléments de base, p. ex. de lignes ou de cercles
• G06F 3/04842 - Sélection des objets affichés ou des éléments de texte affichés
• G06N 20/00 - Apprentissage automatique
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués
• G06V 40/20 - Mouvements ou comportement, p. ex. reconnaissance des gestes

Abrégé

An autonomous vehicle uses machine learning based models such as neural networks to predict hidden context attributes associated with traffic entities. The hidden context represents behavior of the traffic entities in the traffic. The machine learning based model is configured to receive a video frame as input and output likelihoods of receiving user responses having particular ordinal values. The system uses a loss function based on cumulative histogram of user responses corresponding to various ordinal values. The system identifies user responses that are unlikely to be valid user responses to generate training data for training the machine learning mode. The system identifies invalid user responses based on response time of the user responses.

Classes IPC  ?

• G06V 10/50 - Extraction de caractéristiques d’images ou de vidéos en effectuant des opérations dans des blocs d’imagesExtraction de caractéristiques d’images ou de vidéos en utilisant des histogrammes, p. ex. l’histogramme de gradient orienté [HoG]Extraction de caractéristiques d’images ou de vidéos en utilisant l’addition des valeurs d’intensité d’imageAnalyse de projection
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• B60W 40/02 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes
• G06N 3/08 - Méthodes d'apprentissage
• B60W 40/09 - Style ou comportement de conduite
• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion

Abrégé

An autonomous vehicle uses machine learning based models such as neural networks to predict hidden context attributes associated with traffic entities. The hidden context represents behavior of the traffic entities in the traffic. The machine learning based model is configured to receive a video frame as input and output likelihoods of receiving user responses having particular ordinal values. The system uses a loss function based on cumulative histogram of user responses corresponding to various ordinal values. The system identifies user responses that are unlikely to be valid user responses to generate training data for training the machine learning mode. The system identifies invalid user responses based on response time of the user responses.

Classes IPC  ?

• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• B60W 40/02 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes
• B60W 40/09 - Style ou comportement de conduite
• G06N 3/084 - Rétropropagation, p. ex. suivant l’algorithme du gradient
• G06N 3/08 - Méthodes d'apprentissage
• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• G06V 20/58 - Reconnaissance d’objets en mouvement ou d’obstacles, p. ex. véhicules ou piétonsReconnaissance des objets de la circulation, p. ex. signalisation routière, feux de signalisation ou routes
• G06N 3/048 - Fonctions d’activation
• G06V 10/764 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant la classification, p. ex. des objets vidéo
• G06V 10/774 - Génération d'ensembles de motifs de formationTraitement des caractéristiques d’images ou de vidéos dans les espaces de caractéristiquesDispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant l’intégration et la réduction de données, p. ex. analyse en composantes principales [PCA] ou analyse en composantes indépendantes [ ICA] ou cartes auto-organisatrices [SOM]Séparation aveugle de source méthodes de Bootstrap, p. ex. "bagging” ou “boosting”
• G06V 10/776 - ValidationÉvaluation des performances
• G06V 10/82 - Dispositions pour la reconnaissance ou la compréhension d’images ou de vidéos utilisant la reconnaissance de formes ou l’apprentissage automatique utilisant les réseaux neuronaux
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués
• G06V 10/50 - Extraction de caractéristiques d’images ou de vidéos en effectuant des opérations dans des blocs d’imagesExtraction de caractéristiques d’images ou de vidéos en utilisant des histogrammes, p. ex. l’histogramme de gradient orienté [HoG]Extraction de caractéristiques d’images ou de vidéos en utilisant l’addition des valeurs d’intensité d’imageAnalyse de projection

Abrégé

Systems and methods for predicting user interaction with vehicles. A computing device receives an image and a video segment of a road scene, the first at least one of an image and a video segment being taken from a perspective of a participant in the road scene and then generates stimulus data based on the image and the video segment. Stimulus data is transmitted to a user interface and response data is received, which includes at least one of an action and a likelihood of the action corresponding to another participant in the road scene. The computing device aggregates a subset of the plurality of response data to form statistical data and a model is created based on the statistical data. The model is applied to another image or video segment and a prediction of user behavior in the another image or video segment is generated.

Classes IPC  ?

• G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06N 3/08 - Méthodes d'apprentissage
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• G08G 1/16 - Systèmes anticollision
• G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 30/00 - Fonctions des systèmes d'aide à la conduite des véhicules routiers non liées à la commande d'un sous-ensemble particulier, p. ex. de systèmes comportant la commande conjuguée de plusieurs sous-ensembles du véhicule
• G06N 5/00 - Agencements informatiques utilisant des modèles fondés sur la connaissance
• G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p. ex. séparateurs à vaste marge [SVM]

Abrégé

A system performs modeling and simulation of non-stationary traffic entities for testing and development of modules used in an autonomous vehicle system. The system uses a machine learning based model that predicts hidden context attributes for traffic entities that may be encountered by a vehicle in traffic. The system generates simulation data for testing and development of modules that help navigate autonomous vehicles. The generated simulation data may be image or video data including representations of traffic entities, for example, pedestrians, bicyclists, and other vehicles. The system may generate simulation data using generative adversarial neural networks.

Classes IPC  ?

• G01C 22/00 - Mesure de la distance parcourue sur le sol par des véhicules, des personnes, des animaux ou autres corps solides en mouvement, p. ex. en utilisant des odomètres ou en utilisant des podomètres
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 50/00 - Détails des systèmes d'aide à la conduite des véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier
• B60W 40/04 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes liés aux conditions de trafic
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06N 3/08 - Méthodes d'apprentissage
• G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués

Abrégé

An autonomous vehicle uses probabilistic neural networks to predict hidden context attributes associated with traffic entities. The hidden context represents behavior of the traffic entities in the traffic. The probabilistic neural network is configured to receive an image of traffic as input and generate output representing hidden context for a traffic entity displayed in the image. The system executes the probabilistic neural network to generate output representing hidden context for traffic entities encountered while navigating through traffic. The system determines a measure of uncertainty for the output values. The autonomous vehicle uses the measure of uncertainty generated by the probabilistic neural network during navigation.

Classes IPC  ?

• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• G06N 7/00 - Agencements informatiques fondés sur des modèles mathématiques spécifiques
• G06N 3/08 - Méthodes d'apprentissage
• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes

Abrégé

An autonomous vehicle uses machine learning based models to predict hidden context attributes associated with traffic entities. The system uses the hidden context to predict behavior of people near a vehicle in a way that more closely resembles how human drivers would judge the behavior. The system determines an activation threshold value for a braking system of the autonomous vehicle based on the hidden context. The system modifies a world model based on the hidden context predicted by the machine learning based model. The autonomous vehicle is safely navigated, such that the vehicle stays at least a threshold distance away from traffic entities.

Classes IPC  ?

• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• B60W 30/095 - Prévision du trajet ou de la probabilité de collision
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 40/09 - Style ou comportement de conduite
• G06N 20/00 - Apprentissage automatique
• B60W 30/09 - Entreprenant une action automatiquement pour éviter la collision, p. ex. en freinant ou tournant
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes

Abrégé

An autonomous vehicle uses machine learning based models to predict hidden context attributes associated with traffic entities. The system uses the hidden context to predict behavior of people near a vehicle in a way that more closely resembles how human drivers would judge the behavior. The system determines an activation threshold value for a braking system of the autonomous vehicle based on the hidden context. The system modifies a world model based on the hidden context predicted by the machine learning based model. The autonomous vehicle is safely navigated, such that the vehicle stays at least a threshold distance away from traffic entities.

Classes IPC  ?

• G05D 1/02 - Commande de la position ou du cap par référence à un système à deux dimensions
• B60W 30/095 - Prévision du trajet ou de la probabilité de collision
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 40/09 - Style ou comportement de conduite
• G06N 20/00 - Apprentissage automatique
• B60W 30/09 - Entreprenant une action automatiquement pour éviter la collision, p. ex. en freinant ou tournant
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes

Abrégé

A system performs modeling and simulation of non-stationary traffic entities for testing and development of modules used in an autonomous vehicle system. The system uses a machine learning based model that predicts hidden context attributes for traffic entities that may be encountered by a vehicle in traffic. The system generates simulation data for testing and development of modules that help navigate autonomous vehicles. The generated simulation data may be image or video data including representations of traffic entities, for example, pedestrians, bicyclists, and other vehicles. The system may generate simulation data using generative adversarial neural networks.

Classes IPC  ?

• B60W 50/00 - Détails des systèmes d'aide à la conduite des véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 40/04 - Calcul ou estimation des paramètres de fonctionnement pour les systèmes d'aide à la conduite de véhicules routiers qui ne sont pas liés à la commande d'un sous-ensemble particulier liés aux conditions ambiantes liés aux conditions de trafic
• B60W 60/00 - Systèmes d’aide à la conduite spécialement adaptés aux véhicules routiers autonomes
• G06N 3/08 - Méthodes d'apprentissage
• G08G 1/01 - Détection du mouvement du trafic pour le comptage ou la commande
• G06V 20/56 - Contexte ou environnement de l’image à l’extérieur d’un véhicule à partir de capteurs embarqués

Abrégé

A computing device receives an image and a video segment of a road scene, the first at least one of an image and a video segment being taken from a perspective of a participant in the road scene and then generates stimulus data based on the image and the video segment. Stimulus data is transmitted to a user interface and response data is received, which includes at least one of an action and a likelihood of the action corresponding to another participant in the road scene. The computing device aggregates a subset of the plurality of response data to form statistical data and a model is created based on the statistical data. The model is applied to another image or video segment and a prediction of user behavior in the another image or video segment is generated.

Classes IPC  ?

• G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06N 3/08 - Méthodes d'apprentissage
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• G08G 1/16 - Systèmes anticollision
• G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques
• B60W 30/00 - Fonctions des systèmes d'aide à la conduite des véhicules routiers non liées à la commande d'un sous-ensemble particulier, p. ex. de systèmes comportant la commande conjuguée de plusieurs sous-ensembles du véhicule
• G06N 5/00 - Agencements informatiques utilisant des modèles fondés sur la connaissance
• G06N 20/10 - Apprentissage automatique utilisant des méthodes à noyaux, p. ex. séparateurs à vaste marge [SVM]

Abrégé

Systems and methods for predicting user interaction with vehicles. A computing device receives an image and a video segment of a road scene, the first at least one of an image and a video segment being taken from a perspective of a participant in the road scene and then generates stimulus data based on the image and the video segment. Stimulus data is transmitted to a user interface and response data is received, which includes at least one of an action and a likelihood of the action corresponding to another participant in the road scene. The computing device aggregates a subset of the plurality of response data to form statistical data and a model is created based on the statistical data. The model is applied to another image or video segment and a prediction of user behavior in the another image or video segment is generated.

Classes IPC  ?

• G06K 9/00 - Méthodes ou dispositions pour la lecture ou la reconnaissance de caractères imprimés ou écrits ou pour la reconnaissance de formes, p.ex. d'empreintes digitales
• G06K 9/62 - Méthodes ou dispositions pour la reconnaissance utilisant des moyens électroniques
• G06N 3/08 - Méthodes d'apprentissage
• G06N 3/04 - Architecture, p. ex. topologie d'interconnexion
• G08G 1/16 - Systèmes anticollision
• G08G 1/04 - Détection du mouvement du trafic pour le comptage ou la commande utilisant des détecteurs optiques ou ultrasonores
• G05D 1/00 - Commande de la position, du cap, de l'altitude ou de l'attitude des véhicules terrestres, aquatiques, aériens ou spatiaux, p. ex. utilisant des pilotes automatiques