Wolfram Alpha a appris à décrire le contenu des images et des photos

Les développeurs du site Web Wolfram Alpha ont ajouté une autre fonctionnalité étonnante aux fonctionnalités uniques du système - la reconnaissance de toutes les photos. Tout le monde peut essayer ImageIdentify au travail. Téléchargez simplement l'image sur le site de démonstration et après quelques secondes, vous recevrez une réponse. Selon les développeurs eux-mêmes - presque toujours le bon.

Stephen Wolfram, fondateur et idéologue en chef de l'entreprise, décrit en détail le fonctionnement du système dans les entrées de son blog . Stephen a dit qu'il attendait depuis 40 ans le moment où les ordinateurs apprendraient à reconnaître les images et était sûr que ce moment viendrait. La tâche de reconnaissance est l'une des plus élémentaires pour une personne et l'une des plus difficiles pour les systèmes informatiques et les algorithmes.

Stephen écrit que bien que l'algorithme ne reconnaisse pas toujours correctement les images, même ses erreurs ressemblent fortement aux erreurs humaines.

La reconnaissance d'image fonctionne désormais non seulement sur le site de démonstration, mais aussi dans Wolfram Language lui-même. Vous pouvez définir une image, obtenir sa description, puis utiliser la description elle-même - obtenir, par exemple, la définition d'un objet à partir d'un article de dictionnaire, ou créer un nuage de mots à partir d'un article sur Wikipédia.





Vous pouvez écrire un programme qui analyse automatiquement les photographies et compile des statistiques, effectue tout autre calcul lié au contenu des images ou les répartit en catégories. La fonction de reconnaissance est également disponible via l'API.

Pour former le système, les développeurs ont utilisé des dizaines de millions d'images. Du point de vue de Stephen, cela est comparable à la quantité d'informations qu'une personne reçoit au cours des deux premières années de sa vie. Stephen raconte également en détail sur le blog comment ils ont développé un système d'apprentissage automatique sur les réseaux de neurones, et quels problèmes sont survenus. Par exemple, lorsque le système n'a pas encore appris à reconnaître les visages, il, après avoir traité le portrait d'Indiana Jones, a produit le résultat «Chapeau».



Pour tester le système, Wolfram a essayé de nourrir ses différentes images contradictoires et a parfois obtenu des résultats étranges, parfois drôles ou même mignons.



Certaines erreurs de reconnaissance se sont avérées non seulement entièrement explicables, mais même très «humanisées». L'expérience de la reconnaissance de la peinture abstraite était également intéressante - ces peintures fonctionnaient comme une sorte de «tests de Rorschach».



ImageIdentify est actuellement capable de reconnaître jusqu'à 10 000 objets différents. Bien qu'elle ne supporte pas bien la reconnaissance de personnes spécifiques, des œuvres d'art et des objets rares.

C'est assez amusant de jouer avec le système, ne pas utiliser les options les plus faciles pour les images et obtenir des réponses assez particulières.



Le projet Wolfram Alpha a été lancé en 2009. Le système est en mesure de répondre aux questions posées dans une langue régulière et, à l'aide de données provenant de sources ouvertes, de compter les réponses. Par exemple, à une question posée depuis un smartphone, "Quel type d'avion ai-je au-dessus de ma tête maintenant?" le système répondra en déterminant l'emplacement à l'aide du GPS et indiquera la liste des avions en fonction des données sur les vols des transporteurs aériens.