Programmation Python
Je travail sur une araignée web (web spider) qui cherche automatiquement des images en ligne. Le logiciel est écrit en Python un langage impressionnant et facile d’accès.
Fonctionnement de l'algorithme
Pour expliquer le fonctionnement on doit donner des mots clés au programme pour guider son extraction. Le logiciel cherche les mots dans le contenu des pages, dans le nom des fichiers et dans le contenu de l'adresse. Chaque mots clé incrémente le pointage de l’élément de la page par rapport a ma requêtes. Si le pointage dépasse un seuil critique l’élément est télécharger.
Pour résumé le pointage indique la probabilité que des images intéressante sont contenu sur la page. Si la probabilité est bonne on télécharge l’élément.
Quelques photos
Voici quelques images que le logiciel a trouvé.
Le logiciel est capable d'extraire le contenu des pages.
Comments