dr | home | Structure | Moteur | Annuaires | Classification | Robots | Evaluation

Les Robots

Les robots arraignés crawleurs sont des logiciels d'aspiration du web, ils sont responsable d'une grande partie de l'utilisation de la bande passante de l'internet. C'est pourquoi un protocol de proection contre les robots à été défini en haut d'un site (à la racine) il faut placer un fichier robot.txt qui va indiquer aux robots qu'elles sont les zones authorisés . Pour réaliser un robot il faut réssoudre un certains nombre de problèmes:
  1. Quels sites choisir.
  2. Comment éviter d'indexer des mirroirs
  3. Peut-on eviter de parcourir toutes les pages
    1. Les liens de pages sur un sujet peuvent êtres donnés sans avoir été parcourus
    2. Des pages inutile existe
    3. identifier des sites "sans valeur"
  4. Comment utiliser résonnablement le réseaux.
    1. La bande passante de l'accès internet du robot.
    2. Les différents noeuds du réseau
    3. Le routage
    4. Comment se comporter avec des sites fragiles (dénial of service)
  5. Comment stocker les documents.
    1. Taille du stockage
    2. Cache
    3. Comment stocker les URL.
    4. Comment stocker les Documents.
    5. Comment lier les URL et les documents.
  6. Comment réaliser la mise à jours des documents.
  7. Comment réaliser la mise à jours d'un site.
  8. Quels sont les protocoles autorisé/ à utiliser.
  9. Comment faire pour ne pas surcharger les sites.
  10. Quels sont les types de documents qu'il faut parcourrir
    1. News -> dejanews
    2. Forums
    3. site dynamiques
    4. Base de données (deep web)
Dominique Revuz email Compteur
Dernière publication :01/12/2003 09:41:24