Une étude a été mise en place par des chercheurs allemands afin de comprendre le fonctionnement d'indexation et du crawl de sites internet des trois moteurs de recherche les plus connus (Yahoo, Google et MSN). Cette étude a été réalisée avec un corpus de 2,147,483,647 pages web reliées entre elles selon une arborescence binaire (chaque parent a deux enfants), dans le cadre de cette étude ces pages web n'ont pas modifiés pendant 1 an (soit en avril 2005). L'étude est vraiment intéressante je vous laisse découvrir la suite à cette adresse : http://drunkmenworkhere.org