Le fonctionnement des outils de recherche
Qu'est-ce que le clustering ?
Qu'est-ce que la sémantique ?
Qu'est-ce qu'un crawler, spider ?

Ce concept peut recouvrir plus d'une réalité. L'anglais cluster signifie "grappe". Autrement dit, le clustering consiste d'une façon générale à regrouper les documents d'un index par grappe, par ensemble logique. Pour faciliter la lecture des résultats, certains moteurs par exemple (Inktomi a été le premier à le faire en 1997), ne présente qu'une seule page par site même si plus d'une page répond aux critères de recherche, les autres pages sont acccessibles avec un lien du type  Other Pages, More pages about this site: ces outils de recherche clusterisent. Northern Light, Inktomi, Infoseek ou Altavista clusterisent.

La sémantique est l'étude du sens et de la forme du langage. Les moteurs sémantiques sont ceux qui cherchent à comprendre le sens des documents qu'ils indexent. Pour comprendre ce sens, il est nécessaire d'alimenter ces outils de recherche avec des thésaurus. Un thésaurus est une sorte de dictionnaire électronique où chaque mot est relié à d'autres mots par des liens logiques du type le mot 1 est inclus dans le mot 2, ou le mot 3 est synonyme du mot 4. Neuf liens logiques existent entre les mots.
La société Arisem est spécialisée dans les technologies de recherche sémantiques.

Chaque moteur de recherche en texte intégral possède son propre crawler. Ce dernier "crawle" ou littéralement "rampe" à la recherche de documents sur le web. C'est un robot qui parcoure l'ensemble du web 24h/24 à la recherchent des nouveaux documents et réalise des copies de ces documents dans une base de données.

Ensuite, un retournement d'index est effectué: d'une base de données structurée autour des documents, on passe à une base de données structurée autour des mots-clés. C'est ce qui permet à l'internaute de réaliser des recherches par mot-clé.