Gli spider (o crawler) dei motori di ricerca potrebbero evolversi in senso semantico se si verificasse una rivoluzione semantica sul web. Quello che Tim Berners-Lee ha sempre auspicato è la trasformazione del web in una struttura organizzata regolata da leggi semantiche. Il web semantico è, in ultima analisi, una delle tappe che sinora non si sono raggiunte per vari motivi. Il motivo principale è dovuto al fallimento dei formati di dati derivati da XML. Pochi sanno che se XHTML venisse servito come application/xhtml+xml potrebbe beneficiare di standard semantici come XLink e RDF, in quanto l'uso dei namespace appropriati sugli elementi della pagina attiverebbe automaticamente lo standard corrispondente.
Uno spider di oggi, invece, analizza una pagina in cerca di alcuni elementi significativi, come ad esempio title, le intestazioni, i paragrafi ed alcuni elementi meta (soprattutto description). Tutto ciò avviene fuori da un contesto semantico, ossia il sito viene indicizzato in base al suo contenuto e non all'appartenenza ad un contesto.
Uno spider semantico, invece, estrarrebbe i metadati del sito (come ad esempio RDF e le relazioni ipertestuali presenti in XLink) e porrebbe tale sito in un contesto preciso. Se visualizzassimo tali relazioni a livello grafico otterremmo un albero strutturato che permetterebbe ad esempio di comprendere le relazioni tra il sito ed i siti ad esso linkati (XLink).
Per esempio, in RDF si potrebbe esprimere la seguente relazione tra la mia pagina di presentazione personale e il mio sito (o la mia persona):
<rdf:RDF
xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
xmlns:dc="http://purl.org/dc/elements/1.1/">
<rdf:Description rdf:about="https://gabrieleromanato.com/about/">
<dc:title>About</dc:title>
<dc:publisher>Gabriele Romanato</dc:publisher>
</rdf:Description>
</rdf:RDF>
Ossia, "il titolo della risorsa è About ed è stato pubblicata dal sito Gabriele Romanato". Quindi lo spider comincerebbe a "parlare" in un linguaggio più simile a quello umano ed una volta estratti i suoi dati otterremmo una mappa relazionale costituita da nodi correlati tra loro.