Los spiders, bots, arañas... no ven tu sitio como cualquiera lo ve en el navegador.
No ven animaciones Flash (aunque las indexan), no ven JavaScript (ni siguen los enlaces), ni applets en Java, ni widgets tampoco.
Seebot.org te muestra, basado en Lynx, como ven el sitio los spiders.