De esta forma Caffeine permite el indexado de la Web en una escala mucho más amplia. Cada segundo Caffeine procesa, analiza e indexa en paralelo cientos de miles de páginas Web. De esta forma, además se consigue almacenar en forma eficiente 100 millones de Gigabytes (!?) en una base de datos y agregar luego ciento de miles de gigas al día.
Google comenta que harían falta cerca de 625.000 iPods para almacenar esta info.
Como trabaja Google
La vida útil de una consulta de Google es por lo general menos de medio segundo, pero implica muy pocos pasos que se deben completar antes de ver los resultados más relevantesSólo mencionar que, cuando se lleva a cabo una consulta en Google; el buscador debe enfrentarse al constante crecimiento de información que tiene que ver con videos, imágenes, actualizaciones de blogs, sitios web y de noticias y hasta actualizaciones en tiempo real; y aún así encontrar y mostrar el contenido más relevante para satisfacer al usuario.
Vía | The Official Google Blog