Creada el 27 de enero de 1994 por Brian Pinkerton, entonces un estudiante en la Universidad de Washington en los Estados Unidos, el WebCrawler se convirtió en el primer motor de búsqueda para permitir una búsqueda de cualquier palabra o frase en todo el contenido de un documento de la World Wide Web (WWW).
Hasta entonces, la búsqueda a los contenidos de los documentos en la web eran restringidos a un número limitado de palabras clave que se asignaron a cada documento para identificar el tema abordado.
Con el WebCrawler, llegó a ser posible almacenar el texto completo de los contenidos, por lo que cualquier documento que contuviera las palabras buscadas por el usuario podría ser recuperado.
El WebCrawler entró en operación 20 de abril de 1994, entonces con una base de datos de unos 4000 sitios web diferente, hecho que fue, cerca de un mes y medio más tarde, comunicado por Pinkerton en el newsgroupo comp.infosystems.announce, un grupo de Usenet entonces especialmente dedicada al anuncio del lanzamiento de nuevos sitios.
En octubre de 1994 WebCrawler tenía más de 15.000 consultas diarias, y el 14 de noviembre del mismo año respondió su millonésima búsqueda, entonces conforme al tema de investigación y diseño de las armas nucleares.
El 01 de diciembre de 1994, la compañía Brian Pinkerton fue capaz de obtener la necesaria financiación de las empresas Starwave y DealerNet para mantener el WebCrawler en funcionamiento, hasta que el día 1 de junio de 1995. A partir de entonces, fue absorbido por la gigante America Online (AOL), que en la época contaba con menos de un millón de usuarios.
El 4 de septiembre del mismo año se presentó el Spidey, la primera versión de mascota presente en el logo de WebCrawler.
Pero poco tiempo después, el 01 de abril de 1997, AOL vendió sus derechos sobre la WebCrawler a la empresa Excite, ya responsable de su propio motor de búsqueda.
Finalmente, en 2001, el WebCrawler fue adquirido por InfoSPace, funcionando desde entonces como un metabuscador, orientado a servir a varios otros motores de búsqueda para navegar con vista a buscar, en los resultados así obtenidos, las incidencias relativas a la pesquisa sometida por el usuario.
