Estrategias y mecanismos de bsqueda en la web invisible

Estrategias y mecanismos de bsqueda en la web invisible

Pilar Mara Moreno Jimnez Mayo, 2003. ltima actualizacin: mayo, 2005. Resumen
Se denomina web invisible o profunda a la informacin que no puede recuperarse con los mecanismos de bsqueda comunes. Estos mecanismos tratan de abarcar toda la web, pero se calcula que los mayores motores de bsqueda alcanzan a indizar slo entre un tercio y la mitad de los documentos disponibles. La web invisible no slo es de mayor tamao que la web visible o superficial sino que crece a mayor velocidad. Asimismo, mucha informacin disponible en la web profunda, como la que se encuentra en bases de datos, tiene un alto valor potencial para el usuario. La multiplicidad de mecanismos de rastreo, indizacin, recuperacin y organizacin de documentos en la web puede causar confusin al usuario comn. Adems, el nmero de motores de bsqueda, as como los hbridos resultado de la combinacin de diferentes mecanismos, ha aumentado. Esto hace necesario clasificar y diferenciar los tipos de herramientas disponibles. En este documento recomiendo algunas estrategias tiles para la bsqueda en la web y presento una compilacin de recursos de bsqueda en la web invisible o profunda.

Tabla de contenido Introduccin 1. Mecanismos de bsqueda en la web Buscadores q Metabuscadores q Directorios q Guas q Tutoriales q Software especializado 2. Estrategias de bsqueda en la web
q q q q q q

Estrategias generales Seleccin de herramientas Objetivo de la bsqueda Forma de bsqueda Especializacin de la bsqueda

[Link] (1 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Precisin de la bsqueda q Mucha informacin recuperada q Seleccin de recursos q Poca informacin recuperada 3. Caracterizacin de la web invisible o profunda
q

La web opaca q La web privada q La web propietaria q La web realmente invisible 4. Herramientas de bsqueda en la web profunda
q

Buscadores q Metabuscadores q Directorios q Guas q Tutoriales q Motores avanzados 5. Estrategias de bsqueda en la web profunda
q

Informacin especializada q Bsquedas avanzadas q Evaluacin de la informacin q Informacin en bases de datos 6. Compilacin de recursos de bsqueda en la web profunda
q

Recursos de bsqueda ordenados alfabticamente q Recursos de bsqueda ordenados por tipo de recurso 7. Qu tan invisible es hoy la web invisible?
q

La web opaca q La web privada q La web propietaria q La web realmente invisible 8. Bibliografa
q

Introduccin El trmino web invisible fue utilizado por primera vez por la Dra. Jill Ellsworth para denominar la informacin que resultaba invisible para las maquinarias de bsqueda
[Link] (2 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

convencionales en la web (Ellsworth, 1995). Tambin se la denomina web profunda (deep web), por oposicin a la web superficial (surface web) cuya informacin puede recuperarse con los buscadores de Internet (Bergman, 2000). Un buscador es un sitio web cuyo propsito principal consiste en que el pblico pueda encontrar informacin. Estos mecanismos y el software que los apoya tratan de indizar toda la web, por lo que generan y mantienen enormes bases de datos recuperables. A pesar de su pretendida exhaustividad, se calcula que los mayores motores de bsqueda indizan slo entre un tercio y la mitad de los documentos disponibles al pblico en la Red (Turner, 2003). Un estudio muy citado de Bright Planet ha estimado que la informacin contenida en la web invisible es aproximadamente 550 veces mayor que la de la web superficial y crece a mucha mayor velocidad (Bergman, 2000). Un estudio posterior de Cyveillance calcula que el tamao de la web profunda es 275 veces mayor que el de la web visible (Murray, 2000, citado en Ouf, 2001). Estimaciones posteriores, en cambio, sealan que el tamao de la web invisible es slo entre 2 y 50 veces mayor que el de la web visible (Sherman y Price, 2001b). Las diferencias en las cifras se deben a las diferentes metodologas utilizadas por los autores. En cualquier caso, el valor de la informacin contenida en la llamada web profunda justifica su estudio y el de sus formas de acceso. 1. Mecanismos de bsqueda en la web La multiplicidad de trminos con que se alude a los mecanismos de rastreo, indizacin, recuperacin y organizacin de documentos en la web puede causar confusin al usuario comn. Lo cierto es que cada herramienta de bsqueda funciona y tiene un propsito y alcance diferentes, pero cada vez ms las diferentes herramientas se combinan dando lugar a hbridos, que pueden dificultar la comprensin del funcionamiento interno de estos mecanismos. Una dificultad adicional es el nmero creciente de mecanismos disponibles, lo que hace an ms necesario clasificarlos y diferenciarlos. Buscadores A los softwares que usan los llamados buscadores, motores o maquinarias de bsqueda (search engines) para localizar pginas agregables a sus bases de datos tambin se les denomina indistintamente araas (spiders), rastreadores (crawlers) o robots (en el contexto web). Estos rastrean e indizan de forma automtica pginas web, as como todos los documentos referenciados en ellas. Los buscadores tambin aaden a sus bases de datos las pginas de cuya existencia son informados directamente por sus autores, as como los documentos referenciados en las mismas. Los buscadores presentan interfaces para el pblico, que consisten en cuadros donde realizar bsquedas de forma sencilla. Altavista, Ask Jeeves y Google, entre otros, son buscadores. Los buscadores arrojan resultados sobre las bsquedas realizadas en sus propios ndices y no sobre la web directamente. Esto ltimo sera imposible debido al volumen de informacin y al tiempo requerido para realizar la bsqueda. El rastreo de pginas web que efectan los robots se realiza con periodicidad variable y, por economa, tiende a no ser muy frecuente. Por ello, siempre existe una diferencia entre lo que pueden recuperar los buscadores y lo que realmente se encuentra en la web. Aparte del volumen y frecuencia de indizacin de documentos, la diferencia ms notoria entre los buscadores es su frmula para calcular la relevancia de la informacin recuperada y
[Link] (3 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

ordenar as su presentacin. Algunos buscadores se basan en un anlisis estadstico de frecuencia de palabras en el texto, otros en el anlisis de la frecuencia con que las pginas estn ligadas a otras. En algunos casos, los buscadores muestran los resultados indicando el grado de relevancia de cada documento, mediante signos como estrellas, o bien con porcentajes. Un estudio del 2000 (Notess, citado por Sherman y Price, 2001b) demostr que existe poco solapamiento entre buscadores, lo cual tal vez justifica su proliferacin, ya que cada uno va cubriendo diferentes reas del espacio web, sin que por ahora sea posible tcnicamente que ninguno sea exhaustivo. Metabuscadores Los metabuscadores (metasearch engines) son servidores web que realizan bsquedas en muchos buscadores y/o directorios y presentan un resumen de los resultados, eliminando duplicaciones. Los metabuscadores no se sirven de robots, sino que van a buscar directamente a los ndices de cada buscador. Dogpile, Mamma, Metacrawler o InfoSpace son ejemplos de metabuscadores. Los metabuscadores, al igual que los buscadores, suelen presentar los resultados ordenados por relevancia y muchas veces indican de qu buscadores especficos se ha recuperado cada documento. Una limitacin de los metabuscadores es que no suelen presentar opciones de bsqueda avanzada, con lo cual se sacrifica la precisin en los resultados de las bsquedas. Existen sitios web concentradores de buscadores y/o directorios, donde es posible realizar bsquedas sucesivas en varios de ellos, seleccionndolos de listas preestablecidas. A veces, en estos directorios los buscadores y/o directorios se encuentran clasificados por especialidad o cobertura geogrfica. En otros casos, como en Metasearch por ejemplo, existe un mecanismo que "traduce" la frmula de bsqueda y permite realizar bsquedas sucesivas en varios buscadores y/o directorios. Directorios Los directorios (directories) son organizados manualmente a partir del registro de pginas por parte de sus autores e implican una seleccin editorial y un proceso de categorizacin jerarquizada. LookSmart y Yahoo! son algunos de los directorios ms conocidos. Muchos directorios se especializan en un conjunto especfico de recursos, los cuales generalmente son cuidadosamente seleccionados y descritos por los editores. Los editores de un directorio pueden ser empleados por la empresa que lo realiza y entonces hablamos de un modelo cerrado (closed model directories), que implica un mayor costo, pero tambin un mayor grado de calidad. Si los editores del directorio son voluntarios, entonces se habla de un modelo abierto (open model directories), lo que significa un costo y calidad inferiores. Los criterios de seleccin de recursos pueden ser explcitos o no, y variar segn los editores, especialmente en los modelos abiertos. Las categoras en las que se organiza el directorio pueden tener un nmero variable de recursos asociados, con lo cual algunas veces unas categoras resultan saturadas y otras muy poco representadas. En ocasiones, razones como la falta de tiempo, conocimientos o habilidades de los editores, limitan la cobertura de los directorios. Por otro lado, la poltica de solicitar un cargo por incluir pginas, que han adoptado algunos directorios, puede desalentar la inclusin
[Link] (4 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

de recursos potencialmente valiosos. En cuanto a la actualizacin, como el mantenimiento del directorio debe ser manual, la verificacin de ligas puede realizarse tan frecuentemente como se quiera, aunque esto no siempre sucede. Muchos buscadores web incluyen un sistema de navegacin en forma de directorio para orientar la bsqueda de recursos en sus bases de datos. Por otro lado, debido a que la mayora de los directorios tienen un tamao relativamente reducido, algunos directorios complementan sus resultados con los de una bsqueda en algn buscador. Algunos sitios incluyen dos opciones de bsqueda, en directorios compilados manualmente, o bien en buscadores que se sirven de robots. Frecuentemente los directorios tambin son denominados maquinarias de bsqueda (search engines). Pero es importante distinguir entre los mecanismos que son buscadores y los que son directorios, ya que, como hemos visto, se conforman y funcionan de manera diferente. As, las formas de bsqueda ms eficientes varan en unos y otros. Mientras que la bsqueda por palabras es ms adecuada en los buscadores, la navegacin es ms recomendable en los directorios. Derivado de ello, las bsquedas en las categoras de un directorio elaborado para un buscador, o las bsquedas por palabras en un directorio, presentarn ciertas limitaciones. Por ejemplo, si se busca por palabras en un directorio, stas se extraern del ndice de ligas (links) y anotaciones a esas ligas, que bsicamente componen el directorio y que excluyen el texto completo de las pginas referenciadas, a diferencia de los buscadores. Guas Diversos especialistas y entidades acadmicas se dan a la tarea de elaborar y mantener pginas concentradoras de recursos web seleccionados por reas de especialidad, a modo de directorios anotados o guas temticas (subject guides), que pueden contener recursos que no son recuperables con un buscador comn. Estos directorios anotados o guas temticas suelen tener un alto grado de calidad, ya que comprometen el prestigio de los autores e instituciones involucradas. La seleccin de recursos suele ser muy cuidadosa y su actualizacin frecuente. En ocasiones diversas instituciones se asocian formando circuitos (web rings) para la elaboracin cooperativa de estas guas, dividindose cada una de las partes. Un buen ejemplo de ello es The WWW Virtual Library. Los directorios anotados o guas pueden incluir, adems, algn mecanismo de bsqueda en sus pginas o en la web en general. Tutoriales Comnmente no basta con conocer la variedad de herramientas de bsqueda disponibles en la web, sino que se requiere una orientacin sobre su funcionamiento, sobre qu estrategias seguir para trazar una adecuada ruta de bsqueda y sobre cmo elegir los mejores instrumentos para cada necesidad. How to Choose a Search Engine or Directory de la Universidad de Albany en Estados Unidos y las guas de SearchAbility y de la Universidad de Leiden en Holanda A Collection of Special Search Engines, orientan al usuario en el amplio mundo tanto de los recursos especializados en la web como de las maquinarias que permiten su localizacin. Software especializado

[Link] (5 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Los agentes auxiliares para las bsquedas en la web son un tipo de programas que operan junto con los navegadores web y aaden funcionalidades a stos, como el manejo de conceptos, en lugar de palabras, para recuperar informacin. Flyswat, Kenjin y Zapper son algunos de estos programas. Otros agentes residen en el cliente web y permiten, por ejemplo, realizar bsquedas simultneas en varios buscadores, eliminar las ligas muertas (dead links), refinar los resultados de las bsquedas o acceder a algunos sitios de la web invisible. Copernic, por ejemplo, es uno de estos agentes. 2. Estrategias de bsqueda en la web Muchas veces, resulta tan frustrante no encontrar informacin en la web, como confuso disponer de demasiadas opciones de bsqueda y no saber cmo emprenderla. A continuacin presento algunas estrategias generales que deben tenerse en cuenta para utilizar las diferentes herramientas de bsqueda en la web de forma ms rpida y eficiente. Los rubros bajo los cuales aparecen son orientativos. Estrategias generales Usar varios recursos de bsqueda, y no ceirse a uno exclusivamente para todos los tipos de bsqueda. Elaborar y mantener una lista propia de buscadores, metabuscadores, directorios, guas y recursos ms tiles. Guardar la seleccin en un archivo de Favoritos (bookmarks) en nuestra computadora y/o en un servicio de acceso remoto a favoritos que permita consultar el archivo desde cualquier computadora con acceso a la web, como Backflip. Consultar a los bibliotecarios para recibir orientacin sobre estrategias de bsqueda y localizacin de recursos de informacin en la web, y para obtener documentos. Seleccin de herramientas Usar los tutoriales para aprender a seleccionar y utilizar las diferentes herramientas de bsqueda. Objetivo de la bsqueda Usar buscadores o metabuscadores para localizar informacin de la que poseemos datos especficos. Usar directorios o guas para explorar reas de inters temtico. Forma de bsqueda Usar buscadores o metabuscadores para realizar bsquedas por palabras. Usar directorios o guas para revisar por categoras. Especializacin de la bsqueda Usar metabuscadores para realizar bsquedas generales en muchos buscadores a la vez. Usar los concentradores o directorios de buscadores para buscar en varios buscadores especializados. Precisin de la bsqueda Seleccionar e instalar en nuestra computadora la versin gratuita de algn motor avanzado o agente auxiliar para las bsquedas en la web. Solicitar la adquisicin para uso institucional de la versin completa de algn motor avanzado o agente auxiliar para las bsquedas en la web. Mucha informacin recuperada
[Link] (6 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Usar buscadores con opciones avanzadas de bsqueda. Usar directorios anotados o guas. Seleccin de recursos Usar las guas temticas para conocer los principales recursos de informacin que cubren nuestros intereses. Usar directorios especializados para bsquedas exhaustivas de recursos. Poca informacin recuperada Usar mecanismos de bsqueda en la web invisible cuando se hayan agotado los mecanismos de bsqueda en la web superficial. Consultar a especialistas que conozcan recursos especializados. Buscar en recursos adicionales si no se encuentra el material en la web. 3. Caracterizacin de la web invisible o profunda Sherman y Price (2001a) identifican cuatro tipos de contenidos invisibles en la web: la web opaca (the opaque web), la web privada (the private web), la web propietaria (the proprietary web) y la web realmente invisible (the truly invisible web). La web opaca Se compone de archivos que podran estar incluidos en los ndices de los motores de bsqueda, pero no lo estn por alguna de estas razones: Extensin de la indizacin: por economa, no todas las pginas de un sitio son indizadas en los buscadores. Frecuencia de la indizacin: los motores de bsqueda no tienen la capacidad de indizar todas las pginas existentes; diariamente se aaden, modifican o desaparecen muchas y la indizacin no se realiza al mismo ritmo. Nmero mximo de resultados visibles: aunque los motores de bsqueda arrojan a veces un gran nmero de resultados de bsqueda, generalmente limitan el nmero de documentos que se muestran (entre 200 y 1000 documentos). URLs desconectados: las generaciones ms recientes de buscadores, como Google, presentan los documentos por relevancia basada en el nmero de veces que aparecen referenciados o ligados en otros. Si un documento no tiene una liga en otro documento ser imposible que la pgina sea descubierta, pues no habr sido indizada. La web privada Consiste en las pginas web que podran estar indizadas en los motores de bsqueda pero son excluidas deliberadamente por alguna de estas causas: Las pginas estn protegidas por contraseas (passwords). Contienen un archivo [Link] para evitar ser indizadas. Contienen un campo noindex para evitar que el buscador indice la parte correspondiente al cuerpo de la pgina. La web propietaria Incluye aquellas pginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o pagada. Se dice que al menos 95% de la web profunda contiene informacin de acceso pblico y gratuito (Turner, 2003) La web realmente invisible
[Link] (7 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Se compone de pginas que no pueden ser indizadas por limitaciones tcnicas de los buscadores, como las siguientes: Pginas web que incluyen formatos como PDF, PostScript, Flash, Shockwave, programas ejecutables y archivos comprimidos. Pginas generadas dinmicamente, es decir, que se generan a partir de datos que introduce el usuario. Informacin almacenada en bases de datos relacionales, que no puede ser extrada a menos que se realice una peticin especfica. Otra dificultad consiste en la variable estructura y diseo de las bases de datos, as como en los diferentes procedimientos de bsqueda. 4. Herramientas de bsqueda en la web profunda Buscadores En general, los buscadores han mejorado su desempeo en los ltimos aos, permitiendo un mayor nivel de precisin en las bsquedas y ofreciendo los resultados en formas cada vez ms convenientes para el usuario. Pero por ahora, los buscadores comunes slo pueden recuperar directamente la informacin que se encuentra disponible en la web y no aquella que se ofrece a travs de la web. Desde que se empez a hablar de la web invisible los buscadores comunes han aadido funcionalidades adicionales para la bsqueda en la llamada web profunda y han surgido buscadores especializados en ese segmento de la web. Estos ltimos permiten la bsqueda directa de artculos y documentos en texto completo y recuperan archivos PDF o PostScript. Metabuscadores Como hemos visto, los metabuscadores pueden presentar limitaciones respecto a las posibilidades de bsqueda de cada buscador por separado. Por ejemplo, cuando la bsqueda es sobre materiales o formatos especiales, resulta ms prctico sacar provecho de las opciones avanzadas de bsqueda de los buscadores y, si es necesario, realizar bsquedas sucesivas en varios de ellos. En este sentido, son ms recomendables los directorios concentradores de buscadores. Directorios La mayora de los mecanismos que se usan para localizar recursos en la web profunda consisten en directorios de recursos especializados, principalmente bases de datos disponibles de forma gratuita en la red. El patrocinio de las instituciones acadmicas en la elaboracin de los directorios, particularmente de los que son anotados, garantiza la cobertura y calidad de los recursos compilados. Guas Las guas de recursos especializados generalmente estn elaboradas por bibliotecarios y son una excelente herramienta de bsqueda y localizacin de recursos, adems de constituir un buen instrumento de aprendizaje en el uso de la informacin. Tutoriales Las pginas ya mencionadas How to Choose a Search Engine or Directory de la Universidad de Albany en Estados Unidos y las guas de SearchAbility y de la Universidad de Leiden en Holanda A Collection of Special Search Engines incluyen los recursos de informacin y

[Link] (8 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

bsqueda en la web profunda. Motores avanzados Finalmente, los recientes motores de pregunta dirigida (directed query engines) tienen la capacidad de realizar bsquedas simultneas en varias bases de datos en la web. Lexibot y su sucesor, Deep Query Manager, as como Distributed Explorer (Warnick y otros, 2001) y FeedPoint, son ejemplos de estos motores avanzados de bsqueda. 5. Estrategias de bsqueda en la web profunda Adems de las estrategias ya sealadas para la bsqueda en la web, podemos aadir otras especficas para la bsqueda en la web profunda o invisible, agrupadas en rubros orientativos. Informacin especializada Usar las herramientas de bsqueda en la web profunda si buscamos informacin acadmica de calidad. Usar buscadores regionales especializados para localizar informacin originada fuera de los Estados Unidos o en idiomas diferentes al ingls. Usar metabuscadores para realizar bsquedas en varios buscadores especializados a la vez. Bsquedas avanzadas Usar las opciones avanzadas de los buscadores para localizar imgenes o archivos PDF o PostScript. Usar directorios concentradores de buscadores para realizar bsquedas avanzadas sucesivas en varios de ellos. Evaluacin de la informacin Usar directorios anotados para evaluar si los recursos disponibles en la web profunda son tiles para la bsqueda que estamos realizando. Usar directorios de bases de datos para conocer cules de ellas pueden ofrecernos informacin til para nuestras bsquedas. Informacin en bases de datos Usar guas, directorios o motores avanzados si la informacin que buscamos puede estar en una base de datos. 6. Compilacin de recursos de bsqueda en la web profunda A continuacin presentar una compilacin de recursos de bsqueda en la web profunda, que considero que pueden ser de utilidad para los usuarios acadmicos universitarios. Dada la importancia de distinguir entre tipos de recursos para seleccionar el tipo de bsqueda a realizar, los presento clasificados segn su funcionalidad, como buscadores, metabuscadores, directorios, guas y motores avanzados, primero ordenados alfabticamente y luego por tipo.

Recursos de bsqueda en la web profunda

ordenados alfabticamente

[Link] (9 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Recurso
About [Link] AcademicInfo [Link] AlphaSearch [Link] Beaucoup [Link] The Big Hub [Link] iBoogie [Link]

Tipo
Gua Directorio Directorio de buscadores Directorio de buscadores Directorio

Metabuscador

Directorio de buscadores Collection of Search Engines [Link] CompletePlanet [Link] Directorio

Deep Query Manager (sustituye a Lexibot) Motor avanzado [Link] Direct Search [Link] Fazzle [Link] FeedPoint [Link] Fossick [Link] HotSheet [Link] IncyWincy [Link] Infomine [Link] InternetInvisible [Link] Directorio Metabuscador Motor avanzado Metabuscador Directorio Directorio Directorio Directorio

[Link] (10 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

Internets [Link] [Link] [Link] Invisible Web Directory [Link] Ixquick [Link] Librarians Index [Link] LibrarySpot [Link] Master Link List On the Internet [Link] [Link] ProFusion [Link] [Link] [Link] ResearchIndex (CiteSeer) [Link] Resource Discovery Network [Link] Scirus [Link] [Link] [Link] Search4science [Link] Strategic Finder [Link] [Link] [Link] [Link] [Link]

Directorio Directorio Directorio Metabuscador Directorio Gua Directorio

Metabuscador Directorio Buscador Directorio anotado Buscador Metabuscador Motor avanzado Motor avanzado Directorio de bases de datos Directorio

[Link] (11 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

WebSearch [Link] Where to Do Research [Link]

Buscador Directorio

Recursos de bsqueda en la web profunda

Tipo de recurso Buscadores por tipo de recurso Nombre y direccin del recurso ResearchIndex (CiteSeer) [Link] Scirus [Link] WebSearch [Link] Metabuscadores iBoogie [Link] Fazzle [Link] Fossick [Link] Ixquick [Link] ProFusion [Link]

[Link] (12 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

[Link] [Link] Directorios de buscadores AlphaSearch [Link] Beaucoup [Link] Collection of Search Engines [Link] Directorios The Big Hub [Link] CompletePlanet [Link] Direct Search [Link] HotSheet [Link] IncyWincy [Link] Infomine [Link] InternetInvisible [Link] Internets [Link]

[Link] (13 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

[Link] [Link] Invisible Web Directory [Link] Librarians Index [Link] Master Link List On the Internet [Link] [Link] [Link] [Link] [Link] Where to Do Research [Link] Directorios anotados AcademicInfo [Link] Resource Discovery Network [Link] Directorios de bases de datos [Link] [Link] Guas About [Link] LibrarySpot [Link] Motores avanzados Deep Query Manager (sustituye a Lexibot) [Link]

[Link] (14 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

FeedPoint [Link] Search4science [Link] Strategic Finder [Link]

7. Qu tan invisible es hoy la web invisible? La web opaca No cabe duda de que los actuales buscadores y directorios de la web estn mejorando su funcionamiento. Ms all de los detalles tcnicos que el pblico no alcanza a ver, la eficiencia de estas maquinarias ha aumentado y esto se aprecia en los resultados de las bsquedas. A medida que estas herramientas se vayan haciendo ms poderosas disminuir la necesidad de la elaboracin manual de guas o concentradores de recursos y quizs ms la de orientacin en las estrategias de bsqueda y en el uso y aprovechamiento de los recursos localizados. Un observador cuidadoso puede apreciar que persiste la prctica de los robots de no indizar todas las pginas de un sitio, fijndose en los resultados de las bsquedas que arrojan las diferentes herramientas. Por ejemplo, se puede tener la referencia de una base de datos, disponible a travs de un sitio web, en una de las pginas del sitio que contiene una liga a ella, y no aparecer, en cambio, la referencia a la pgina de acceso directo a la base de datos en ese sitio. La frecuencia de la indizacin puede haber aumentado en algunos buscadores, o incluso hacerse de forma diferenciada para algunos recursos. Aquellas pginas que, por su naturaleza, varan ms (por ejemplo, la informacin burstil) seran visitadas ms frecuentemente por los robots que aquellas que tienden a ser ms estables en su contenido. El nmero mximo de resultados visibles no es un problema cuando los buscadores presentan los resultados ordenados por relevancia, pues siempre aparecern primero aquellos que se ajustan ms a la bsqueda realizada. En la medida en que se pueda realizar una bsqueda avanzada y los criterios de relevancia combinen el nmero de ligas con la frecuencia de palabras, la presentacin de los resultados no constituir un obstculo para encontrar la informacin. El usuario siempre debe tener en cuenta que los buscadores son ms apropiados cuando la bsqueda es especfica, es decir, se conocen datos sobre lo que se busca; mientras que es ms adecuado realizar bsquedas temticas en los directorios. Los URLs desconectados podran evitarse si existiera la obligacin de registrar, aunque fuera de forma muy sencilla, toda pgina que se colgara en la web. Pero dada la gran descentralizacin de Internet, esto no parece vislumbrarse en un futuro inmediato. La web privada Este segmento de la web no representa una gran prdida en trminos de valor de la
[Link] (15 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

informacin que contiene, ya que se trata, en general, de documentos excluidos deliberadamente por su falta de utilidad. En cualquier caso, son los dueos de la informacin los que deciden no hacerla disponible, por lo que difcilmente se podrn encontrar mecanismos legtimos para franquear esa barrera. Adems, los archivos [Link] sirven para evitar que los robots caigan en agujeros negros, que les hagan entrar en procesos circulares interminables, mermando as la eficiencia en su funcionamiento (Koster, 1997). La web propietaria En un artculo reciente de la OCLC Office for Research (ONeill, 2003) se examinan las tendencias en cuanto a tamao, crecimiento e internacionalizacin de la web pblica, es decir, la porcin de informacin ms visible y accesible para el usuario promedio. Las principales conclusiones del estudio son: El crecimiento de la web pblica muestra un estancamiento en los ltimos aos. Ello se debe a que se crean menos sitios web y otros desaparecen, aunque esto no quiere decir que no aumente en volumen de informacin, es decir, en nmero de pginas o nmero de terabytes. Otra posibilidad, que no se seala en este estudio, pero que puede aventurarse, es que algunos sitios web estn transformndose en sitios accesibles solamente mediante pago. La web pblica est dominada por contenidos originados en los Estados Unidos, as como escritos en ingls. Esto nos lleva a pensar que es probable que haya ms recursos invisibles en pginas originadas en pases distintos a los Estados Unidos y en idioma diferente al ingls. La web realmente invisible Algunos buscadores tradicionales como Altavista o Google han evolucionado y presentan ahora la posibilidad de realizar bsquedas por materiales o formatos especiales. As, Altavista permite la bsqueda de imgenes, audio y video, presentando opciones de bsqueda avanzada. Google permite realizar bsquedas avanzadas para localizar imgenes. Por su parte, el concentrador HotBot presenta la posibilidad de buscar por distintos formatos, para localizar imgenes, audio, vdeo, archivos PDF, Script y Shockwave/Flash. Estas opciones estn activas en HotBot para los buscadores Fast (Altheweb) e Inktomi (Pure Web Search), mientras que no funcionan con Teoma ni Google, aunque como dijimos existe esta posibilidad si se realiza la bsqueda directamente desde el sitio de Google. Estas bsquedas en materiales especiales, como imgenes, audio y vdeo son posibles porque se realiza una catalogacin textual de stos. Las bsquedas en materiales en formatos como PDF, Flash, etc. se pueden realizar porque existen directorios de estos archivos. As, el principal medio por el cual se pueden efectuar las bsquedas es el texto. Por ejemplo, si queremos recuperar imgenes en blanco y negro, stas deben estar clasificadas de ese modo en la base de datos. Esto implica, desde luego un proceso manual. Hoy por hoy, los mtodos bibliotecarios tradicionales resultan ser los ms eficaces en la bsqueda de informacin, al menos mientras la inteligencia artificial no avance ms. Realizar una bsqueda del tipo quiero fotografas de personas que se parezcan a Woody Allen slo es posible si hay un especialista que clasifique las imgenes para distinguir si se trata de dibujos o fotografas, si stas son de personas, y adems incluya la informacin acerca de los parecidos. Las maquinarias actuales de bsqueda son extraordinariamente eficaces para recuperar informacin textual, pero esto no excluye la necesidad de la catalogacin y clasificacin de los recursos. Por lo mismo, el
[Link] (16 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

nmero de archivos de este tipo que se pueden recuperar con los buscadores actuales tiene que ser limitado. Una pgina web que contiene una imagen, sin mayor informacin textual acerca e su contenido, no podr ser recuperada automticamente ms que por su extensin (.jpg, por ejemplo). Como hemos visto, la definicin ms genrica de lo que constituye la web invisible o profunda apunta a los recursos que no pueden ser recuperados mediante las herramientas comunes de bsqueda. Para verificar qu tan visible es la porcin de la web profunda que ha sido identificada por los autores de The Invisible Web, he seleccionado al azar diez recursos de su The Invisible Web Directory y he procedido a realizar la bsqueda en un buscador, un directorio, un metabuscador y un agente metabuscador avanzado en su versin gratuita. Los resultados de esta sencilla prueba aparecen reflejados en el cuadro de la pgina siguiente. Resultados de bsqueda de recursos de The Invisible Web Directory Recurso MSN Yahoo! MetaCrawler Copernic Artcyclopedia SI SI SI (6 buscadores) SI (8 buscadores) CRA Forsythe List Current Films in the Work (Boxoffice Hollywood Hot Set) Employee Benefits INFOSOURCE Hamnet Infonation Jourlit SI SI SI SI SI (3 buscadores) SI (5 buscadores) SI (3 buscadores) SI (4 buscadores)

SI

SI

SI (2 buscadores) SI (3 buscadores)

SI SI SI

SI SI SI SI SI

SI (4 buscadores) SI (6 buscadores) SI (5 buscadores) SI (7 buscadores) SI (3 buscadores) SI (7 buscadores) SI (4 buscadores) SI (6 buscadores) SI (2 buscadores) SI (6 buscadores)

Scholarly SI Societies Project Vessel Registration Query System SI

Whos who in SI SI SI (6 buscadores) SI (8 buscadores) American Art (AskArt) Vemos que todos los recursos seleccionados de The Invisible Web Directory son localizables con las actuales herramientas de bsqueda. Adems, en los resultados se observa que existen mltiples referencias en otras pginas, es decir, que se trata de pginas conectadas. La nica dificultad para encontrarlas consiste, en algunos casos, en las palabras con las cuales se
[Link] (17 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

denomina el sitio o el recurso. Por ejemplo, en el The Invisible Web Directory aparece Vessel Query Registration System, en lugar de Vessel Registration Query System, lo cual hace que la bsqueda por todas las palabras sea exitosa, pero la bsqueda por frase no. Igualmente, la denominacin de Whos who in American Art para el sitio de AskArt, dificulta la bsqueda, mientras que si se busca directamente por su nombre aparece en numerosos buscadores. La tabla refleja adems cmo el solapamiento entre buscadores es variable. Desde luego, se puede decir que el contenido de las bases de datos que estn incluidas en este directorio es invisible, ya que es necesario realizar las bsquedas directamente en cada una de ellas. Pero lo cierto es que llegar hasta la puerta de estas bases de datos resulta relativamente sencillo. El mismo hecho de que el directorio haya sido colocado en la web, le confiere mayor visibilidad a los recursos incluidos, ya que las ligas en el directorio aumentan la posibilidad de indizacin de esas pginas. Entonces, podemos decir que The Invisible Web Directory es un buen directorio de recursos y bases de datos disponibles en la web, pero no un directorio de recursos invisibles. En conclusin, lo que realmente sigue siendo invisible en la web son: -- las pginas desconectadas; -- las pginas no clasificadas que contienen principalmente imgenes, audio o vdeo; -- las pginas no clasificadas que contienen principalmente archivos PDF, PostScript, Flash, Shockwave, ejecutables y comprimidos; -- el contenido de las bases de datos relacionales; -- el contenido que se genera en tiempo real; -- el contenido que se genera dinmicamente. Pero: -- algunos buscadores recuperan archivos PDF y pginas con imgenes, aunque de forma limitada; -- es relativamente sencillo llegar hasta la puerta de las bases de datos con contenido importante; -- existen ya motores avanzados capaces de realizar bsquedas directas simultneas en varias bases de datos a la vez; y aunque la mayora requieren de pago, tambin ofrecen versiones gratuitas; -- el contenido que se genera en tiempo real pierde validez con mucha velocidad, salvo para anlisis histricos; -- es relativamente sencillo llegar hasta la puerta de los servicios que ofrecen informacin en tiempo real; -- el contenido que se genera dinmicamente interesa nicamente a ciertos usuarios con caractersticas especficas; -- es relativamente sencillo llegar hasta la puerta de los servicios que ofrecen contenido generado dinmicamente.

8. Bibliografa

[Link] (18 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

1. A collection of special search engines [Pgina Web]. Consultada 2003 Abr. 24. Disponible en: [Link] 2. The Deep Web [Pgina Web]. 2002; Consultada 2003 Mayo 6. Disponible en: [Link] University at Albany Libraries. Internet tutorials 3. FOLDOC: Free On-Line Dictionary of Computing [Pgina Web]. Consultada 2003 Abr. 24. Disponible en : [Link] 4. How to Choose a Search Engine or Directory [Pgina Web]. 2003 ; Consultada 2003 Mayo 14. Disponible en: [Link] [Link] 5. Invisible Web: What it is, Why it exists, How to find it, and Its inherent ambiguity [Pgina Web]. Consultada 2003 Mayo 5. Disponible en: http;//www. [Link]/TeachingLib/Guides/Internet/[Link]. UC Berkeley. Teaching Library Internet Workshops. Finding information on the Internet: a tutorial. 6. Search Engines Terms: As Suggested by Members of the I-Search Digest [Pgina Web]. Consultada 2003 Abr. 24. Disponible en: [Link] search_engine_terms/ 7. Top 25 Invisible Web Categories. Searcher. 2001; 9(6):68-72. 8. Le Web Invisible [Pgina Web]. Consultada 2003 Mayo 5. Disponible en: [Link] 9. What is Fast? [Pgina Web]. Consultada 2003 Mayo 13. Disponible en: [Link] 10. The WWW Virtual Library [Pgina Web]. Consultada 2003 Abr 24. Disponible en: [Link] 11. Bergman, Michael K. The Deep Web: Surfacing Hidden Value. Bright Planet; 2000. 12. Botluk, Diana. Minig Deeper Into the Invisible Web . Law Library Resource Xchange; 2000. Features. 13. Dragutsky, Paula. Guides to Specialized Search Engines [Pgina Web]. 2003; Consultada 2003 Mayo 15. Disponible en: [Link]

[Link] (19 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

14. Daz, Karen R. The Invisible Web: Navigating the Web outside Traditional Search Engines. Reference & User Services Quarterly. 2000; 40(2):131-134. 15. Ellsworth, Jill and Ellsworth, Matthew V. Marketing on the Internet : Multimedia Strategies for the World Wide Web. New York: John Wiley & Sons; 1995. 16. Koster, Martijn. Robots in the Web: threat or treat? [Pgina Web]. 1997; Consultada 2003 Mayo 16. Disponible en: [Link] 17. O'Neill, Edward T.; Lavoie, Brian F., and Bennett, Rick. Trends in the Evolution of the Public Web: 1998-2002. D-Lib Magazine. 2003; 9(4). 18. Ouf, Rehib. Le Dynamisme du World Wide Web: Taille, Croissance, Visibilit, Distribution et Accessibilit de l'Information. Lyon, France: Ecole Nationale Suprieure des Sciences de l'Information et des Bibliothques; 2001. 19. Salazar Garca, Idoia. La Red profunda: lo que los buscadores convencionales no encuentran. En: Fernndez Muerza, Alex and Dantart Usn, Alex, Coordinacin. Congreso ONLINE del Observatorio para la CiberSociedad; Espaa. Comunicaciones - Grupo 20: Periodismo y Comunicacin Digital 20. 21. Sherman, Chris. The Invisible Web. Free Pint. 2000; (64). ---. Navigating the Invisible Web. SearchDay. 2001.

22. Sherman, Chris and Price, Gary. The invisible Web. Searcher. 2001; 8 (9):62-74. 23. ---. The invisible Web: Uncovering information sources search engines can't see. Medford, New Jersey: CyberAge Books; Information Today; 2001. 24. Sullivan, Danny. Invisible Web Gets Deeper. The Search Engine Report. 2000. 25. Turner, Laura. Doing it Deeper: The Deep Web [Pgina Web]. Consultada 2003 Mayo 2. Disponible en: [Link] The%20Deep%20Web%[Link] 26. Warnick, Walter L; Lederman, Abe; Scott, R. L.; Spence, Karen J.; Johnson, Lorrie A., and Allen, Valerie S. Searching the Deep Web: Directed Query Engine Applications at the Department of Energy. D-Lib Magazine. 2001; 7(1).
[Link] (20 de 21)04/12/2006 01:53:57 p.m.

Estrategias y mecanismos de bsqueda en la web invisible

27. Wiseman, Ken . The invisible Web [Pgina Web]. Consultada 2002 Mayo 5. Disponible en: [Link] html

[Link] (21 de 21)04/12/2006 01:53:57 p.m.