Comenzaremos resumiendo las varias fases de la etapa que va hasta Junio: revisión metodológica, exploración inicial del campo, constatación de dificultades para reunir la muestra originalmente programada de sitios web y listas, redefinición de la muestra, recolección de informaciones, inicio del análisis.

El balance de esa etapa muestra que el diseño original se modificó principalmente en dos sentidos:

• Una profundización y mejor definición de los aspectos estudiados en cada uno de los sitios web y listas analizados (antes restringidos a aquellos relacionados con
• Una restricción de la muestra estudiada, enfatizándose en general, sitios y listas brasileñas y de organizaciones regionales y disminuyendo la presencia de sitios y listas de otros países de la región.

Constatamos la escasez relativa de referencias bibliográficas sobre metodologías para la evaluación del tipo de producto que estudiamos. No es que no existan pero aún son difíciles de encontrar y no hay todavía "obras de referencia" en este campo. Es de esperarse que esto suceda para casi cualquier tema relacionado con Internet y aún más con estudios de tipo evaluación que tienen menos de 10 años (en el caso de la evaluación de sitios web) o poco mas de 10 años (en el caso de listas electrónicas de discusión).

Lo interesante, y que nos dejo una impresión de vino añejo en botella nueva, ha sido notar que la mayoría de los problemas que este tipo de evaluación plantea tienen equivalentes en la experiencia de evaluación de proyectos y de instituciones en general. Por ejemplo la importancia que tiene para una evaluación conocer los criterios con los cuales fue diseñado un proyecto; las dificultades de definir parámetros objetivos de evaluación. Así como los paralelos con la investigación de ciencias sociales en general, en especial en antropología; por ejemplo la permanencia y reactualización de las cuestiones clásicas sobre "objetividad", el papel del "observador" en relación al objeto de estudio, "representatividad" de muestras y universos, y "control de resultados" así como las cuestiones y dudas relacionadas a la observación de espacios de comunicación como las listas de discusión

Pero lo más importante en esto de hallar viejos problemas en relación a nuevos objetos fue confirmar la necesidad de esforzarse en tener alguna creatividad, en especial en las alternativas metodológicas, analizando propuestas ya publicadas, combinándolas cuando fuera pertinente.

En relación a nuestros dos objetos específicos de interés (listas y sitios) resumimos los avances y dificultades así:

1. Listas electrónicas de discusión académica en salud pública: En nuestra primera tentativa de localización de estas listas distribuimos un total de 310 mensajes de correo electrónico (incluyendo entre estos, mensajes distribuidas en las listas de noticias de dos instituciones académicas). Nuestro mensaje pedía que nos informasen sobre listas de discusión definidas como "-------". Obtuvimos una tasa de respuesta extremamente baja: 29 mensajes de respuesta, refiriendo 5 listas que se aproximaban a nuestra definición; 4 eran brasileñas y 1 de un organismo regional.

La cuestión de la baja tasa de respuesta continua aún sin una explicación definitiva. Nuestra primera hipótesis es un error metodológico (y en realidad existirían un número significativamente mayor de listas que todavía no conseguimos localizar) y/o una deficiencia intrínseca de las técnicas de búsqueda de información a través de solicitudes escritas (Oppenheim, 1991) y por correo electrónico ( . La segunda es que la baja tasa de respuesta sea un reflejo de la realidad (y en realidad existirían pocas listas de discusión propiamente científica en esta área). En realidad las búsquedas del siguiente período ayudarán a resolver esta cuestión o por lo menos esperamos que nos ayuden a señalar una de las hipótesis como la más probable.

Existe, sin embargo, un tipo especial de lista de discusión cuyo estudio permite esbozar algunas explicaciones: Además de las listas localizadas a través de las respuestas a nuestro mensaje, identificamos en 4 de los sitios web analizados (2 brasileños y 2 de organismos internacionales) que la institución responsable por el sitio propone debates sobre temas específicos, nombra un o más responsables para la conducción de la discusión, ofrece sus computadoras para hospedar la lista y en algunos casos invita especialistas a los debates. Los mensajes del debate se publican en una página del sitio web, así, la discusión está permanentemente a disposición de los participantes de la lista y de aquellos que deseen revisarla. En estos casos, aparentemente algunas de las condiciones básicas para el desarrollo de una discusión en medio electrónico estarían cubiertas. Hasta el momento, nuestro seguimiento de estas 4 listas indica un bajo número total de mensajes y de frecuencia de mensajes si comparadas con otras listas internacionales de salud pública. Es posible que el medio electrónico y en red no consiga estimular el debate científico, en un área que no tiene una tradición de debate? Es posible que las listas electrónicas de discusión no ofrezcan un espacio de comunicación que responda a los intereses de los que serían sus supuestos usuarios (investigadores, profesores, alumnos, público interesado)?. Estas cuestiones solo pueden responderse con los datos que faltan recopilar.

2. Sitios web de instituciones académicas de salud pública: En lo referente a referenciales teórico-metodológicos para la evaluación de los sitios web decidimos revisar y mejorar la metodología que se utilizó en el servicio "HiperVínculos de Saúde Pública"1 (el anexo 1 presenta la propuesta original). En base a esta revisión incorporamos en la metodología inicial técnicas descritas en el método de evaluación de sitios por "benchmarking funcional" (Johnson & Misic, 1999); este abordaje se basa en la identificación de sitios de instituciones competidoras e instituciones con intereses en común (aunque no competidoras) y define medidas "absolutas" y "relativas" en las características de un web, proponiendo un conjunto de técnicas para medirlas 2 .

Para el análisis final serán de utilidad los conceptos específicos para evaluación de sitios académicos desarrollados por McClure & Lopata (1996).

En este punto, definimos mejor nuestro estudio como un análisis de la oferta de información que los sitios presentan para sus usuarios; definimos entonces 3 "focos principales de interés" para usuarios de este tipo de sitios que son producidos por instituciones académicas (interés en informaciones sobre educación de post-graduación, interés en informaciones sobre investigación, interés en información sobre la gestión de servicios y sistemas de salud 3). Combinando las metodologías HiperVínculos, "benchmarking" y Sandoval definimos 4 aspectos de evaluación:

A. Aspectos de funcionalidad y facilidad de "navegación":

• Facilidad de encontrar el sitio en los principales mecanismos de búsqueda
• Velocidad de cargamento de la pagina inicial del sitio
• Lógica de navegación (aplicando el criterio de los "3 clicks": debe encontrarse una información considerada importante en los "focos de interés" siguiendo un máximo de 3 links )
• Presencia de un mecanismo de búsqueda dentro del sitio

B. Aspecto de contenido:
Se definieron espectros para los niveles de información para cada uno de los siguientes usuarios:

• Con foco de interés en investigación: Desde el más superficial (nombre de las áreas de investigación desarrolladas por la institución) hasta el más profundo (informaciones sobre resultados, preliminares o finales, de las investigaciones)
• Con foco de interés en educación: Desde el más superficial (nombre de las cursos) hasta el más profundo (resúmenes de los contenidos de cada disciplina dada en los diversos cursos). Servicios de matricula via Internet en los cursos.
• Con foco de interés en gestión: (en definición)

Además de esa información se analiza la información ofrecida sobre los responsables de las actividades en esos tres focos de interés (desde la mención del nombre hasta resumen de curriculum e información para contacto de los interesados).

C. Aspectos relacionados a la comunicación con la sociedad:

• Presencia de áreas específicamente destinadas a esta función
• Espacios de consulta o asesoría a comunidades
• Presencia de contenidos relacionados a hechos con repercusión en la opinión pública en los 3 meses previos a la recopilación de la información.

D. Aspectos complementares:

• Coherencia entre contenidos anunciados y ofrecidos
• Interactividad (posibilidad del usuario agregar sus comentarios y contenidos)
• Uso de hipertexto en los documentos finales (los contenidos del nivel más profundo, por ejemplo resúmenes de investigaciones, ofrecen links para sitios relacionados con el tema?)
• Uso adecuado de multimedios en el sitio

Así como en el caso de las listas de discusión, en el primer período nos fue difícil encontrar un número significativo de sites de instituciones fuera del Brasil, a lo que se sumaba la dificultad de evaluar su peso relativo en cada país. En el caso brasileño este último punto se resolvió usando el criterio de clasificación de programas de post-graduación implantado por el organismo federal CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) que atribuye una calificación para cada programa; se eligieron los programas que tuvieran una puntuación igual o mayor a 3. Se presentó una dificultad adicional, que no conseguimos superar, en lo referente a la identificación de "hechos con repercusión en la opinión pública" que dependen de la opinión de observadores de cada país (incluyendo el seguimiento comunicacional de la coyuntura) que no conseguimos contactar (y en lo que reconocemos que no aprovechamos la oportunidad que ofrece el espacio MISTICA para encontrar esos contactos).

Además de instituciones académicas incluimos en nuestra muestra los sitios web de organismos regionales de salud (Organización Pan-Americana de la Salud, UNICEF regional).





HiperVínculos fue un proyecto desarrollado por la Escola Nacional de Saúde Pública / Fundação Oswaldo Cruz (http://www.ensp.fiocruz.br) y la Asociación Latinoamericana y del Caribe de Educación en Salud Pública (ALAESP) entre 1996 y 1998 en el sitio web de la ENSP. Era un servicios de información, con el formato de una guía comentada de recursos sobre salud pública disponibles en Internet, que permitía a los usuarios tener una visión panorámica de la calidad de los sitios web y servicios de información disponibles (por ejemplo, mecanismos de búsqueda en Internet especializados en el tema de salud). Los comentarios eran las evaluaciones hechas por especialistas que analizaban sitios web usando la metodología mencionada.
Posteriormente, nos fue de utilidad el documento de Victor Sandoval divulgado en la lista MISTICA el 06/07/00 (Sandoval, 2000), por que nos permitió discutir de nuevo la propuesta de "benchmarking", ahora considerando las propuestas de Sandoval sobre dos metodologias de evaluación (una usando un modelo general de evaluación y otra usando un modelo específico adaptado al tipo de site)... además de permitirnos conocer el nombre del creador del "principio de los 3 clicks".
El Sistema Único de Saúde (SUS) en el Brasil integra los servicios públicos y privados en los diferentes niveles de complejidad de la atención de salud. El SUS tiene niveles de gobierno y gestión que corresponden a los niveles de organización política del país (federal, estadual y municipal) con gestores específicos para salud en cada nivel. En los últimos años estos gestores, en especial los municipales, han participado de proyectos de formación para ejercer sus funciones de control social y seguimiento de los servicios de salud y necesitan de informaciones para ejercerlas mejor.
Este criterio es mencionado en diversos manuales y recomendaciones para el desarrollo de sitios web, por ejemplo: Timpone (1996), Cambridge Media Lab (2000)





BIBLIOGRAFIA Abels, E., White, M.D., & Karla Hahn, 1997. Identifying user-based criteria for Web pages. Internet
Research: Electronic Networking Applications and Policy, 7 (4). (documento disponible en
Internet en: http://www.emerald-library.com/brev/17207db1.htm , archivo consultado en
May/2000)

Bauer, C. & Scharl, A., 2000. Quantitive evaluation of Web site content and structure. Internet Research:
Electronic Networking Applications and Policy, 10(1). (documento disponible en Internet en:
http://www.emerald-library.com , archivo consultado en May/2000).

Cambridge Media Lab, 2000. Primer (a clear lexicon of web design and technique). (documento
disponible en Internet en: http://www.camlab.com/n.htm , archivo consultado en
Jun/2000)

Johnson, K. & Misic, M., 1999. Benchmarking: a tool for Web site evaluation and improvement. Internet
Research: Electronic Networking Applications and Policy, 9 (5). (documento disponible en
Internet en: http://www.emerald-library.com/brev/17209ee1.htm , archivo consultado en
May/2000)

McClure, C.R. & Lopata, C., 1996. Assessing the Academic Networked Environment: Strategies and
Options. School of Information Studies. Syracuse University. (documento disponible en Internet
en: http://istweb.syr.edu/~mcclure/network/toc.html , archivo consultado en May/2000)

Oppenheim A N. Questionnaire design, interviewing & attitude measurement. London: Pinter, 1991.
Sandoval, V., 2000. "Sandoval's Evaluation Web Site Methodology". (documento disponible en Internet en:
http://funredes.org/mistica/bdd/attachements/364-WebEvalVSen.rtf , archivo consultado en
Jun/2000)

Timpone, D., 1996. Is your help system usable?. WinHelp "How to". (documento disponible en
Internet en: http://www.stc.org/pics/online/hyperviews/archive/PrintHPV/344.htm ,
archivo consultado en Jun/2000)

Wyatt, J.,1997. British Medical Journal, 314 (7098). Commentary: Measuring quality and impact of the
world wide web. Information in practice.