Comenzaremos resumiendo las varias fases de la etapa que va hasta Junio: revisi�n metodol�gica, exploraci�n inicial del campo, constataci�n de dificultades para reunir la muestra originalmente programada de sitios web y listas, redefinici�n de la muestra, recolecci�n de informaciones, inicio del an�lisis.

El balance de esa etapa muestra que el dise�o original se modific� principalmente en dos sentidos:

• Una profundizaci�n y mejor definici�n de los aspectos estudiados en cada uno de los sitios web y listas analizados (antes restringidos a aquellos relacionados con
• Una restricci�n de la muestra estudiada, enfatiz�ndose en general, sitios y listas brasile�as y de organizaciones regionales y disminuyendo la presencia de sitios y listas de otros pa�ses de la regi�n.

Constatamos la escasez relativa de referencias bibliogr�ficas sobre metodolog�as para la evaluaci�n del tipo de producto que estudiamos. No es que no existan pero a�n son dif�ciles de encontrar y no hay todav�a "obras de referencia" en este campo. Es de esperarse que esto suceda para casi cualquier tema relacionado con Internet y a�n m�s con estudios de tipo evaluaci�n que tienen menos de 10 a�os (en el caso de la evaluaci�n de sitios web) o poco mas de 10 a�os (en el caso de listas electr�nicas de discusi�n).

Lo interesante, y que nos dejo una impresi�n de vino a�ejo en botella nueva, ha sido notar que la mayor�a de los problemas que este tipo de evaluaci�n plantea tienen equivalentes en la experiencia de evaluaci�n de proyectos y de instituciones en general. Por ejemplo la importancia que tiene para una evaluaci�n conocer los criterios con los cuales fue dise�ado un proyecto; las dificultades de definir par�metros objetivos de evaluaci�n. As� como los paralelos con la investigaci�n de ciencias sociales en general, en especial en antropolog�a; por ejemplo la permanencia y reactualizaci�n de las cuestiones cl�sicas sobre "objetividad", el papel del "observador" en relaci�n al objeto de estudio, "representatividad" de muestras y universos, y "control de resultados" as� como las cuestiones y dudas relacionadas a la observaci�n de espacios de comunicaci�n como las listas de discusi�n

Pero lo m�s importante en esto de hallar viejos problemas en relaci�n a nuevos objetos fue confirmar la necesidad de esforzarse en tener alguna creatividad, en especial en las alternativas metodol�gicas, analizando propuestas ya publicadas, combin�ndolas cuando fuera pertinente.

En relaci�n a nuestros dos objetos espec�ficos de inter�s (listas y sitios) resumimos los avances y dificultades as�:

1. Listas electr�nicas de discusi�n acad�mica en salud p�blica: En nuestra primera tentativa de localizaci�n de estas listas distribuimos un total de 310 mensajes de correo electr�nico (incluyendo entre estos, mensajes distribuidas en las listas de noticias de dos instituciones acad�micas). Nuestro mensaje ped�a que nos informasen sobre listas de discusi�n definidas como "-------". Obtuvimos una tasa de respuesta extremamente baja: 29 mensajes de respuesta, refiriendo 5 listas que se aproximaban a nuestra definici�n; 4 eran brasile�as y 1 de un organismo regional.

La cuesti�n de la baja tasa de respuesta continua a�n sin una explicaci�n definitiva. Nuestra primera hip�tesis es un error metodol�gico (y en realidad existir�an un n�mero significativamente mayor de listas que todav�a no conseguimos localizar) y/o una deficiencia intr�nseca de las t�cnicas de b�squeda de informaci�n a trav�s de solicitudes escritas (Oppenheim, 1991) y por correo electr�nico ( . La segunda es que la baja tasa de respuesta sea un reflejo de la realidad (y en realidad existir�an pocas listas de discusi�n propiamente cient�fica en esta �rea). En realidad las b�squedas del siguiente per�odo ayudar�n a resolver esta cuesti�n o por lo menos esperamos que nos ayuden a se�alar una de las hip�tesis como la m�s probable.

Existe, sin embargo, un tipo especial de lista de discusi�n cuyo estudio permite esbozar algunas explicaciones: Adem�s de las listas localizadas a trav�s de las respuestas a nuestro mensaje, identificamos en 4 de los sitios web analizados (2 brasile�os y 2 de organismos internacionales) que la instituci�n responsable por el sitio propone debates sobre temas espec�ficos, nombra un o m�s responsables para la conducci�n de la discusi�n, ofrece sus computadoras para hospedar la lista y en algunos casos invita especialistas a los debates. Los mensajes del debate se publican en una p�gina del sitio web, as�, la discusi�n est� permanentemente a disposici�n de los participantes de la lista y de aquellos que deseen revisarla. En estos casos, aparentemente algunas de las condiciones b�sicas para el desarrollo de una discusi�n en medio electr�nico estar�an cubiertas. Hasta el momento, nuestro seguimiento de estas 4 listas indica un bajo n�mero total de mensajes y de frecuencia de mensajes si comparadas con otras listas internacionales de salud p�blica. Es posible que el medio electr�nico y en red no consiga estimular el debate cient�fico, en un �rea que no tiene una tradici�n de debate? Es posible que las listas electr�nicas de discusi�n no ofrezcan un espacio de comunicaci�n que responda a los intereses de los que ser�an sus supuestos usuarios (investigadores, profesores, alumnos, p�blico interesado)?. Estas cuestiones solo pueden responderse con los datos que faltan recopilar.

2. Sitios web de instituciones acad�micas de salud p�blica: En lo referente a referenciales te�rico-metodol�gicos para la evaluaci�n de los sitios web decidimos revisar y mejorar la metodolog�a que se utiliz� en el servicio "HiperV�nculos de Sa�de P�blica"1 (el anexo 1 presenta la propuesta original). En base a esta revisi�n incorporamos en la metodolog�a inicial t�cnicas descritas en el m�todo de evaluaci�n de sitios por "benchmarking funcional" (Johnson & Misic, 1999); este abordaje se basa en la identificaci�n de sitios de instituciones competidoras e instituciones con intereses en com�n (aunque no competidoras) y define medidas "absolutas" y "relativas" en las caracter�sticas de un web, proponiendo un conjunto de t�cnicas para medirlas 2 .

Para el an�lisis final ser�n de utilidad los conceptos espec�ficos para evaluaci�n de sitios acad�micos desarrollados por McClure & Lopata (1996).

En este punto, definimos mejor nuestro estudio como un an�lisis de la oferta de informaci�n que los sitios presentan para sus usuarios; definimos entonces 3 "focos principales de inter�s" para usuarios de este tipo de sitios que son producidos por instituciones acad�micas (inter�s en informaciones sobre educaci�n de post-graduaci�n, inter�s en informaciones sobre investigaci�n, inter�s en informaci�n sobre la gesti�n de servicios y sistemas de salud 3). Combinando las metodolog�as HiperV�nculos, "benchmarking" y Sandoval definimos 4 aspectos de evaluaci�n:

A. Aspectos de funcionalidad y facilidad de "navegaci�n":

• Facilidad de encontrar el sitio en los principales mecanismos de b�squeda
• Velocidad de cargamento de la pagina inicial del sitio
• L�gica de navegaci�n (aplicando el criterio de los "3 clicks": debe encontrarse una informaci�n considerada importante en los "focos de inter�s" siguiendo un m�ximo de 3 links )
• Presencia de un mecanismo de b�squeda dentro del sitio

B. Aspecto de contenido:
Se definieron espectros para los niveles de informaci�n para cada uno de los siguientes usuarios:

• Con foco de inter�s en investigaci�n: Desde el m�s superficial (nombre de las �reas de investigaci�n desarrolladas por la instituci�n) hasta el m�s profundo (informaciones sobre resultados, preliminares o finales, de las investigaciones)
• Con foco de inter�s en educaci�n: Desde el m�s superficial (nombre de las cursos) hasta el m�s profundo (res�menes de los contenidos de cada disciplina dada en los diversos cursos). Servicios de matricula via Internet en los cursos.
• Con foco de inter�s en gesti�n: (en definici�n)

Adem�s de esa informaci�n se analiza la informaci�n ofrecida sobre los responsables de las actividades en esos tres focos de inter�s (desde la menci�n del nombre hasta resumen de curriculum e informaci�n para contacto de los interesados).

C. Aspectos relacionados a la comunicaci�n con la sociedad:

• Presencia de �reas espec�ficamente destinadas a esta funci�n
• Espacios de consulta o asesor�a a comunidades
• Presencia de contenidos relacionados a hechos con repercusi�n en la opini�n p�blica en los 3 meses previos a la recopilaci�n de la informaci�n.

D. Aspectos complementares:

• Coherencia entre contenidos anunciados y ofrecidos
• Interactividad (posibilidad del usuario agregar sus comentarios y contenidos)
• Uso de hipertexto en los documentos finales (los contenidos del nivel m�s profundo, por ejemplo res�menes de investigaciones, ofrecen links para sitios relacionados con el tema?)
• Uso adecuado de multimedios en el sitio

As� como en el caso de las listas de discusi�n, en el primer per�odo nos fue dif�cil encontrar un n�mero significativo de sites de instituciones fuera del Brasil, a lo que se sumaba la dificultad de evaluar su peso relativo en cada pa�s. En el caso brasile�o este �ltimo punto se resolvi� usando el criterio de clasificaci�n de programas de post-graduaci�n implantado por el organismo federal CAPES (Coordena��o de Aperfei�oamento de Pessoal de N�vel Superior) que atribuye una calificaci�n para cada programa; se eligieron los programas que tuvieran una puntuaci�n igual o mayor a 3. Se present� una dificultad adicional, que no conseguimos superar, en lo referente a la identificaci�n de "hechos con repercusi�n en la opini�n p�blica" que dependen de la opini�n de observadores de cada pa�s (incluyendo el seguimiento comunicacional de la coyuntura) que no conseguimos contactar (y en lo que reconocemos que no aprovechamos la oportunidad que ofrece el espacio MISTICA para encontrar esos contactos).

Adem�s de instituciones acad�micas incluimos en nuestra muestra los sitios web de organismos regionales de salud (Organizaci�n Pan-Americana de la Salud, UNICEF regional).





HiperV�nculos fue un proyecto desarrollado por la Escola Nacional de Sa�de P�blica / Funda��o Oswaldo Cruz (http://www.ensp.fiocruz.br) y la Asociaci�n Latinoamericana y del Caribe de Educaci�n en Salud P�blica (ALAESP) entre 1996 y 1998 en el sitio web de la ENSP. Era un servicios de informaci�n, con el formato de una gu�a comentada de recursos sobre salud p�blica disponibles en Internet, que permit�a a los usuarios tener una visi�n panor�mica de la calidad de los sitios web y servicios de informaci�n disponibles (por ejemplo, mecanismos de b�squeda en Internet especializados en el tema de salud). Los comentarios eran las evaluaciones hechas por especialistas que analizaban sitios web usando la metodolog�a mencionada.
Posteriormente, nos fue de utilidad el documento de Victor Sandoval divulgado en la lista MISTICA el 06/07/00 (Sandoval, 2000), por que nos permiti� discutir de nuevo la propuesta de "benchmarking", ahora considerando las propuestas de Sandoval sobre dos metodologias de evaluaci�n (una usando un modelo general de evaluaci�n y otra usando un modelo espec�fico adaptado al tipo de site)... adem�s de permitirnos conocer el nombre del creador del "principio de los 3 clicks".
El Sistema �nico de Sa�de (SUS) en el Brasil integra los servicios p�blicos y privados en los diferentes niveles de complejidad de la atenci�n de salud. El SUS tiene niveles de gobierno y gesti�n que corresponden a los niveles de organizaci�n pol�tica del pa�s (federal, estadual y municipal) con gestores espec�ficos para salud en cada nivel. En los �ltimos a�os estos gestores, en especial los municipales, han participado de proyectos de formaci�n para ejercer sus funciones de control social y seguimiento de los servicios de salud y necesitan de informaciones para ejercerlas mejor.
Este criterio es mencionado en diversos manuales y recomendaciones para el desarrollo de sitios web, por ejemplo: Timpone (1996), Cambridge Media Lab (2000)





BIBLIOGRAFIA Abels, E., White, M.D., & Karla Hahn, 1997. Identifying user-based criteria for Web pages. Internet
Research: Electronic Networking Applications and Policy, 7 (4). (documento disponible en
Internet en: http://www.emerald-library.com/brev/17207db1.htm , archivo consultado en
May/2000)

Bauer, C. & Scharl, A., 2000. Quantitive evaluation of Web site content and structure. Internet Research:
Electronic Networking Applications and Policy, 10(1). (documento disponible en Internet en:
http://www.emerald-library.com , archivo consultado en May/2000).

Cambridge Media Lab, 2000. Primer (a clear lexicon of web design and technique). (documento
disponible en Internet en: http://www.camlab.com/n.htm , archivo consultado en
Jun/2000)

Johnson, K. & Misic, M., 1999. Benchmarking: a tool for Web site evaluation and improvement. Internet
Research: Electronic Networking Applications and Policy, 9 (5). (documento disponible en
Internet en: http://www.emerald-library.com/brev/17209ee1.htm , archivo consultado en
May/2000)

McClure, C.R. & Lopata, C., 1996. Assessing the Academic Networked Environment: Strategies and
Options. School of Information Studies. Syracuse University. (documento disponible en Internet
en: http://istweb.syr.edu/~mcclure/network/toc.html , archivo consultado en May/2000)

Oppenheim A N. Questionnaire design, interviewing & attitude measurement. London: Pinter, 1991.
Sandoval, V., 2000. "Sandoval's Evaluation Web Site Methodology". (documento disponible en Internet en:
http://funredes.org/mistica/bdd/attachements/364-WebEvalVSen.rtf , archivo consultado en
Jun/2000)

Timpone, D., 1996. Is your help system usable?. WinHelp "How to". (documento disponible en
Internet en: http://www.stc.org/pics/online/hyperviews/archive/PrintHPV/344.htm ,
archivo consultado en Jun/2000)

Wyatt, J.,1997. British Medical Journal, 314 (7098). Commentary: Measuring quality and impact of the
world wide web. Information in practice.