Opiniones

Algunas palabras acerca del aparente "fracaso"
de Outpost Firewall en el desafío de cortafuegos,
y la interpretación tendenciosa de los resultados
de las pruebas

Probablemente, muchos de ustedes sean lectores frecuentes de los informes y las evaluaciones realizadas por los laboratorios Matousec Transparent Security, incluyendo la prueba de cortafuegos denominada Firewall Challenge.
Esta evaluación pretende demostrar la capacidad de los cortafuegos y los paquetes integrados de seguridad, para resistir pruebas de fuga (leaktests, pruebas que simulan la filtración de datos) y detectar otras técnicas menos conocidas que intentan vulnerar la protección del sistema.

La lista de soluciones evaluadas muestra que para realizar este informe, se envían dos tipos de aplicaciones que serán analizadas: paquetes integrados de seguridad y cortafuegos independientes.
Uno de los paquetes integrados de seguridad participantes fue Kaspersky Internet Security 2009, que se ubicó en el séptimo lugar de la lista, con una calificación de 87% de eficiencia en un total de 73 pruebas, un nivel de protección “muy bueno” y un nivel de complejidad “10+”.

De forma habitual, los productos Agnitum han ocupado merecidamente los primeros puestos en estas pruebas, durante varios años.
Actualmente, Outpost Firewall Pro 2009 posee el primer puesto del desafío, con el 99% de eficiencia (se evaluó una versión inicial, lanzada el 1 de julio de 2008), una protección “excelente” y un nivel de complejidad “10”.
Los pequeños errores detectados durante la prueba fueron corregidos en versiones subsiguientes. Esto permitiría exigir un resultado del 100% de eficiencia en todos los niveles propuestos, si el producto volviera a ser evaluado en su condición actual.

La pregunta, entonces, es la siguiente: ¿Por qué un producto con una calificación global baja, recibió un nivel de complejidad alto (10+)?  
La respuesta es bastante simple. Para alcanzar un nivel superior, el producto no puede obtener menos del 50% de eficiencia en el nivel anterior.
Las aplicaciones que lograron aprobar dos pruebas (un tanto esotéricas) en el último nivel —el décimo— recibieron una calificación 10+, según este criterio.
Sin embargo, este hecho no tiene un impacto crucial en los resultados finales, ya que un producto puede aprobar con cierto esfuerzo todos los niveles previos con solo el 50% de eficiencia, y aun así obtener un resultado elevado en el último nivel.

En cuanto a las soluciones de seguridad Outpost, Agnitum también ofrece un paquete integrado: Outpost Security Suite Pro.
Este producto, está basado sobre el cortafuegos personal Outpost Firewall Pro, e incorpora el mismo arsenal de medidas proactivas.
Como paquete integrado, Outpost Security Suite Pro también incluye un motor antivirus y un filtro de correo electrónico no solicitado. Sin embargo, estas herramientas no tienen un papel importante en las pruebas Matousec, ni interfieren con los procedimientos utilizados en las evaluaciones (ni siquiera en la sección de desempeño).

Si analizamos uno de los tantos documentos publicados mundialmente en Internet, vemos que el nuevo “líder de la prueba” es Kaspersky Internet Security 2009, la misma aplicación que ocupa el séptimo lugar en la clasificación general, tal como se mencionó al comienzo de esta nota.
Este resultado es realmente sorprendente.
Vale la pena destacar que en su informe, Kaspersky Lab no tiene en cuenta los resultados de Outpost porque “Matousec no ha probado la versión más reciente del paquete integrado de seguridad de Agnitum”, y por ese motivo considera que no merece ser siquiera mencionado.

Sin embargo, los dos productos de Agnitum poseen una protección proactiva similar, al igual que sus características contra la fuga de información.
Por ello, nos resulta difícil separar los logros obtenidos y darle la corona de ganador al producto de otros desarrolladores —¡un paquete integrado de seguridad!— en el Firewall Challenge.
Seguramente, los lectores más interesados en este tema, sabrán leer entre líneas y realizar su propio análisis de los resultados de la evaluación.

Si bien respaldamos por completo los esfuerzos de Kaspersky para promover las pruebas Matousec como una fuente de información confiable acerca del desempeño y la fortaleza de los productos de seguridad, creemos que las evaluaciones y sus resultados deben ser ponderados convenientemente, para que reflejen con mayor precisión la posibilidad de que los usuarios se encuentren con cada situación en el mundo real.

A continuación publicamos los datos derivados de las pruebas Matousec (cortesía de Kaspersky Lab que creó el gráfico inicial, al que le hemos agregado los resultados de Outpost).

Outpost demostró un resultado del 100% de eficiencia en todos los niveles excepto en dos. Ninguna de las soluciones evaluadas alcanzó esa puntuación, sin embargo “perdimos” el desafío de cortafuegos.
Esperamos que cada lector saque sus propias conclusiones después de analizar esta información.

Sugerimos la lectura de Outpost Firewall Pro 2009: Líder en el bloqueo de fugas de información.

Vitaly Yanko
Director de comercialización y ventas en Agnitum Ltd.
13-Noviembre-2008
Publicado: 27-Noviembre-2008