March 17th, 2015

Отчёт о проделанной работе, год 2014.

Мы все постоянно делаем разную полезную работу. А у любой работы должна быть высшая цель, а у высшей цели – критерий её достижения.

Мы спасаем мир от кибер-нечисти – хорошо или плохо? Абсолютно высшей цели и относительно других спасальщиков.

Для оценки успешности этой амбициозной задачи мы используем различные метрики. Одна из главных – независимая экспертная оценка качества наших продуктов и технологий. Чем лучше показатели, тем наши технологии лучше давят цифровую заразу и, объективно, лучше спасают мир :)

И кто это может сделать? Разумеется, независимые тестовые лаборатории! Но вот вопрос – как это всё обобщить? Ведь в мире проводятся десятки, сотни тестов всеми кому не лень!

Как из этой каши выжать самое правильное - то, что отражает максимально правдоподобную картину способностей сотен антивирусных продуктов? И исключить возможность тестового говномаркетинга? И сделать эту метрику понятной широкому кругу пользователей для осознанного и аргументированного выбора защиты?

Счастье есть, его не может не есть быть! Несколько лет назад мы вывели для себя следующую формулу оценки – "TOP3-рейтинг".

Как она работает?

Во-первых, нужно учитывать все известные тестовые площадки, проводившие исследование анти-зловредной защиты за отчётный период. Во-вторых, нужно учесть весь спектр тестов выбранных площадок и всех участвовавших вендоров. В-третьих, нужно брать в расчёт а) количество тестов, в которых вендор принял участие; б) % абсолютных побед и в) % призовых мест (TOP3).

Вот так - просто, прозрачно и по каждому пункту нечистоплотного тестового маркетинга (а такое, увы, частенько бывает). Конечно, можно навернуть ещё 25 тысяч параметров для добавления 0,025% объективности, но это будет технологический нарциссизм и гик-занудство – и тут мы точно потеряем рядового читателя... да и не очень рядового тоже. Самое важное – мы берём конкретный период, всю совокупность тестов конкретных площадок и всех участников. Ничего не упускаем и никого не щадим (включая себя).

Интересно? Дык! Давайте теперь натянем эту методологию на реальную энтропию мира по состоянию за 2014-й год!

Технические подробности и disclaimers, кому интересно: 

  • Учтёнными в 2014 году оказались исследования от восьми тестовых лабораторий. Они имеют многолетний стаж, технологическую базу (сам проверял), внушительное покрытие как вендоров, так и различных защитных технологий) и являются членами AMTSO). Вот они: AV-Comparatives, AV-Test, Anti-malware, Dennis Technology Labs, MRG EFFITAS, NSS Labs, PC Security Labs и Virus Bulletin

  • Учитываются только вендоры, участвовавшие в 35% тестов и более, иначе можно получить "победителей" выигравших один единственный за всю свою "историю болезни" тест (а это гарантированный говно-маркетинг).

  • Подробное объяснение методологии в этом видео и в этом документе.

  • Если кто-то считает методики подсчёта результатов некорректными – добро пожаловать в комменты.

  • Если кто-то в комментах будет возбухать "а, сам себя не похвалишь – никто не похвалит", отвечаю: предложите и обоснуйте свою методику.


Итак, анализируем результаты тестов за 2014 год и – бьют барабаны, замирает и перестаёт дышать и моргать восхищённая публика... – и получаем вот такую картинку мира:

top3-2014

Collapse )

Красные Cтолбы и Большие Грибы. Вот такая Юта.

После прошедшего дня мой мозг немного вскипел, потом пар вышел через фотокамеру, потом процесс остывания привёл к его полуанемичности.

Диагноз звучит так:

Я (наконец-то!) побывал в каньонах Юты!

Взрыв зрительных оконечностей головного содержания, отвисшая до пояса челюсть, распахнутые до состояния обморока глаза, раскалённая фотокамера. Она единственная из перечисленного не отказала, всё остальное частично вышло из строя, поскольку глаза, мозг, да и остальные части тела не смогли объять необъятное - Красно-Белые Каньоны и Горы Юты.

canyonlands-intro-1

canyonlands-intro-3

Collapse )