Le véritable trésor caché dans la dernière évaluation MITRE ATT&CK® Enterprise se trouve dans les résumés et les analyses approfondies des données, et non dans les titres accrocheurs des éditeurs qui cherchent à tout prix à « vendre » leurs solutions de détection et de réponse.
NOTE : les points de vue et opinions exprimés dans cet article sont ceux d'ESET et ne reflètent pas nécessairement les points de vue ou positions de MITRE Corporation.
Par conséquent, même les lecteurs avisés risquent de ne pas voir la partie immergée de l’iceberg : ils n’auront que la surface des performances individuelles et les scores à des éditeurs à décortiquer comme seuls indicateurs représentatifs de leurs prouesses. Cependant, les évaluations et les résumés de MITRE ont été réalisés précisément dans le but d'être analysés : c'est là que réside leur valeur.
Cette année, MITRE oppose les fournisseurs à deux émulations d'adversaires. Le premier, Demeter (apparemment Scattered Spider), se concentrait sur un adversaire au rythme effréné, connu pour ses techniques d'ingénierie sociale. Hermes (vraisemblablement Mustang Panda, un habitué dans les rapports APT d'ESET) était le second, émulant un groupe de cyberespionnage soutenu par un État et doté de capacités en rapide évolution. Ces deux scénarios ont permis de tester l'expertise des éditeurs participants et ont constitué une excellente vitrine pour montrer de quelle façon chaque produit évalué soutient les tâches des analystes.
ESET a obtenu de bons résultats cette année, mais les évaluations visent à approfondir la compréhension des utilisateurs d'Endpoint Detection and Response (EDR) et d'Extended Detection & Response (XDR), et non à décerner des médailles. Après cinq années consacrées à ces évaluations, nous savons que les résultats représentent un volume considérable de données et d'informations difficiles à exploiter, même pour les initiés chevronnés. Nous avons quelques suggestions pour vous aider à faire le tri et à trouver les informations vraiment utiles si vous utilisez ou achetez un EDR ou un XDR.
Points clés de cet article :
- ESET a obtenu de bons résultats dans les deux scénarios d'émulation testés et notre score de protection de 100 % souligne la pertinence de notre approche axée sur la prévention. Lors du test, nous avons terminé à égalité à la première place parmi les neuf éditeurs participants en bloquant rapidement les attaques dès les premières étapes.
- En privilégiant un faible bruit et un volume adapté pour le pivot critique de l'analyste, ESET PROTECT a offert les temps de détection les plus rapides dans les deux émulations d'attaques, avec un score de détection de 66,67 %.
- La valeur de l'évaluation du MITRE réside dans le fait que les résultats constituent des conseils impartiaux pour les analystes en sécurité, ce qui permet de remettre en question leur compréhension d'un éditeur et de ses plateformes de détection et de réponse.
- Pour les éditeurs, leurs solutions sont vérifiées de manière professionnelle par rapport aux menaces contemporaines dans le cadre d'attaques émulées.
- Le résultat collectif permet une meilleure compréhension des outils utilisés par les analystes pour traduire le paysage des menaces, en particulier les TTP (Tactiques, Techniques et Procédures).
- Les évaluations montrent avant tout comment les différentes approches des éditeurs peuvent aider une organisation à améliorer sa cyber-résilience grâce à toutes les solutions testées dans le cadre de l'évaluation MITRE, telles que l'EDR/XDR, le sandboxing ou la visibilité du réseau.
Qu'est-ce que MITRE ATT&CK® Evaluations Enterprise 2025 ?
Les informations sur les tactiques, techniques et procédures (TTP) des acteurs malveillants ne manquent pas. Le rôle des analystes consiste à combiner leurs propres connaissances et leur expérience avec ces informations et à utiliser les outils à leur disposition. Ces outils comprennent une plateforme centrale de renseignements, un EDR/XDR, un SIEM/SOAR, etc.
Mais il existe plusieurs façons de protéger les systèmes, et chaque solution de sécurité des endpoints fonctionne différemment. Chaque éditeur a ses propres méthodes et approches pour présenter ses propres télémétries/détections. Il faut donc un certain temps aux analystes pour trouver celle qui leur convient, s'y familiariser, puis associer leur connaissance de cet environnement unique aux avantages souhaités de cet ensemble d'outils.
C'est le problème que les évaluations MITRE ATT&CK se sont fixé de résoudre : cartographier, avec autant de transparence que possible, la manière dont les outils EDR/XDR gèrent les scénarios malveillants et représentent les capacités et les limites de chaque fournisseur participant. Il n'existe pas de « bonne » façon d'analyser une menace : tout dépend de la viabilité d'un outil pour un analyste.
2025 a été une année de changement pour MITRE
Pour les résultats 2025, le format s'appuie sur les changements importants introduits en 2024, tout en conservant le test de protection séparé.
Cela est pertinent car, si tous les outils EDR sont capables d'effectuer des détections, c'est le contenu de ces détections et alertes qui importe. Oui, la visibilité des détections a été testée de manière approfondie en permettant aux adversaires d'exécuter des comportements sans interruption. Cela a mis les participants au défi de comparer leurs détections avec la base de connaissances MITRE ATT&CK, une approche qui devrait refléter le paysage actuel des menaces et les fonctions de base sur lesquelles s'appuient tous les EDR/XDR.
La question est de savoir si le test est à la hauteur de la télémétrie unique utilisée dans le monde réel par les solutions individuelles.
L'évaluation MITRE joue un rôle majeur sur le marché de la cybersécurité, servant de gage de qualité et de norme industrielle. De nombreuses entreprises et sous-traitants utilisent ces évaluations pour examiner minutieusement les éditeurs, ce qui fait que les participants réticents perdent d'importants contrats potentiels en raison de l'absence d'une « certification », car c’est précisément de cette façon que sont perçues ces évaluations.
L'évaluation de la protection a mis à l'épreuve l'efficacité du blocage - à l'instar de l'approche de prévention instaurée par ESET – en évaluant le blocage des menaces avant qu'elles ne causent des dommages importants. Pour cela, tous les mécanismes de protection ont été activés, les participants étant invités à démontrer leur capacité à détecter et à prévenir en temps réel les attaques malveillantes avancées avant qu'elles n'atteignent des points d’entrée critiques.
Le défi de détection différait également par l'inclusion d'un changement de configuration, les participants pouvant modifier leur produit après leur première exécution. Les SOC reconfigurent en permanence leurs environnements pour s'adapter à un paysage de menaces en constante évolution. Le fait de tester les éditeurs pour voir s'ils ont la possibilité d'effectuer/tester facilement des changements de configuration est donc censé refléter cette réalité.
Comment interpréter les performances d'ESET ?
Revenons à l'analyse mentionnée au début. D'une part, ESET peut affirmer que le score de protection d'ESET PROTECT est de 100 % et qu'il s'agit du meilleur résultat possible, ou que son taux de détection offre une visibilité substantielle. Pour un analyste actif, ces calculs ne fournissent peut-être pas toutes les informations dont il a besoin, n'est-ce pas ? À l'inverse, un autre éditeur pourrait affirmer qu'il a obtenu un score de détection encore meilleur... sauf que cela ne dit pas tout non plus.
C'est l'une des raisons pour lesquelles ESET se concentre autant sur la prévention (qui dépend fortement des détections) et pourquoi il est étrange que, depuis l'introduction de la mesure de la protection en 2024, seuls deux tiers des participants du MITRE choisissent généralement de participer à cette partie de l'évaluation. En bloquant automatiquement les attaques telles que celles utilisées dans le scénario de protection, votre produit libère les équipes de sécurité qui peuvent ainsi se concentrer sur des tâches stratégiques qui renforcent davantage la cyber-résilience.
D'autre part, certains analystes se concentrent uniquement sur les performances de détection. Vous pouvez obtenir un score de détection de 100 % (celui d'ESET est de 66,67 %), mais toutes ces données télémétriques sont-elles pertinentes ou équivalentes ?
Non. Dans le cadre des tests, certaines TTP ont un niveau de gravité plus élevé et ont donc un poids/impact plus important sur les scores de détection. Après cinq ans de participation aux évaluations, nos ingénieurs ESET PROTECT ont renoncé à couvrir l'intégralité de la base de connaissances ATT&CK. La raison ? Obtenir un étiquetage à 100 % du mode opératoire d'un adversaire par rapport à la base de connaissances ATT&CK n'améliore pas les défenses et n'aide pas automatiquement les analystes de sécurité dans leur travail quotidien.
Ce qui importe davantage, c'est un volume faible, mais néanmoins substantiel. La détection et la réponse ne nécessitent qu'une couverture suffisante des techniques (ou sous-étapes) très répandues ou sévères pour faire le travail. Tout ce qui va au-delà risque de submerger les analystes. Le fait de ne pas détecter les techniques peu répandues ou peu graves ne se traduit pas nécessairement par une protection moindre. Au contraire, cela peut signifier que le travail est rationalisé et que la remédiation est plus rapide, car les étapes principales nécessaires à l'identification de l'attaque sont immédiatement mises en évidence, ce qui permet de déclencher une réponse rapide et adéquate, voire, dans certains cas, de bloquer automatiquement la menace détectée.
Au cours des tests réalisés en 2025, ESET PROTECT a automatiquement renseigné les incidents détectés avec les détections pertinentes, les alertes contenant les activités adverses les plus importantes au sein du réseau simulé, ce qui a permis d'obtenir des performances très bien corrélées et un faible volume par scénario (avec un seul incident dans le scénario Hermes !) — un coup de pouce pour tout analyste cherchant à se concentrer uniquement sur ce qui compte, en éliminant le bruit alentour.
Oui, MITRE teste ces éléments. L'une des raisons pour lesquelles les éditeurs participent c’est qu'ils peuvent utiliser le savoir-faire acquis pour affiner leurs moteurs de détection. Mais pour un analyste en cybersécurité qui subit la pression d'arrêter une attaque en cours, il ne se concentrera pas sur les détails. Au contraire, il aura besoin d'alertes claires et sans équivoque, qui sont souvent les détections les plus graves et les plus révélatrices organisées par la technologie XDR (de préférence automatiquement) pour l’informer des prochaines actions à mettre en place.
Gare aux “fausses” victoires
Les éditeurs qui prétendent avoir « gagné » la dernière évaluation MITRE ne manqueront pas.
« MITRE n'a jamais été une question de gagnants et de perdants », déclare Juraj Malcho, directeur technique chez ESET. « Le discours marketing peut prétendre à une victoire, mais en réalité, vous avez peut-être perdu dans le monde réel, celui auquel sont confrontés les analystes de sécurité. Ils n'ont pas besoin d'enregistrer chaque événement qui se produit sur leurs systèmes. Qu'ils soient comparés ou non à la base de connaissances ATT&CK, ils ont déjà suffisamment de bruit à gérer. Ce qui importe, ce sont des corrélations de détection précises et le signalement des activités suspectes pour une enquête plus approfondie. »
Un autre critère à prendre en compte lors de l'évaluation d'un éditeur serait la qualité des résultats obtenus en matière de création de logique de détection, c'est-à-dire la (re)configuration. La flexibilité d'ESET PROTECT à cet égard a permis d'assurer une bonne couverture des zones d'ombre après l'exécution initiale de chaque scénario, grâce à la possibilité de reconfigurer la logique de détection de la solution, allant au-delà de la base de référence artificielle initialement supposée par le fournisseur. Dans le monde réel, les analystes sont ainsi en mesure d'adapter la logique d'ESET PROTECT aux besoins de leur environnement, en la modelant pour faire face aux menaces spécifiques à leur secteur.
Utilisez les outils MITRE pour réaliser votre propre évaluation
Heureusement, le site Web de MITRE offre une vue d'ensemble complète de chaque scénario et des étapes impliquées (comme l'exécution par l'utilisateur) et des sous-étapes (un lien malveillant), également étayées par des images collectées à partir de l'expérience utilisateur ou des interfaces des solutions des éditeurs. Ils détaillent ainsi la manière dont ils présentent/fournissent les informations à un analyste, comme la manière dont ils vont corréler les détections à la base de connaissances ATT&CK, divers modificateurs et moyens de comparer directement les fournisseurs dans une vue unique.
ESET recommande à ses lecteurs de se rendre sur la page MITRE ATT&CK® Evaluations Enterprise 2025 et d'interpréter les tests de chaque fournisseur participant comme des conseils, non seulement pour tester leurs hypothèses, mais aussi pour confirmer la valeur apportée par chacun.
Soyez proactif, pas réactif
Question : ESET devrait-il affirmer que les résultats MITRE de cette année ont été si bons que nous avons éclipsé les autres participants ? Non. Ce n'est pas le but des évaluations.
MITRE ATT&CK Enterprise Evaluations n'est pas un simple test parmi d'autres, mais une série de tests conçus pour révéler des informations détaillées qui guident la compréhension des ingénieurs, des équipes de R&D produit, des RSSI et autres. MITRE incite les éditeurs à affiner leurs outils, à l'instar d'un écrivain à la recherche de nouvelles perspectives sur un sujet familier ou d'un spécialiste de la surveillance intégrant un autre flux provenant d'un éditeur différent dans sa plateforme de renseignements. Cette évaluation s'adresse aux analystes en cybersécurité qui utilisent des solutions EDR, XDR et autres pour protéger leur organisation. Elle est particulièrement utile pour ceux qui cherchent à définir ou à redéfinir l'ensemble d'outils à leur disposition pour les activités de détection et de réponse.
Si vous souhaitez mettre à l'épreuve votre compréhension personnelle des éditeurs de cybersécurité et du test MITRE, n'hésitez pas à consulter la page des résultats. Mais n'oubliez pas qu'il s'agit d'acquérir des connaissances, et non de participer à une compétition.
