Alexandre Azor

Sécurité de l'IA embarquée dans des sondes de détection d'intrusions pour réseaux (NIDSs)

Contexte de la thèse

Les sondes de détection d’intrusions (IDSs) existent depuis la fin des années 80 [D87] et ils sont omniprésents dans les environnements cybersécurisés. Même si aujourd’hui encore, l’utilisation de seuils, d’heuristiques et de profils statistiques simples restent encore un moyen fiable de détecter certaines intrusions/ou et anomalies, les approches probabilistes basées sur le Machine Learning apparaissent plus flexibles et efficaces [MFS21]. Les objectifs attendus d’un tel dispositif sont notamment : un faible taux de faux positifs et de faux négatifs, une facilité de configuration, d’ajustement et de maintenance, l’adaptation à l’évolution des tendances dans les données, un bon fonctionnement avec des jeux de données de nature différente, une efficacité en termes de ressources et adaptation aux applications en temps réel, des alertes explicables.

Or, les attaquants se doivent contourner ces IDSs, et c’est ce qui alimente le domaine de recherche appelé apprentissage automatique antagoniste (Adversarial Machine Learning) [VOF+24]. Des chercheurs en sécurité et en apprentissage automatique publient régulièrement des études sur des cas pratiques d’attaques contre des applications de cybersécurité, notamment : moteurs anti-virus [XQE16], filtres anti-spams [NBC+08] et IDSs [RNH+09]. 3 grandes familles d’attaques (et de mitigations associées) sont étudiées [VDF+24] : évasion, empoisonnement des données et du modèle, privacy des données et des modèles. Plus particulièrement, l’évasion de modèles sont des attaques exploratoires qui trouvent un espace « antagoniste » contenant des échantillons d’entrée amenant les modèles à faire des erreurs qu’ils n’ont pas été conçus pour produire. L’empoisonnement de modèles sont des tentatives d’un attaquant visant à influencer le processus d’apprentissage en altérant les données d’entrée ou les paramètres du modèle de cette phase. Les attaques d’empoisonnement ont été étudiées et démontrées sur diverses techniques d’apprentissage automatique, notamment : machine à vecteurs de support [BNL12], algorithmes de détection d’anomalies de centroïdes et génériques [KL12], régressions [MZ15], filtres anti-spams [NBC+08], classification de malwares [BRA+14], analyse en composantes principales [HJN+11], Deep Learning [MBD+17].

Verrous scientifiques

Le renforcement de la sécurité des modèles de Machine Learning, hormis le fait qu’il n’octroie pas une protection définitive contre les attaques, amène actuellement quelques désagréments majeurs [VDF+24].

Pour ce qui concerne les attaques par évasion, il a été proposé notamment l’adversarial training, le randomized smoothing et la vérification formelle. A titre d’exemple, l’adversarial training [MMS+18] consiste à entraîner le modèle cible à l’aide d’échantillons antagonistes correctement étiquetés, afin de réduire au minimum l’espace antagoniste. Cette contre-mesure n’est pas parfaite car l’espace antagoniste ne peut pas pratiquement être réduit à néant. Par ailleurs, le temps d’apprentissage peut être drastiquement augmenté. D’autres contre-mesures peuvent consister à rendre plus difficile pour un attaquant d’obtenir des informations sur les gradients de la surface de décision d’un modèle [GVD15].

Il est également très difficile de protéger les modèles contre les attaques par empoisonnement. Des méthodes dites de « désinfection » des données d’apprentissage [NBC+08] ou encore l’utilisation de statistiques dites « robustes » à l’empoisonnement pendant l’apprentissage [SK17] ont été proposées, mais elles n’amènent pas une protection à 100% et amènent des calculs supplémentaires.

Approche méthodologique

Les papiers [Ganesh2023] et [Thoppe2024] introduisent un cadre novateur pour l'apprentissage en ligne robuste face aux adversaires. Dans ces travaux, nous proposons un algorithme itératif garantissant une convergence presque sûre vers la moyenne de l’état du système, même en présence d’adversaires perturbant les observations. Notre algorithme est capable de traiter des données sporadiques et hétérogènes, et nous parvenons également à établir des vitesses de convergence optimales.
Une des limitations de nos algorithmes actuels est qu'ils se restreignent à des cas linéaires, limitant ainsi leur application à des systèmes réels plus complexes.

Cette thèse vise à étendre nos travaux précédents aux cas non linéaires. Plus précisément :

1. Modèle d'observation non linéaire connu : Si le modèle d'observation non linéaire est connu, nous devons identifier les conditions nécessaires pour réussir l'apprentissage des paramètres du modèle en présence d'adversaires. Nous explorerons comment adapter notre algorithme existant pour résoudre ce problème, en assurant la robustesse face aux perturbations adversariales tout en essayant d’obtenir le taux de convergence optimal.
2. Modèle d'observation non linéaire inconnu : Dans les situations où le modèle d'observation non linéaire n'est pas connu, l'objectif est de pouvoir estimer ce modèle même en présence d'adversaires. Pour ce faire, nous nous appuierons sur des méthodes avancées d'apprentissage de variétés, comme celles discutées dans le papier [Borkar2018]. Nous adapterons ces techniques pour apprendre le modèle non linéaire tout en intégrant des mécanismes de résilience face aux adversaires.

Ce projet vise à combler le fossé entre les approches linéaires actuelles et les défis posés par les systèmes non linéaires, en proposant des solutions robustes et adaptatives pour des applications plus vastes et variées.

Réferences

[D87] D. Denning. “An Intrusion-Detection Model”. IEEE Transactions on Software Engineering, 13:2, 222-232, 1987.
[MFS21] B. Millot, J. Francq, F. Sicard. “Systematic and Efficient Anomaly Detection Framework using Machine Learning on Public ICS Datasets”, IEEE CSR, pages 292-297, 2021.
[VOF+24] A. Vassilev, A. Oprea, A. Fordyce, H. Anderson. “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations”, NIST AI 100-2 E2023, 2024.
[XQE+16] W. Xu, Y. Qi, D. Evans. “Automatically Evading Classifiers: A Case Study on PDF Malware Classifiers”, NDSS, 2016.
[NBC+08] B. Nelson, M. Barreno, F. J. Chi, A. D. Joseph, B. I. P. Rubinstein, U. Saini, C. Sutton, K. Xia. “Exploiting Machine Learning to Subvert Your Spam Filter”, USENIX LEET 2008.
[RNH+09] B. I. P. Rubinstein, B. Nelson, L. Huang, A. D. Joseph, S.-H. Lau, S. Rao, N. Taft, and J. D. Tygar. “Antidote: understanding and defending against poisoning of anomaly detectors”, ACM SIGCOMM, pages 1–14, 2009.
[BNL12] B. Baggio, B. Nelson, P. Laskov. “Poisoning Attacks Against Support Vector Machines”, ACM ICML, pages 1467-1474, 2012.
[KL12] M. Kloft, P. Laskov. ”Security Analysis of Online Centroid Anomaly Detection”, Journal of Machine Learning Research, numéro 13, pages 3681-3724, 2012.
[MZ15] S. Mei, X. Zhu. “Using Machine Learning to Identify Optimal Training-Set Attacks on Machine Learners”, ACM AAAI, pages 2871–2877, 2015.
[BRA+14] B. Baggio, K. Rieck, D. Ariu, C. Wressnegger, I. Corona, G. Giacinto, F. Roli. “Poisoning Behavioral Malware Clustering”, ACM AISec, pages 27-36, 2014.
[HJN+11] L. Huang, A. D. Joseph, B. Nelson, B. I. P. Rubinstein, J. D. Tygar. “Adversarial Machine Learning”, ACM AISec, pages 43-58, 2011.
[MBD+17] L. Munoz-Gonzalez, B. Biggio, A. Demontis, A. Paudice, V. Wongrassamee, E. C. Lupu, F. Roli. “Towards Poisoning of Deep-Learning Algorithms with Back-Gradient Optimization”, pages 27-38, 2017.
[MMS+18] A. Madry, A. Makelov, L. Schmidt, D. Tsipras, A. Vladu. “Towards Deep Learning Models Resistant to Adversarial Attacks”. ICLR 2018.
[GVD15] G. Hinton, O. Vinyals J. Dean. “Distilling the Knowledge in a Neural Network”, arXiv 1503.02531, 2015.
[SK17] S. A. Shah, V. Koltun. “Robust Continuous Clustering”, Proc. of the National Academy of Sciences, Vol. 114, No. 37, pages 9814-9819, 2017.
[Ganesh2023] Ganesh, Swetha, Alexandre Reiffers-Masson, and Gugan Thoppe. "Online learning with adversaries: A differential-inclusion analysis." 2023 62nd IEEE Conference on Decision and Control (CDC). IEEE, 2023.
[Thoppe2024] Thoppe, Gugan, Mihir Dhankshiru, Nibedita Roy, Alexandre Reiffers-Masson, Naman Naman, and Alexandre Azor. "Adversary-Resilient Distributed Estimation using Intermittent and Heterogeneous Data with Application to Network Tomography." (2024).
[Borkar2018] Borkar, Vivek S., Vikranth R. Dwaracherla, and Neeraja Sahasrabudhe. "Gradient estimation with simultaneous perturbation and compressive sensing." Journal of Machine Learning Research 18, no. 161 (2018): 1-27.