Machine Learning Methods for Network Intrusion Detection

The incremental diffusion of machine learning algorithms in supporting cybersecurity is creating novel defensive opportunities but also new types of risks. Multiple researches have shown that machine learning methods are vulnerable to adversarial attacks that create tiny perturbations aimed at decreasing the effectiveness of detecting threats. We observe that existing literature assumes threat models that are inappropriate for realistic cybersecurity scenarios because they consider opponents with complete knowledge about the cyber detector or that can freely interact with the target systems. By focusing on Network Intrusion Detection Systems based on machine learning methods, we identify and model the real capabilities and circumstances that are necessary for an attacker to carry out a feasible and successful adversarial attack. We then apply our model to several adversarial attacks proposed in literature and highlight the limits and merits that can result in actual adversarial attacks. The contributions of this paper can help hardening defensive systems by letting cyber defenders address the most critical and real issues, and can benefit researchers by allowing them to devise novel forms of adversarial attacks based on realistic threat models.

Download Full-text

Advanced machine learning methods for network intrusion detection

10.12681/eadd/45893 ◽

2019 ◽

Author(s):

Δημήτριος Παπαμαρτζιβάνος

Keyword(s):

Machine Learning ◽

Genetic Algorithms ◽

Deep Learning ◽

Intrusion Detection ◽

Decision Trees ◽

Network Intrusion Detection ◽

Misuse Detection ◽

Learning Methods ◽

Machine Learning Methods ◽

Network Intrusion

Οι σύγχρονες υποδομές τεχνολογίας πληροφοριών και επικοινωνίας έχουν μετατραπεί χωρίς αμφιβολία σε ένα χώρο ευκαιριών για κακόβουλες οντότητες, οι οποίες απειλούν την εμπιστευτικότητα, την ακεραιότητα και διαθεσιμότητα αυτών των συστημάτων. Το συνεχώς αυξανόμενο μέγεθος και η πολυπλοκότητα των κυβερνοεπιθέσεων δεν αφήνουν περιθώρια επανάπαυσης στους αμυνόμενους. Σε αυτό το πλαίσιο, η αναζήτηση ολοκληρωμένων και ευέλικτων αμυντικών μηχανισμών και μεθόδων καθίσταται υψίστης σημασίας. Σε αυτήν την κατεύθυνση, τα συστήματα ανίχνευσης και αντιμετώπισης εισβολών αποτελούν απαραίτητες οντότητες σε ένα δίκτυο για την προστασία των συστημάτων και την παροχή ενεργειών αποκατάστασης εναντίον των επιθέσεων. Ωστόσο, τέτοιου είδους μηχανισμοί είναι απαραίτητο να υποστηρίζονται από ευφυείς μεθόδους, για να είναι σε θέση να διατηρούν υψηλή επιχειρησιακή ετοιμότητα. Σε αυτό το πλαίσιο, η παρούσα διδακτορική διατριβή εστιάζει σε προηγμένες μεθόδους μηχανικής μάθησης, οι οποίες μπορούν να προσδώσουν ωφέλιμα χαρακτηριστικά σε συστήματα ανίχνευσης και αντιμετώπισης εισβολών. Πιο συγκεκριμένα, η παρούσα διατριβή αποτελείται από τρεις άξονες: α) την παροχή βέλτιστων αντιμέτρων στο πλαίσιο μηχανισμών αντιμετώπισης εισβολών, β) την εξαγωγή αξιόπιστων κανόνων ανίχνευσης για συστήματα ανίχνευσης εισβολών κακής χρήσης (Misuse Detection IDS), και γ) την ενσωμάτωση χαρακτηριστικών αυτοπροσαρμογής σε αυτά τα συστήματα. Σχετικά με τον πρώτο άξονα, η παρούσα διατριβή παρέχει μία εκτενή ανάλυση μηχανισμών αντιμετώπισης εισβολών, οι οποίοι στοχεύουν στην παροχή βέλτιστων αντίμετρων εναντίον κυβερνοεπιθέσεων. Η ανάλυσή μας στοχεύει να εξετάσει λεπτομερώς και με κριτικό πνεύμα τις σχετικές δημοσιεύσεις του συγκεκριμένου τομέα, να εντοπίσει τις μεθόδους τεχνίτης νοημοσύνης που αυτές αξιοποιούν και να προσφέρει μία σε βάθος συζήτηση και αναλυτική σύγκριση βάσει κριτηρίων. Επιπλέον, επισημαίνονται οι ελλείψεις και οι μελλοντικές ερευνητικές προκλήσεις του συγκεκριμένου ερευνητικού πεδίου. Ορμώμενοι από το γεγονός ότι οι μηχανισμοί αντιμετώπισης επιθέσεων θα πρέπει να ενεργοποιούνται βάσει ακριβούς πρόβλεψης της φύσης των επιθέσεων, ο δεύτερος άξονας της παρούσας διατριβής εστιάζει στο σχεδιασμό και την ανάπτυξη μίας μεθοδολογίας εξαγωγής κανόνων, με την ονομασία Dendron, για συστήματα ανίχνευσης εισβολών κακής χρήσης. Συγκεκριμένα, η μεθοδολογία μας εκμεταλλεύεται Δέντρα Απόφασης( Decision Trees) και Γενετικούς Αλγορίθμους (Genetic Algorithms), με σκοπό την ανάπτυξη μεταφράσιμων και αξιόπιστων κανόνων ανίχνευσης. Το Dendron είναι ικανό να προσδιορίζει σωστά την κατηγορία στην οποία ανήκουν οι επιθέσεις, ενώ επιτυγχάνει καλύτερη απόδοση, σε σύγκριση με άλλες κλασικές τεχνικές, στις περισσότερες μετρικές κατηγοριοποίησης.Επιπρόσθετα, με σκοπό την αντιμετώπιση του σημαντικότερου μειονεκτήματος των συστημάτων ανίχνευσης κακής χρήσης, που είναι η αδυναμία προσαρμογής σε νέες δικτυακές συνθήκες, ο τρίτος άξονας της διατριβής αποσκοπεί στην ανάπτυξη μίας αυτοπροσαρμοζόμενης μεθοδολογίας, η οποία μπορεί να αναζωογονήσει μία μηχανή ανίχνευσης μέσω της αυτοματοποίησης του μηχανισμού επανεκπαίδευσής της. Λαμβάνοντας υπόψη την εκτεταμένη κλίμακα των σύγχρονων δικτύων και την πολυπλοκότητα των δικτυακών δεδομένων, το πρόβλημα της προσαρμογής υπερβαίνει κατά πολύ τις δυνατότητες διαχείρισης από έναν ειδικό ασφάλειας. Έτσι μέσω της αξιοποίησης μεθόδων Βαθιάς Μάθησης (Deep Learning), η μεθοδολογία μας μπορεί να αντιληφθεί τη φύση μίας επίθεσης βάσει γενικευμένων ανασχηματισμένων χαρακτηριστικών (generalized feature reconstructions) που προέρχονται απευθείας από το άγνωστο δικτυακό περιβάλλον και τα δικτυακά δεδομένα, από τα οποία απουσιάζει η κατηγορική ετικέτα κλάσης. Τα πειραματικά αποτελέσματα δείχνουν ότι η μεθοδολογία μας μπορεί να αναζωογονήσει ένα σύστημα ανίχνευσης εισβολών, και επιπλέον επιτυγχάνει καλύτερη απόδοση σε σχέση με κλασικές μη-ευέλικτες προσεγγίσεις.

Download Full-text

FCNN: An Efficient Intrusion Detection Method Based on Raw Network Traffic

Security and Communication Networks ◽

10.1155/2021/5533269 ◽

2021 ◽

Vol 2021 ◽

pp. 1-13

Author(s):

Yue Wang ◽

Yiming Jiang ◽

Julong Lan

Keyword(s):

Machine Learning ◽

Deep Learning ◽

Intrusion Detection ◽

Superior Performance ◽

Detection Accuracy ◽

Input Unit ◽

Learning Methods ◽

Training Time ◽

Machine Learning Methods ◽

Network Intrusion

When traditional machine learning methods are applied to network intrusion detection, they need to rely on expert knowledge to extract feature vectors in advance, which incurs lack of flexibility and versatility. Recently, deep learning methods have shown superior performance compared with traditional machine learning methods. Deep learning methods can learn the raw data directly, but they are faced with expensive computing cost. To solve this problem, a preprocessing method based on multipacket input unit and compression is proposed, which takes m data packets as the input unit to maximize the retention of information and greatly compresses the raw traffic to shorten the data learning and training time. In our proposed method, the CNN network structure is optimized and the weights of some convolution layers are assigned directly by using the Gabor filter. Experimental results on the benchmark data set show that compared with the existing models, the proposed method improves the detection accuracy by 2.49% and reduces the training time by 62.1%. In addition, the experiments show that the proposed compression method has obvious advantages in detection accuracy and computational efficiency compared with the existing compression methods.

Download Full-text