Optimization engineering techniques for the exact solution of NP-hard combinatorial optimization problems

AbstractNeuromorphic hardware implementation of Boltzmann Machine using a network of stochastic neurons can allow non-deterministic polynomial-time (NP) hard combinatorial optimization problems to be efficiently solved. Efficient implementation of such Boltzmann Machine with simulated annealing desires the statistical parameters of the stochastic neurons to be dynamically tunable, however, there has been limited research on stochastic semiconductor devices with controllable statistical distributions. Here, we demonstrate a reconfigurable tin oxide (SnOx)/molybdenum disulfide (MoS2) heterogeneous memristive device that can realize tunable stochastic dynamics in its output sampling characteristics. The device can sample exponential-class sigmoidal distributions analogous to the Fermi-Dirac distribution of physical systems with quantitatively defined tunable “temperature” effect. A BM composed of these tunable stochastic neuron devices, which can enable simulated annealing with designed “cooling” strategies, is conducted to solve the MAX-SAT, a representative in NP-hard combinatorial optimization problems. Quantitative insights into the effect of different “cooling” strategies on improving the BM optimization process efficiency are also provided.

Download Full-text

Algorithms for exact solutions to combinatorial optimization problems

10.12681/eadd/34605 ◽

2013 ◽

Author(s):

Θεόδωρος Γκεβεζές

Keyword(s):

Integer Programming ◽

Combinatorial Optimization ◽

Optimization Problems ◽

Quadratic Assignment Problem ◽

Quadratic Assignment ◽

Search Procedure ◽

Np Hard ◽

Adaptive Search ◽

Programming Formulation ◽

Combinatorial Optimization Problems

Το Shortest Superstring Problem (SSP) είναι ένα πρόβλημα συνδυαστικής βελτιστοποίησης που έχει προσελκύσει το ενδιαφέρων πολλών ερευνητών, λόγω των εφαρμογών του. Μπορεί να χρησιμοποιηθεί σε προβλήματα Υπολογιστικής Μοριακής Βιολογίας όπως η αλληλούχιση του DNA και σε προβλήματα της επιστήμης υπολογιστών όπως η συμπίεση δεδομένων. Το SSP είναι ένα NP-hard πρόβλημα. Ένα άρθρο ανασκόπησης για το SSP παρουσιάζεται στο πρώτο κεφάλαιο της παρούσας διατριβής με έναν περιεκτικό και σαφή τρόπο, καλύπτοντας ολόκληρη τη σχετική βιβλιογραφία, αναδεικνύοντας την κατακτημένη γνώση και βοηθώντας στην μελλοντική έρευνα.Η μέθοδος GRASP (Greedy Randomized Adaptive Search Procedure) είναι μια επαναληπτική ευρετική μέθοδος για συνδυαστική βελτιστοποίηση. Η μέθοδος Path Relinking (PR) αποτελεί έναν τρόπο ενοποίησης των στρατηγικών εντατικοποίησης και διαφοροποίησης στην αναζήτηση για βέλτιστες λύσεις. Η PR στα πλαίσια του GRASP εισήχθη ως μηχανισμός μνήμης για την αξιοποίηση των δεδομένων από καλές λύσεις που έχουν ήδη βρεθεί. Στο δεύτερο κεφάλαιο, παρουσιάζεται η υλοποίηση της μεθόδου GRASP με PR για το SSP. Η νέα μέθοδος λύνει στιγμιότυπα μεγάλης κλίμακας και υπερτερεί του φυσικού άπληστου αλγόριθμου στη συντριπτική πλειοψηφία των στιγμιοτύπων που δοκιμάστηκαν. Η προτεινόμενη μέθοδος είναι ικανή να παράγει πολλαπλές λύσεις κοντά στο βέλτιστο, γεγονός το οποίο είναι σημαντικό για την πρακτική της αλληλούχισης του DNA και επιτρέπει μια φυσική και εύκολη παράλληλη υλοποίηση. Ένα σύνολο αναφοράς στιγμιοτύπων με γνωστή βέλτιστη λύση κατασκευάστηκε χρησιμοποιώντας μια νέα Διατύπωση Ακέραιου Προγραμματισμού (Integer Programming Formulation) για το SSP.Η οικογένεια των γράφων επικάλυψης αποτελεί ένα κατάλληλο είδος δομής δεδομένων για την περίπτωση του SSP. Έχουν εφαρμογές στην αλληλούχιση γονιδιώματος, στην συμπίεση ακολουθιών και στον χρονοπρογραμματισμό μηχανών. Ένας κατευθυνόμενος γράφος με βάρη είναι γράφος επικάλυψης αν υπάρχει ένα σύνολο από ακολουθίες, οι οποίες βρίσκονται σε ένα προς ένα αντιστοιχία με τις κορυφές του γράφου, έτσι ώστε κάθε βάρος του γράφου να ισούται με την επικάλυψη μεταξύ των αντίστοιχων ακολουθιών. Στο τρίτο κεφάλαιο της παρούσας διατριβής, παρουσιάζεται ένα θεώρημα χαρακτηρισμού των γράφων επικάλυψης και ο αντίστοιχος αλγόριθμος αναγνώρισής τους.Το Quadratic Assignment Problem (QAP) είναι ένα από τα δυσκολότερα προβλήματα συνδυαστικής βελτιστοποίησης. Το QAP είναι ένα NP-hard πρόβλημα, ενώ η εύρεση ενός ε-προσεγγιστικού αλγόριθμου για αυτό είναι επίσης δύσκολη. Ο κλασικός άπληστος αλγόριθμος για διακριτά προβλήματα βελτιστοποίησης όπου η βέλτιστη λύση είναι ένα μεγιστοτικό ανεξάρτητο υποσύνολο ενός πεπερασμένου συνόλου βάσης με στοιχεία με βάρη, μπορεί να οριστεί με δύο διαφορετικούς τρόπους που είναι δυϊκοί ο ένας προς το άλλο. Τον άπληστο-εισαγωγής (greedy-in) αλγόριθμο, όπου μια λύση κατασκευάζεται από ένα κενό σύνολο με την εισαγωγή του επόμενου καλύτερου στοιχείου, ενός κάθε φορά, μέχρι να προκύψει μια μη εφικτή λύση και τον άπληστο-εξαγωγής (greedy-out) αλγόριθμο, όπου ξεκινώντας από το σύνολο βάσης, διαγράφεται το επόμενο χειρότερο στοιχείο, ένα κάθε φορά, μέχρι να προκύψει κάποια εφικτή λύση. Έχει αποδειχτεί ότι ενώ ο πρώτος αλγόριθμος παρέχει έναν παράγοντα προσέγγισης για τα προβλήματα μεγιστοποίησης, η απόδοσή του στην χειρότερη περίπτωση δεν είναι φραγμένη για τα προβλήματα ελαχιστοποίησης και το αντίστροφο για τον δεύτερο αλγόριθμο. Στο τέταρτο κεφάλαιο αυτής της διατριβής, παρουσιάζεται ο άπληστος-εξαγωγής αλγόριθμος για το QAP, αφότου αναπτύσσεται ένας συνδυαστικός χαρακτηρισμός των λύσεων του προβλήματος.

Download Full-text

An Improved Generalized Quantum-Inspired Evolutionary Algorithm for Multiple Knapsack Problem

Research Anthology on Advancements in Quantum Technology ◽

10.4018/978-1-7998-8593-1.ch002 ◽

2021 ◽

pp. 22-50

Author(s):

Sulabh Bansal ◽

C. Patvardhan

Keyword(s):

Combinatorial Optimization ◽

Evolutionary Algorithms ◽

Knapsack Problem ◽

Optimization Problems ◽

Problem Solution ◽

Np Hard ◽

Combinatorial Optimization Problems ◽

Multiple Knapsack Problem ◽

Multiple Knapsack ◽

Decimal Numbers

This article describes how the 0/1 Multiple Knapsack Problem (MKP), a generalization of popular 0/1 Knapsack Problem, is NP-hard and harder than simple Knapsack Problem. Solution of MKP involves two levels of choice – one for selecting an item to be placed and the other for selecting the knapsack in which it is to be placed. Quantum Inspired Evolutionary Algorithms (QIEAs), a subclass of Evolutionary algorithms, have been shown to be effective in solving difficult problems particularly NP-hard combinatorial optimization problems. QIEAs provide a general framework which needs to be customized according to the requirements of a given problem to obtain good solutions in reasonable time. An existing QIEA for MKP (QIEA-MKP) is based on the representation where a Q-bit collapse into a binary number. But decimal numbers are required to identify the knapsack where an item is placed. The implementation based on such representation suffers from overhead of frequent conversion from binary numbers to decimal numbers and vice versa. The generalized QIEA (GQIEA) is based on a representation where a Q-bit can collapse into an integer and thus no inter conversion between binary and decimal is required. A set of carefully selected features have been incorporated in proposed GQIEA-MKP to obtain better solutions in lesser time. Comparison with QIEA-MKP shows that GQIEA-MKP outperforms it in providing better solutions in lesser time for large sized MKPs. The generalization proposed can be used with advantage in other Combinatorial Optimization problems with integer strings as solutions.

Download Full-text

Low Latency Aware Fog Nodes Placement in Internet of Things Service Infrastructure

Journal of Circuits System and Computers ◽

10.1142/s0218126622500177 ◽

2021 ◽

pp. 2250017

Author(s):

Prasenjit Maiti ◽

Bibhudatta Sahoo ◽

Ashok Kumar Turuk

Keyword(s):

Genetic Algorithm ◽

Combinatorial Optimization ◽

Optimization Problems ◽

Fog Computing ◽

Hybrid Genetic Algorithm ◽

Np Hard ◽

Swarm Optimization ◽

Node Placement ◽

Combinatorial Optimization Problems ◽

Iot Applications

Fog Computing extends storage and computation resources closer to end-devices. In several cases, the Internet of Things (IoT) applications that are time-sensitive require low response time. Thus, reducing the latency in IoT networks is one of the essential tasks. To this end, fog computing is developed with a motive for the data production and consumption to always be within proximity; therefore, the fog nodes must be placed at the edge of the network, which is near the end devices, such that the latency is minimized. The optimal location selection for fog node placement within a network out of a very large number of possibilities, such as minimize latency, is a challenging problem. So, it is a combinatorial optimization problem. Hard combinatorial optimization problems (NP-hard) involve huge discrete search spaces. The fog node placement problem is an NP-hard problem. NP-hard problems are often addressed by using heuristic methods and approximation algorithms. Combinatorial optimization problems can be viewed as searching for the best element of some set of discrete items; therefore in principle, any metaheuristic can be used to solve them. To resolve this, meta-heuristic-based methods is proposed. We apply the Simulated Annealing (SA), Genetic Algorithm (GA) and Particle Swarm Optimization (PSO) technique to design fog node placement algorithms. Genetic Algorithm is observed to give better solutions. Since Genetic Algorithm may get stuck in local optima, Hybrid Genetic Algorithm, and Simulated Annealing (GA-SA), Hybrid Genetic Algorithm and Particle Swarm Optimization (GA-PSO) were compared with GA. By extensive simulations, it is observed that hybrid GA-SA-based for node placement algorithm outperforms other baseline algorithms in terms of response time for the IoT applications.

Download Full-text

An Improved Generalized Quantum-Inspired Evolutionary Algorithm for Multiple Knapsack Problem

International Journal of Applied Evolutionary Computation ◽

10.4018/ijaec.2018010102 ◽

2018 ◽

Vol 9 (1) ◽

pp. 17-51

Author(s):

Sulabh Bansal ◽

C. Patvardhan

Keyword(s):

Combinatorial Optimization ◽

Evolutionary Algorithms ◽

Knapsack Problem ◽

Optimization Problems ◽

Binary Number ◽

Np Hard ◽

Combinatorial Optimization Problems ◽

Multiple Knapsack Problem ◽

Multiple Knapsack ◽

Decimal Numbers

This article describes how the 0/1 Multiple Knapsack Problem (MKP), a generalization of popular 0/1 Knapsack Problem, is NP-hard and harder than simple Knapsack Problem. Solution of MKP involves two levels of choice – one for selecting an item to be placed and the other for selecting the knapsack in which it is to be placed. Quantum Inspired Evolutionary Algorithms (QIEAs), a subclass of Evolutionary algorithms, have been shown to be effective in solving difficult problems particularly NP-hard combinatorial optimization problems. QIEAs provide a general framework which needs to be customized according to the requirements of a given problem to obtain good solutions in reasonable time. An existing QIEA for MKP (QIEA-MKP) is based on the representation where a Q-bit collapse into a binary number. But decimal numbers are required to identify the knapsack where an item is placed. The implementation based on such representation suffers from overhead of frequent conversion from binary numbers to decimal numbers and vice versa. The generalized QIEA (GQIEA) is based on a representation where a Q-bit can collapse into an integer and thus no inter conversion between binary and decimal is required. A set of carefully selected features have been incorporated in proposed GQIEA-MKP to obtain better solutions in lesser time. Comparison with QIEA-MKP shows that GQIEA-MKP outperforms it in providing better solutions in lesser time for large sized MKPs. The generalization proposed can be used with advantage in other Combinatorial Optimization problems with integer strings as solutions.

Download Full-text

A Novel Metaheuristic for Travelling Salesman Problem

Journal of Industrial Engineering ◽

10.1155/2013/347825 ◽

2013 ◽

Vol 2013 ◽

pp. 1-5 ◽

Cited By ~ 2

Author(s):

Vahid Zharfi ◽

Abolfazl Mirzazadeh

Keyword(s):

Combinatorial Optimization ◽

Optimization Problems ◽

Travelling Salesman Problem ◽

Network Routing ◽

Np Hard ◽

Travelling Salesman ◽

Combinatorial Optimization Problems ◽

Hard Problems ◽

Insight Into ◽

Np Hard Problems

One of the well-known combinatorial optimization problems is travelling salesman problem (TSP). This problem is in the fields of logistics, transportation, and distribution. TSP is among the NP-hard problems, and many different metaheuristics are used to solve this problem in an acceptable time especially when the number of cities is high. In this paper, a new meta-heuristic is proposed to solve TSP which is based on new insight into network routing problems.

Download Full-text