Survey on Machine Learning Algorithms Enhancing the Functional Verification Process

The continuing increase in functional requirements of modern hardware designs means the traditional functional verification process becomes inefficient in meeting the time-to-market goal with sufficient level of confidence in the design. Therefore, the need for enhancing the process is evident. Machine learning (ML) models proved to be valuable for automating major parts of the process, which have typically occupied the bandwidth of engineers; diverting them from adding new coverage metrics to make the designs more robust. Current research of deploying different (ML) models prove to be promising in areas such as stimulus constraining, test generation, coverage collection and bug detection and localization. An example of deploying artificial neural network (ANN) in test generation shows 24.5× speed up in functionally verifying a dual-core RISC processor specification. Another study demonstrates how k-means clustering can reduce redundancy of simulation trace dump of an AHB-to-WHISHBONE bridge by 21%, thus reducing the debugging effort by not having to inspect unnecessary waveforms. The surveyed work demonstrates a comprehensive overview of current (ML) models enhancing the functional verification process from which an insight of promising future research areas is inferred.

Automated Specification-Based Testing of REST APIs

Nowadays, REpresentational State Transfer Application Programming Interfaces (REST APIs) are widely used in web applications, hence a plethora of test cases are developed to validate the APIs calls. We propose a solution that automates the generation of test cases for REST APIs based on their specifications. In our approach, apart from the automatic generation of test cases, we provide an option for the user to influence the test case generation process. By adding user interaction, we aim to augment the automatic generation of APIs test cases with human testing expertise and specific context. We use the latest version of OpenAPI 3.x and a wide range of coverage metrics to analyze the functionality and performance of the generated test cases, and non-functional metrics to analyze the performance of the APIs. The experiments proved the effectiveness and practicability of our method.

Optimal Selection of Model Validation Experiments: Guided by Coverage

Modeling and Simulation (M&S) is seen as a means to mitigate the difficulties associated with increased system complexity, integration, and cross-couplings effects encountered during development of aircraft sub-systems. As a consequence, knowledge of model validity is necessary for taking robust and justified design decisions. This paper presents a method for using coverage metrics, to formulate an optimal model validation strategy. Three fundamentally different and industrially relevant use-cases are presented. The first use-case entails the successive identification of validation settings and the second considers the simultaneous identification of n validation settings. The latter of these two use-cases is finally expanded to incorporate a secondary model-based objective to the optimization problem in a third use-case. The approach presented is designed to be scalable and generic to models of industrially relevant complexity. As a result, selecting experiments for validation is done objectively with little required manual effort.

Μοντελοποίηση με πραγματικούς αριθμούς και επιβεβαίωση ορθής λειτουργίας για σχεδιασμούς μικτών ολοκληρωμένων κυκλωμάτων

Στη σύγχρονη εποχή, η βιομηχανία ημιαγωγών έχει στρέψει το ενδιαφέρον της σε εφαρμογές ολοκληρωμένων κυκλωμάτων μικτού σήματος τα οποία ενσωματώνονται σε Συστήματα-εντός-ολοκληρωμένου. Βασικοί στόχοι της βιομηχανίας είναι η δημιουργία αξιόπιστων και γρήγορων μικτών σχεδιασμών, οι οποίοι αποτελούνται τόσο από ψηφιακά όσο και από αναλογικά στοιχεία, καθώς και η μείωση του συνολικού χρόνου που χρειάζονται για να διατεθούν στην αγορά τέτοιου είδους ολοκληρωμένα κυκλώματα. Για τη γρήγορο είσοδο στην αγορά, απαιτείται πλέον υψηλότερη ταχύτητα προσομοίωσης σε επίπεδο συστήματος, σε σχέση με παραδοσιακές προσεγγίσεις μοντελοποίησης μικτού σήματος. Η μοντελοποίηση με πραγματικούς αριθμούς (Real Number Modeling – RNM) μπορεί να αποτελέσει μία αποτελεσματική λύση σε αυτό το πρόβλημα. Στην παρούσα διδακτορική διατριβή, υλοποιήθηκαν ένας flash μετατροπέας αναλογικού σε ψηφιακό (flash analog-to-digital converter – flash ADC), ένας σίγμα-δέλτα μετατροπέας αναλογικού σε ψηφιακό (sigma-delta ADC), ένας ταλαντωτής ελεγχόμενος από τάση (Voltage Controlled Oscillator - VCO) και ένας βρόχος κλειδωμένης φάσης (phase-locked loop - PLL) ως παραμετροποιήσιμα RNM μοντέλα με τη χρήση SystemVerilog. Τα μοντέλα δημιουργήθηκαν με ικανοποιητική ακρίβεια, ενώ η διαδικασία επαλήθευσής τους αναλύθηκε και επιτεύχθηκε με τη χρήση μίας καινοτόμας μετρικής για εκτίμηση της ακρίβειας μοντελοποίησης. Η δυνατότητα παραμετροποίησης των προτεινόμενων μοντέλων ενισχύει τη δυνατότητα χρησιμοποίησής τους σε διάφορους σχεδιασμούς Συστημάτων-εντός-ολοκληρωμένου. Στόχος αυτής της διατριβής είναι η υπογράμμιση της αποτελεσματικότητας της RNM μοντελοποίησης με χρήση SystemVerilog και η επίδειξη τρόπων εφαρμογής της RNM για τη μοντελοποίηση και προσομοίωση ευρέως χρησιμοποιούμενων μικτών ολοκληρωμένων κυκλωμάτων. Τα προτεινόμενα RNM μοντέλα συγκρίθηκαν με μοντέλα αναφοράς υλοποιημένα σε Verilog-A, Verilog-AMS και SPICE (επιπέδου τρανζίστορ). Όλοι οι έλεγχοι έδειξαν ότι τα προτεινόμενα μοντέλα επιδεικνύουν αξιοσημείωτη βελτίωση σε απόδοση προσομοίωσης συγκριτικά με προηγούμενες μελέτες της βιβλιογραφίας, διατηρώντας παράλληλα ικανοποιητικά επίπεδα ακρίβειας. Από την άλλη πλευρά, η επιβεβαίωση ορθής λειτουργίας σχεδιασμών μικτών ολοκληρωμένων κυκλωμάτων αποτελεί ένα σημαντικό παράγοντα για τη δημιουργία γρήγορων και αξιόπιστων σχεδιασμών. Οι συμβατικές προσεγγίσεις επιβεβαίωσης παρουσιάζουν πολύ αργούς χρόνους προσομοίωσης, κάτι το οποίο αυξάνει τελικά το χρόνο εισόδου στην αγορά. Στη παρούσα διατριβή, προτάθηκαν αποτελεσματικές αρχιτεκτονικές επιβεβαίωσης με τη χρήση του προτύπου επιβεβαίωσης Universal Verification Methodology (UVM) για τα προαναφερόμενα RNM μοντέλα των sigma-delta ADC, flash ADC και ψηφιακού PLL. Η αποτελεσματικότητα της χρήσης της UVM στις προτεινόμενες προσεγγίσεις συνδυαστικά με τα RNM μοντέλα, τα οποία χρησιμοποιούν ψηφιακούς προσομοιωτές για γρήγορη προσομοίωση, ενισχύουν τη δημιουργία αρχιτεκτονικών επιβεβαίωσης με αυξημένη ικανότητα επαναχρησιμοποίησης και αξιοπιστία, σε σύγκριση με προηγούμενες μελέτες της βιβλιογραφίας. Τα παρουσιασμένα περιβάλλοντα επιβεβαίωσης αξιοποίησαν τη μέθοδο παραγωγής τυχαίων ερεθισμάτων εισόδου με περιορισμούς (constrained-random stimuli generation), αναλογικούς ισχυρισμούς (analog assertions) και μετρικές κάλυψης (coverage metrics) για βελτιωμένη επιβεβαίωση της λειτουργικότητας. Επιπρόσθετα, παρουσιάστηκε μία μετρική εκτίμησης του βαθμού της ποιότητας επιβεβαίωσης για τα προτεινόμενα περιβάλλοντα και τα περιβάλλοντα αναφοράς. Σε κάθε περίπτωση, οι παρουσιασμένες αρχιτεκτονικές επιβεβαίωσαν την ορθή λειτουργία των RNM μοντέλων με κάλυψη ανώ του 98%, σύμφωνα με τις παραμέτρους των προδιαγραφών που χρησιμοποιήθηκαν για τα μοντέλα.

A rapid, cost-effective tailed amplicon method for sequencing SARS-CoV-2

Background The global COVID-19 pandemic has led to an urgent need for scalable methods for clinical diagnostics and viral tracking. Next generation sequencing technologies have enabled large-scale genomic surveillance of SARS-CoV-2 as thousands of isolates are being sequenced around the world and deposited in public data repositories. A number of methods using both short- and long-read technologies are currently being applied for SARS-CoV-2 sequencing, including amplicon approaches, metagenomic methods, and sequence capture or enrichment methods. Given the small genome size, the ability to sequence SARS-CoV-2 at scale is limited by the cost and labor associated with making sequencing libraries. Results Here we describe a low-cost, streamlined, all amplicon-based method for sequencing SARS-CoV-2, which bypasses costly and time-consuming library preparation steps. We benchmark this tailed amplicon method against both the ARTIC amplicon protocol and sequence capture approaches and show that an optimized tailed amplicon approach achieves comparable amplicon balance, coverage metrics, and variant calls to the ARTIC v3 approach. Conclusions The tailed amplicon method we describe represents a cost-effective and highly scalable method for SARS-CoV-2 sequencing.

A Rapid, Cost-Effective Tailed Amplicon Method for Sequencing SARS-CoV-2

The global COVID-19 pandemic has led to an urgent need for scalable methods for clinical diagnostics and viral tracking. Next generation sequencing technologies have enabled large-scale genomic surveillance of SARS-CoV-2 as thousands of isolates are being sequenced around the world and deposited in public data repositories. A number of methods using both short- and long-read technologies are currently being applied for SARS-CoV-2 sequencing, including amplicon approaches, metagenomic methods, and sequence capture or enrichment methods. Given the small genome size, the ability to sequence SARS-CoV-2 at scale is limited by the cost and labor associated with making sequencing libraries. Here we describe a low-cost, streamlined, all amplicon-based method for sequencing SARS-CoV-2, which bypasses costly and time-consuming library preparation steps. We benchmark this tailed amplicon method against both the ARTIC amplicon protocol and sequence capture approaches and show that an optimized tailed amplicon approach achieves comparable amplicon balance, coverage metrics, and variant calls to the ARTIC v3 approach and represents a cost-effective and highly scalable method for SARS-CoV-2 sequencing.

Performance of the OncomineTM Lung cfDNA Assay for Liquid Biopsy by NGS of NSCLC Patients in Routine Laboratory Practice

Targeted next-generation sequencing (NGS) based on molecular tagging technology allowed considerable improvement in the approaches of cell-free DNA (cfDNA) analysis. Previously, we demonstrated the feasibility of the OncomineTM Lung cell-free DNA Assay (OLcfA) NGS panel when applied on plasma samples of post-tyrosine kinase inhibitors (TKIs) non-small cell lung cancer (NSCLC) patients. Here, we explored in detail the coverage metrics and variant calling of the assay and highlighted strengths and challenges by analyzing 92 plasma samples collected from a routine cohort of 76 NSCLC patients. First, performance of OLcfA was assessed using Horizon HD780 reference standards and sensitivity and specificity of 92.5% and 100% reported, respectively. The OLcfA was consequently evaluated in our plasma cohort and NGS technically successful in all 92 sequenced libraries. We demonstrated that initial cfDNA amount correlated positively with library yields (p < 0.0001) and sequencing performance (p < 0.0001). In addition, 0.1% limit of detection could be achieved even when < 10 ng cfDNA was employed. In contrast, the cfDNA amount seems to not affect the EGFR mutational status (p = 0.16). This study demonstrated an optimal performance of the OLcfA on routine plasma samples from NSCLC patients and supports its application in the liquid biopsy practice for cfDNA investigation in precision medicine laboratories.