FPGA Implementation of Image Ordering and Packing Algorithm for TuMag Camera

The TuMag instrument is a Tunable Magnetograph that has been designed to measure the magnetic field of the sun. This instrument and others will be connected to a telescope that will be sent into the stratosphere using a balloon for an uninterrupted observation of the sun for four days in the summer of 2022. The TuMag camera is a new development for implementing the image detector of the instrument. It is based on the GPIXEL GSENSE400-BSI scientific CMOS image sensor and an FPGA device in charge of controlling the image sensor, configuring it and grabbing images. FPGA device consists of an array of Configurable Logic Blocks. However, the sensor does not supply the image data in a row-by-column format. This task has to be done in the FPGA that controls the sensor because the frame grabber has a significant workload with the control of all the instruments, the telescope, the refrigeration, the navigation, and so on. This work describes the FPGA implementation of Image Ordering and Packing algorithm for TuMag Camera concerning the real-time ordering of the images before grabbing and sending to the Data Processing Unit.

APLIKASI PENGOLAHAN CITRA UNTUK PROSES SORTASI BUAH MANGGA BERDASARKAN DIMENSI DAN BOBOT

Mangga memiliki ukuran dan bobot yang berbeda. Terkadang para petani masih menggunakan cara manual dalam membedakan mutu mangga. Cara manual sering kali tidak akurat dan konsisten dikarenakan setiap manusia memiliki persepsi masing-masing. Berdasarkan masalah tersebut telah dirancang sebuah mesin sortasi mangga menggunakan teknik pengolahan citra. Penelitian ini dimulai dari pengumpulan informasi parameter mutu buah mangga serta mempelajari konsep pengolahan citra dalam proses penentuan mutu dan sortasi buah. Penelitian ini hanya difokuskan pada parameter dimensi dan bobot. Pengelompokan buah mangga menggunakan bobot dilakukan berdasarkan statistik sampel buah mangga yang digunakan. Mangga dibagi ke dalam tiga kelompok yaitu A, B, dan C. Kelompok A dengan bobot mangga lebih besar dari 350 g, B dengan bobot mangga antara 200 g – 350 g, dan C dengan bobot kurang dari 200 g. Ruang pengambilan citra didesain tertutup dan dilengkapi sistem akuisisi citra menggunakan webcam dengan resolusi 3 Megapixel sehingga mampu menghasilkan citra sebesar 352 x 288 pixel. Citra dipetakan ke dalam koordinat dua dimensi yang setiap titiknya terdiri dari satu pixel menggunakan komponen frame grabber. Pengujian menggunakan sampel mangga sejumlah 100 kg secara acak. Berdasarkan hasil pengujian hubungan jumlah pixel terhadap luas permukaan buah mangga diperoleh bahwa algoritma pengolahan citra yang dibuat telah mampu menduga luas permukaan mangga dengan R2 sebesar 0,99 dan nilai RSME sebesar 0,19 cm2. Hasil pengujian korelasi dimensi dan bobot mangga menunjukkan terdapat hubungan yang berbanding lurus. Meskipun demikian, pendugaan bobot dengan metode ini dapat dikatakan memiliki hasil R2 hanya sebesar 0,76 dan nilai RSME sebesar 26,53 g.

Επιτάχυνση εκτέλεσης προηγμένων αλγορίθμων επεξεργασίας εικόνας και βίντεο σε επαναδιαμορφούμενο υλικό (FPGA), για εφαρμογές ρομποτικής όρασης

Το πρόβλημα της εύρεσης αντιστοιχιών ανάμεσα σε παρόμοιες εικόνες αποτελεί ένα από τα πιο πολυσύνθετα και δύσκολα προβλήματα στην επεξεργασία εικόνας. Η εξαγωγή χαρακτηριστικών σημείων εικόνων και η χρήση τους για την εύρεση των αντιστοιχιών αποτελεί μία μεθοδολογία που βελτιώνει την αξιοπιστία της διαδικασίας αντιστοίχησης. Στη βιβλιογραφία μπορούν να εντοπιστούν αρκετοί αλγόριθμοι για την εξαγωγή χαρακτηριστικών σημείων. Ένας από τους πιο αξιόπιστους και ακριβείς αλγορίθμους είναι ο αλγόριθμος SIFT (Scale Invariant Feature Transform). Ωστόσο, η εκτέλεσή του προϋποθέτει ιδιαίτερα απαιτητικούς υπολογισμούς και η χρήση του σε εφαρμογές πραγματικού χρόνου θα μπορούσε να χαρακτηριστεί ως αναποτελεσματική. Στα πλαίσια της παρούσας διδακτορικής διατριβής περιγράφεται η υλοποίηση σε FPGA ενός επιταχυντή για την εύρεση αντιστοιχιών ανάμεσα σε διαδοχικά πλαίσια βίντεο, χρησιμοποιώντας τα χαρακτηριστικά σημεία SIFT. Ο προτεινόμενος επιταχυντής σε FPGA πραγματοποιεί ανίχνευση και εξαγωγή των χαρακτηριστικών SIFT μέσα από μια πλήρως παραλληλισμένη (pipelined) αρχιτεκτονική. Επίσης, περιλαμβάνει τη διαδικασία αντιστοίχησης (matching) των χαρακτηριστικών σημείων ανάμεσα σε δύο πλαίσια βίντεο, η οποία σχεδιάστηκε με την αρχή να ακολουθεί την παραλληλισμένη αρχιτεκτονική των προηγούμενων βαθμίδων. Στην τελευταία βαθμίδα του επιταχυντή, εφαρμόζεται ο αλγόριθμος RANSAC (random sample consensus) για την απομάκρυνση των εσφαλμένων αντιστοιχιών. Ο RANSAC, αν και αποτελεί έναν επαναληπτικό αλγόριθμο ιδιαίτερα απαιτητικό, είναι επίσης παραλληλισμένος σε μεγάλο βαθμό και η ολοκλήρωση της εκτέλεσής του απαιτεί μερικούς κύκλους ρολογιού. Συνοψίζοντας, η αρχιτεκτονική του επιταχυντή περιλαμβάνει όλα τα στάδια που απαιτούνται από τη σύλληψη της εικόνας μέχρι και την εξαγωγή των σωστών αντιστοιχιών. Ο επιταχυντής περιλαμβάνει μία σειρά από ελεγκτές που αναπτύχθηκαν με στόχο την ελαχιστοποίηση των πόρων που απαιτούνται στο FPGA. Ο κυριότερος ελεγκτής είναι ο ελεγκτής σύλληψης των εισερχόμενων πλαισίων βίντεο (frame grabber) από την κάμερα (CMOS αισθητήρας εικόνας). Περιλαμβάνει τον ελεγκτή (I2C controller) για τη ρύθμιση της κάμερας, τον ελεγκτή για την εξαγωγή της φωτεινότητας των εικονοστοιχείων από την κωδικοποίηση Bayer, καθώς επίσης και έναν ελεγκτή VGA για οπτική επαλήθευση. Επιπλέον, για χρήση σε διάφορες λειτουργίες του επιταχυντή υλοποιήθηκαν οι ελεγκτές SPI master, ελεγκτής επικοινωνίας με συσκευή USB και ο ελεγκτής μνήμης SDR SDRAM. Στην παρούσα διατριβή προτείνονται δύο βασικές πρωτοτυπίες ως προς τον τρόπο που υλοποιείται ο ανιχνευτής SIFT (SIFT detector). Αρχικά προτείνεται μια διαφορετική τεχνική για τη δημιουργία του χώρου κλιμάκωσης (scale space). Στη βιβλιογραφία, συνήθως, συναντάται το σχήμα καταρράκτη (cascade scheme) όπου κάθε επόμενη γκαουσιανή προκύπτει από την γκαουσιανή της προηγούμενης κλίμακας. Ο προτεινόμενος επιταχυντής χρησιμοποιεί μια μέθοδο εφαρμόζοντας γκαουσιανά φίλτρα στην ίδια αρχική εικόνα με προσεκτικά επιλεγμένη την τυπική απόκλιση. Με τον τρόπο αυτό επιτυγχάνεται μείωση της απαιτούμενης μνήμης στο FPGA. Επιπλέον, με το σχήμα αυτό είναι δυνατή η επαναχρησιμοποίηση των γκαουσιανών όταν ζητούνται περισσότερες κλίμακες. Η δεύτερη πρωτοτυπία βασίζεται στον τρόπο που υλοποιείται η συνέλιξη. Συνήθως στη βιβλιογραφία συναντάται το σχήμα της διαχωρίσιμης συνέλιξης. Με το σχήμα που υλοποιείται στον επιταχυντή γίνεται εξοικονόμηση πολλαπλασιαστών, χωρίς απώλεια της ακρίβειας στον αλγόριθμο SIFT. Μια σημαντική συνεισφορά της διατριβής αποτελεί ο πλήρης παραλληλισμός του αλγορίθμου εξαγωγής χαρακτηριστικών σημείων SIFT. Η προτεινόμενη αρχιτεκτονική έχει τη δυνατότητα να εξάγει έναν περιγραφέα ανά παλμό ρολογιού. Καθώς διαβάζονται τα εικονοστοιχεία από την κάμερα με τη μορφή streaming, με τον ίδιο ρυθμό γίνεται και η εξαγωγή χαρακτηριστικών σημείων (SIFT detector/descriptor), αναφερόμενοι σε άλλα εικονοστοιχεία που διαβάστηκαν σε προηγούμενο χρόνο. Με την ίδια αρχή είναι σχεδιασμένο στον επιταχυντή και τo κύκλωμα εύρεσης αντιστοιχιών. Κάθε νέο χαρακτηριστικό, που λαμβάνεται από το τρέχον πλαίσιο βίντεο, συγκρίνεται με αποθηκευμένα χαρακτηριστικά του προηγούμενου πλαισίου και η αντιστοίχηση, αν υπάρχει, εξάγεται σε 1 παλμό ρολογιού. Θα πρέπει να αναφερθεί ότι πολύ σημαντικός είναι και ο βαθμός στον οποίο έχει παραλληλιστεί ο RANSAC. Ο RANSAC συνήθως εκτελείται επαναληπτικά και απαιτείται υπολογίσιμος χρόνος για την ολοκλήρωσή του. Για την ελάττωση του χρόνου εκτέλεσης του RANSAC, πολλές φορές χρησιμοποιούνται λιγότερα τυχαία δείγματα για τον υπολογισμό του πίνακα μετασχηματισμού. Αυτό όμως μπορεί να οδηγήσει σε μείωση της ακρίβειας στην απομάκρυνση των εσφαλμένων αντιστοιχιών, καθώς μπορεί να απορριφθούν και πραγματικές αντιστοιχήσεις. Με την προτεινόμενη υλοποίηση του RANSAC είναι δυνατή η εκτέλεση του αλγορίθμου χρησιμοποιώντας όλους τους δυνατούς συνδυασμούς των αντιστοιχιών ως τυχαία δείγματα, κάτι που προσδίδει τη μέγιστη δυνατή ακρίβεια στον πίνακα μετασχηματισμού. Η επιτάχυνση που επιτυγχάνεται στην εκτέλεση του αλγορίθμου SIFT είναι ιδιαίτερα σημαντική. Να σημειωθεί ότι ο χρόνος εξαγωγής ενός περιγραφέα SIFT υπολογίστηκε στα 40ns, περίπου 50 φορές μικρότερος σε σύγκριση με εργασίες οι οποίες υλοποιούν τον αλγόριθμο χρησιμοποιώντας μηχανές καταστάσεων (state machines). Επιπλέον, παρουσιάζεται για πρώτη φορά στη βιβλιογραφία κύκλωμα εύρεσης αντιστοιχιών, το οποίο έχει τη δυνατότητα να υπολογίζει μια αντιστοιχία σε χρόνο 80ns. Η συνολική αρχιτεκτονική ανιχνευτή/περιγραφέα/κυκλώματος εύρεσης αντιστοιχιών μπορεί να φιλοξενηθεί σε FPGA μεσαίας κλίμακας, όπως της οικογένειας Cyclone IV της Altera. Περισσότερα για την υλοποίηση των παραπάνω δίνονται στα κεφάλαια που ακολουθούν. Στο πρώτο κεφάλαιο γίνεται μια εισαγωγή στους αλγορίθμους εξαγωγής χαρακτηριστικών σημείων σε εικόνες. Στο δεύτερο κεφάλαιο παρουσιάζεται η δομή του επιταχυντή και οι ελεγκτές που υλοποιούν τις βασικές λειτουργίες. Στο τρίτο κεφάλαιο αναλύεται ο ανιχνευτής και ο περιγραφέας των χαρακτηριστικών σημείων SIFT. Στο τέταρτο κεφάλαιο παρουσιάζεται το κύκλωμα εύρεσης αντιστοιχιών των χαρακτηριστικών σημείων (SIFT matcher). Στο πέμπτο κεφάλαιο δίνονται οι λεπτομέρειες υλοποίησης για τις αρχιτεκτονικές του RANSAC. Στο έκτο κεφάλαιο παρουσιάζονται τα συμπεράσματα και αναλύονται προοπτικές μελλοντικής έρευνας.

DIGITISASI DAN PRINT-OUT CITRA RADIOGRAFI KARSINOMA NASOFARING

Telah dilakukan penelitian tentang proses digitisasi dan print-out citra radiografi karsinoma nasofaring luaran suatu perangkat simulator di RS. DR.Sardjito. Proses digitisasi dilakukan menggunakan sistem frame grabber yang dikembangkan oleh Laboratorium Fisika Citra FMIPA UGM yang terhubung dengan sistem radiografi fluoroskopi. Setelah diperoleh 20 citra untuk sekali proses paparan radiasi, dilakukan proses normalisasi dan proses kalkulasi citra. Proses analisis terhadap citra hasil meliputi analisis visual, histogram, dan profil garis yang dilakukan menggunakan software New Image Analyzer 2007. Untuk kepentingan dokumentasi permanen, citra di-print-out. Berdasarkan penelitian ini, operasi add dapat memberikan kualitas visual citra terbaik, sebagaimana tampak di layar monitor maupun setelah di-print-out. Kualitas citra hasil print-out relatif tetap sepanjang spesifikasi printer yang digunakan sesuai. Kata kunci: Digitisasi, Print-out, Frame Grabber, Radiografi Fluoroskopi, Karsinoma Nasofaring

The Application of Image Recognition Based on BP Neural Networks in Automatic Steel Rolling

A BP neural networks is presented for billet character recognition. Firstly, by a series of image processing techniques, the character’feature in the billet character region of the video image gathered by frame grabber is abstracted. Secondly, the BP neural networks algorithm is employed for character recognition. Application results show that the image recognition based BP neural networks can performs well in billet character recognition, and the method presented is speedy, efficient and of high value in practice.