Robotic-Based Well-Being Monitoring and Coaching System for the Elderly in Their Daily Activities

The increasingly ageing population and the tendency to live alone have led science and engineering researchers to search for health care solutions. In the COVID 19 pandemic, the elderly have been seriously affected in addition to suffering from isolation and its associated and psychological consequences. This paper provides an overview of the RobWell (Robotic-based Well-Being Monitoring and Coaching System for the Elderly in their Daily Activities) system. It is a system focused on the field of artificial intelligence for mood prediction and coaching. This paper presents a general overview of the initially proposed system as well as the preliminary results related to the home automation subsystem, autonomous robot navigation and mood estimation through machine learning prior to the final system integration, which will be discussed in future works. The main goal is to improve their mental well-being during their daily household activities. The system is composed of ambient intelligence with intelligent sensors, actuators and a robotic platform that interacts with the user. A test smart home system was set up in which the sensors, actuators and robotic platform were integrated and tested. For artificial intelligence applied to mood prediction, we used machine learning to classify several physiological signals into different moods. In robotics, it was concluded that the ROS autonomous navigation stack and its autodocking algorithm were not reliable enough for this task, while the robot’s autonomy was sufficient. Semantic navigation, artificial intelligence and computer vision alternatives are being sought.

Merging Grid Maps in Diverse Resolutions by the Context-based Descriptor

Building an accurate map is essential for autonomous robot navigation in the environment without GPS. Compared with single-robot, the multiple-robot system has much better performance in terms of accuracy, efficiency and robustness for the simultaneous localization and mapping (SLAM). As a critical component of multiple-robot SLAM, the problem of map merging still remains a challenge. To this end, this article casts it into point set registration problem and proposes an effective map merging method based on the context-based descriptors and correspondence expansion. It first extracts interest points from grid maps by the Harris corner detector. By exploiting neighborhood information of interest points, it automatically calculates the maximum response radius as scale information to compute the context-based descriptor, which includes eigenvalues and normals computed from local structures of each interest point. Then, it effectively establishes origin matches with low precision by applying the nearest neighbor search on the context-based descriptor. Further, it designs a scale-based corresponding expansion strategy to expand each origin match into a set of feature matches, where one similarity transformation between two grid maps can be estimated by the Random Sample Consensus algorithm. Subsequently, a measure function formulated from the trimmed mean square error is utilized to confirm the best similarity transformation and accomplish the coarse map merging. Finally, it utilizes the scaling trimmed iterative closest point algorithm to refine initial similarity transformation so as to achieve accurate merging. As the proposed method considers scale information in the context-based descriptor, it is able to merge grid maps in diverse resolutions. Experimental results on real robot datasets demonstrate its superior performance over other related methods on accuracy and robustness.

Online appearance-based place recognition and mapping algorithms for autonomous robot navigation

Τα αυτόνομα ρομποτικά συστήματα αποτελούν ένα από τα τμήματα που βρίσκονται στην αιχμή της τεχνολογίας και της έρευνας. Τα σύγχρονα ρομποτικά συστήματα που δημιουργούνται δύναται να έχουν την ικανότητα να μπορούν να προσδιορίσουν την θέση τους μέσα στο περιβάλλον το οποίο περιπλανιούνται. Η επίτευξη του συγκεκριμένου στόχου επιτυγχάνεται μέσω της κατασκευής ενός χάρτη την στιγμή που πλοηγείται, μέσω ενός μηχανισμού που είναι ευρέως γνωστός ως ταυτόχρονος προσδιορισμός θέσης και τοποθεσίας (Simultaneous Localization and Mapping –SLAM). Ο χάρτης δημιουργείται μέσω των μετρήσεων που δέχεται το σύστημα από τους επιμέρους αισθητήρες που είναι τοποθετημένοι επάνω στο ρομποτικό σύστημα. Η αύξηση της υπολογιστικής ισχύς τα τελευταία χρόνια και η ευρέως διαδεδομένη χρήση των καμερών οδήγησε στα αυτόνομα συστήματα να επιλέγεται ως κύρια πηγή απόκτησης δεδομένων η χρήση καμερών. Καθώς όμως το ρομπότ διασχίζει την τροχιά του μέσα σε ένα άγνωστο περιβάλλον είναι έντονος ο κίνδυνος δημιουργίας ενός χάρτη με εσφαλμένα στοιχεία στην σχεδιασμένη τροχιά, με κύρια αίτια που μπορεί να σχετίζονται στην κακή εκτίμηση μετρήσεων των αισθητήριων ή σε ενδεχόμενη δυσλειτουργία των ενσωματωμένων οργάνων του συστήματος. Το πρόβλημα που αναφέρθηκε αποτελεί κίνδυνο για την περάτωση της αποστολής του ρομποτικού συστήματος, το οποίο όμως μπορεί να διορθωθεί με επαναπροσδιορισμό της τροχιάς του εφόσον είναι εφικτή η αναγνώριση της περιοχής που διασχίζει μέσω των οπτικών αισθητηρίων που διαθέτει. Τα συστήματα τα οποία βασίζονται αποκλειστικά στις κάμερες ως μέσα αναγνώρισης περιοχής είναι γνωστά ως εμφάνισης βασιζόμενα συστήματα (appearance based systems) και οι τεχνικές που προσπαθούν να λύσουν το πρόβλημα είναι γνωστές ως ανίχνευση κλειστών βρόγχων (loop closure detection). Η παρούσα διδακτορική διατριβή εστιάζει στην δημιουργία ενός αντίστοιχου συστήματος ικανού να αναγνωρίσει μια επαναλαμβανόμενα επισκεπτόμενη περιοχή μέσω των εισερχόμενων εικόνων που δέχεται. Η επίτευξη του συστήματος στηρίζεται σε τρείς σημαντικές μονάδες. Στην αρχή έρχεται η μονάδα επεξεργασίας εικόνας (image processing) με την οποία είναι εφικτή η ερμηνεία των εισερχόμενων εικόνων. Μέσω τεχνικών περιγραφής εικόνας είναι δυνατή η λήψη σημείων ενδιαφέροντος ικανά να περιγράψουν την σκηνή που αντιμετωπίζει το ρομπότ. Κάθε εικόνα ενδέχεται να περιέχει εκατοντάδες τοπικά σημεία ενδιαφέροντος με αποτέλεσμα να μπορεί να περιγραφεί ως ένα σύνολο από επιμέρους χαρακτηριστικά. Ο χάρτης (map) αποτελεί την μονάδα που είναι υπεύθυνη για την αναπαράσταση του κόσμου που γνωρίζει το ρομπότ με βάση τα χαρακτηριστικά που έχουν ληφθεί από τις σκηνές που έχει επισκεφθεί. Τέλος, έρχεται η μονάδα πεποίθησης πιθανής περιοχής (belief generator), η οποία συνδυάζει τα εισερχόμενα δεδομένα με τα δεδομένα του χάρτη ώστε να είναι σε θέση να λάβει την απόφαση για το αν το σύστημα βρίσκεται ή όχι σε οικεία περιοχή με σκοπό να επαναπροσδιορίσει την τροχιά του.

Robot Navigation Based on Predicting of Human Interaction and its Reproducible Evaluation in a Densely Crowded Environment

To achieve robot navigation in crowded environments having high densities of moving people, it is insufficient to simply consider humans as moving obstacles and avoid collisions with them. That is, the impact of an approaching robot on human movements must be considered as well. Moreover, various navigation methods have been tested in their own environments in the literature, which made them difficult to compare with one another. Thus, we propose an autonomous robot navigation method in densely crowded environments for data-based predictions of robot-human interactions, together with a reproducible experimental test under controlled conditions. Based on localized positional relationships with humans, this method extracts multiple alternative paths, which can implement either following or avoidance, and selects an optimal path based on time efficiency. Each path is selected using neural networks, and the various paths are evaluated by predicting the position after a given amount of time has elapsed. These positions are then used to calculate the time required to reach a certain target position to ensure that the optimal path can be determined. We trained the predictor using simulated data and conducted experiments using an actual mobile robot in an environment where humans were walking around. Using our proposed method, collisions were avoided more effectively than when conventional navigation methods were used, and navigation was achieved with good time efficiency, resulting in an overall reduction in interference with humans. Thus, the proposed method enables an effective navigation in a densely crowded environment, while collecting human-interaction experience for further improvement of its performance in the future.