Összefoglalás. A mély mesterséges neuronhálók elterjedése az ipari
alkalmazásokban évekkel azok megbízhatóságával, értelmezhetőségével, és biztonságával
kapcsolatos szakterületek fejlődését megelőzően történt. Az egyik, gyakorlatban is
jelentős területen, a képfelismerésben például a megvalósult megoldások szinte már emberi
teljesítményre képesek, de ezzel együtt célzott zajjal ezek a rendszerek félrevezethetők,
megzavarhatók. Jelen kéziratban ismertetünk néhány tipikus biztonsági problémát, valamint
rámutatunk arra, hogy a hagyományos szoftverfejlesztés területén alkalmazott
minőségbiztosítási módszerekkel rokon megoldásokra szükség van az MI-re épülő rendszerek
fejlesztésében, akár a mesterséges neuronhálók biztonságát, akár az MI rendszerek
hagyományos komponenseinek fejlesztését tartjuk szem előtt.
Summary. Research on the trustworthiness, interpretability and security of
deep neural networks lags behind the widespread application of the technology in
industrial applications. For example, in image recognition, modern solutions are capable
of nearly human performance. However, with targeted adversarial noise, these systems can
be arbitrarily manipulated. Here, we discuss some of the security problems and point out
that quality assurance methods used in traditional software development should also be
adapted when developing AI-based systems, whether in the security of artificial neural
networks or traditional components of AI systems. One of the main concerns about neural
networks today that – to the best of our knowledge – affects all deep neural networks is
the existence of adversarial examples. These examples are relatively easy to find and
according to a recent experiment, a well-chosen input can attack more networks at the same
time. In this paper we also present a wider perspective of security of neural
architectures borrowed from the traditional software engineering discipline. While in
traditional development several methods are widely applied for software testing and fault
localization, there is a lack of similar well-established methods in the neural network
context. In case of deep neural networks, systematic testing tools and methods are in the
early stage, and a methodology to test and verify the proper behavior of the neural
networks is highly desirable. Robustness testing of machine learning algorithms is a
further issue. This requires the generation of large random input data using fuzz testing
methods. The adaptation of automatic fault localization techniques has already started by
defining notions like code coverage to neural networks. Lastly, we argue that the
effective development of high quality AI-based systems need well suited frameworks that
can facilitate the daily work of scientists and software developers – like the Deep-Water
framework, presented in the closing part of the paper.
Fault Localization upon Non-Supervised Neural Networks and Unknown Input Observers for Bounded Faults