Hierarchical Class-Based Curriculum Loss

Classification algorithms in machine learning often assume a flat label space. However, most real world data have dependencies between the labels, which can often be captured by using a hierarchy. Utilizing this relation can help develop a model capable of satisfying the dependencies and improving model accuracy and interpretability. Further, as different levels in the hierarchy correspond to different granularities, penalizing each label equally can be detrimental to model learning. In this paper, we propose a loss function, hierarchical curriculum loss, with two properties: (i) satisfy hierarchical constraints present in the label space, and (ii) provide non-uniform weights to labels based on their levels in the hierarchy, learned implicitly by the training paradigm. We theoretically show that the proposed hierarchical class-based curriculum loss is a tight bound of 0-1 loss among all losses satisfying the hierarchical constraints. We test our loss function on real world image data sets, and show that it significantly outperforms state-of-the-art baselines.

H-FL: A Hierarchical Communication-Efficient and Privacy-Protected Architecture for Federated Learning

The longstanding goals of federated learning (FL) require rigorous privacy guarantees and low communication overhead while holding a relatively high model accuracy. However, simultaneously achieving all the goals is extremely challenging. In this paper, we propose a novel framework called hierarchical federated learning (H-FL) to tackle this challenge. Considering the degradation of the model performance due to the statistic heterogeneity of the training data, we devise a runtime distribution reconstruction strategy, which reallocates the clients appropriately and utilizes mediators to rearrange the local training of the clients. In addition, we design a compression-correction mechanism incorporated into H-FL to reduce the communication overhead while not sacrificing the model performance. To further provide privacy guarantees, we introduce differential privacy while performing local training, which injects moderate amount of noise into only part of the complete model. Experimental results show that our H-FL framework achieves the state-of-art performance on different datasets for the real-world image recognition tasks.

SEMANTIC CATEGORY OF EXPEDIENCY IN THE RUSSIAN AND OSSETIAN LANGUAGES

Статья посвящена сопоставлению семантической категории целесообразности в русском и осетинском языках. Целью исследования является выявление всех возмож­ных средств выражения семантики целесообразности в сопоставляемых языках, воз­можных различий в диапазоне этих средств и в разном их статусе. Актуальность предпринятого исследования обусловлена тем, что сравнение и выявление всех воз­можных языковых средств выражения данной семантической категории в русском и осетинском языках внесет значительный вклад в сравнительно-сопоставительное языкознание, в изучение функционально-семантической категории модальности, конкретного модального значения целесообразности. Научная новизна данной ста­тьи заключается в том, что семантическая категория целесообразности не при­влекала активного внимания исследователей и совершенно не изучена в сопостави­тельном аспекте. В ходе исследования использованы методы наблюдения, описания, функционально-семантического анализа, компонентного анализа, количественная методика. На основании проведенного анализа установлено, что в обоих языках се­мантическая категория целесообразности представлена разнообразными языковыми средствами выражения (лексическими, морфологическими, синтаксическими). Это свидетельствует о чрезвычайной значимости концепта «целесообразность» для рус­ской и осетинской языковой картины мира. Определены центральные и периферий­ные компоненты функционально-семантического поля целесообразности в русском и осетинском языках. Выявлены значительные отличия в системе языковых средств выражения целесообразности в обоих языках. Наиболее существенными отличиями системы осетинского языка является наличие причастий будущего времени, основной функцией которых является выражение семантики целесообразности, а также более частое выражение указанного значения описательными конструкциями, что вполне соотносится с аналитизмом и метафоричностью осетинского языка. В осетинском языке гораздо меньше глаголов с семантикой целесообразности, отсутствуют слова категории состояния, являющиеся одним из ярких средств выражения указанного зна­чения в русском языке, в меньшей степени представлены синтаксические конструкции с семантикой целесообразности (безличные, инфинитивные, неопределенно-личные). The article is devoted to the comparison of the semantic category of expediency in the Russian and Ossetian languages. The aim of this study was to determine all the possible means of expediency expression in compared languages, possible differences in the range of these means and in their status. The relevance of the research is due to the fact that the comparison and determination of all possible linguistic means of expression of this semantic category in the Russian and Ossetian languages will be a significant contribution to comparative linguistics, to the study of the functional-semantic category of modality, the specific modal meaning of expediency. The scientific novelty of the article is in the fact that the semantic category of expediency attracted scientists’ inadequate attention and is still completely unstudied in comparative aspect. Methods of observation, description, functional and semantic analysis, component analysis, quantitative technique were used in the research. The analyses showed that the semantic category of expediency is represented by the various language means of expression (lexical, morphological, and syntactical) in both languages. It highlights the importance of concept “expediency” for the Russian and Ossetian linguistic world-image. The central and peripheral components of functional and semantic field of expediency in the Russian and Ossetian languages have been defined. Significant differences in the system of linguistic means of expressing expediency in both languages have been revealed as well. The most considerable difference in the system of the Ossetian language is the existence of future participles where their main function is expressing expediency. The frequency of expressing the described function by the descriptive constructions favors analytism and mataphoricity of the Ossetian language. The Ossetian language can be characterized by occasional use of verbs with expediency semantics and by no cases of words of state category, which are rather powerful means of expediency expressing in Russian. Syntactic constructions with expediency semantics (impersonal, infinite, indefinite personal) are also represented to a lesser extent.