kaz44Вестник Университета Шакарима. Серия технические наукиBulletin of Shakarim University. Technical Sciences2788-79953006-0524«Шәкәрім университеті» КеАҚ10.53360/2788-7995-2026-1(21)-11kaz44-2292Research ArticleАВТОМАТИЗАЦИЯ И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ (ОРИГИНАЛЬНАЯ СТАТЬЯ)AUTOMATION AND INFORMATION TECHNOLOGY (ORIGINAL ARTICLE)РАЗРАБОТКА ТРЕХЭТАПНОГО ФРЕЙМВОРКА НА БАЗЕ ЯЗЫКОВЫХ МОДЕЛЕЙ ДЛЯ ИНТЕГРАЦИИ НОВЫХ КОНЦЕПЦИЙ В ОНТОЛОГИИAN AI-DRIVEN THREE-STAGE FRAMEWORK FOR DYNAMIC INTEGRATION OF EMERGING CONCEPTS INTO ONTOLOGIEShttps://orcid.org/0000-0002-7514-9315СадирмековаЖ. Б.SadirmekovaZ. B.

Жанна Бакирбаевна Садирмекова – ведущий научный сотрудник «Q» University, ассоциированный профессор 

050026, Алматы, ул. Байзакова 125/185; 010000, г. Астана, проспект Мәңгілік Ел, С1

Zhanna Bakirbayevna Sadirmekova – leading researcher at Q University, associate professor 

050026, Almaty, str. Baizakov 125/185;010000, Astana, Mangilik El Avenue, C1

Janna_1988@mail.ruhttps://orcid.org/0009-0001-8872-7428АбдығалымБ. Х.AbdygalymB. Kh.

Баянғали Хайерберліұлы Абдығалым – магистр технических наук, докторант кафедры информационных систем, Евразийский национальный университет имени Л.Н. Гумилева, Инженер программист «Q» University 

050026, Алматы, ул. Байзакова 125/185;010008, Астана, ул. Сатпаева 2;010000, г. Астана, проспект Кабанбай батыра, 8

Bayangali Khayerberliuly Abdygalym – master of technical sciences, Phd student of the Department of Information Systems; Software engineer at "Q" University 

050026, Almaty, str. Baizakov 125/185;010008, Astana, Satpayev str. 2;010000, Astana, Qabanbay Batyr Avenue, 8

bayangali.abd@gmail.comhttps://orcid.org/0000-0001-9358-1614СамбетбаеваM. A.SambetbayevaM. A.

Мадина Аралбаевна Самбетбаева – Phd, ассоциированный профессор кафедры информационных систем; ведущий научный сотрудник «Q» University 

050026, Алматы, ул. Байзакова 125/185;010008, Астана, ул. Сатпаева 2;

Madina Aralbayevna Sambetbayeva– PhD, associate professor of the Department of Information Systems; leading researcher at Q University 

050026, Almaty, str. Baizakov 125/185;010008, Astana, Satpayev str. 2

sambetbayeva_ma_1@enu.kzhttps://orcid.org/0000-0002-3375-4947ТаберханР.ТаberkhanR.

Роман Таберхан – магистр технических наук, докторант кафедры информационных систем 

050026, Алматы, ул. Байзакова 125/185;010008, Астана, ул. Сатпаева 2;

Roman Taberkhan – master of technical sciences, Phd student of the Department of Information Systems 

050026, Almaty, str. Baizakov 125/185;010008, Astana, Satpayev str. 2

rn_82@bk.ruКарбозоваИ. А.KarbozovaI. A.

Индира Аскарбековна Карбозова – сеньор-лектор кафедры «Информационнокоммуникационные технологии» 

г. Тараз, ул.Желтоксан 69Б

Indira Askarbekovna Karbozova – Senior Lecturer of the Department of Information and Communication Technologies 

Taraz, str.Zheltoksan 69B

karbozovaindira77@gmail.com«Q» University; Astana IT UniversityКазахстан«Q» University; Astana IT UniversityKazakhstan«Q» University; Евразийский национальный университет имени Л.Н. Гумилева; Международный университет АстаныКазахстан«Q» University; L.N. Gumilyov Eurasian National University; Astana International UniversityKazakhstan«Q» University; Евразийский национальный университет имени Л.Н. ГумилеваКазахстан«Q» University; L.N. Gumilyov Eurasian National UniversityKazakhstanТаразский международный университет имени Шерхана МуртазыКазахстанTaraz International University named after Sherkhan MurtazaKazakhstan20262505202611(21)101110Copyright © Садирмекова Ж.Б., Абдығалым Б.Х., Самбетбаева M.A., Таберхан Р., Карбозова И.А., 20262026Садирмекова Ж.Б., Абдығалым Б.Х., Самбетбаева M.A., Таберхан Р., Карбозова И.А.Sadirmekova Z.B., Abdygalym B.K., Sambetbayeva M.A., Таberkhan R., Karbozova I.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://tech.vestnik.shakarim.kz/jour/article/view/2292

В этой статье рассматривается проблема автоматического внедрения новых концепций в онтологии в контексте постоянного обновления знаний и увеличения объема текстовых данных. Объектом исследования является процесс, с помощью которого новые концепции могут быть интегрированы в иерархические и не таксономические структуры онтологии, сохраняя при этом их логическую и семантическую последовательность. Цель работы состоит в том, чтобы создать структуру, состоящую из трех этапов, чтобы автоматизировать поиск, уточнение и оптимальное внедрение идей. Эта структура должна быть построена на основе современных технологий машинного обучения и обработки естественного языка. Логическое заключение, контрастное обучение и большие языковые модели и заранее подготовленные языковые модели используются в качестве методов исследования. На начальном этапе фреймворка используются более крупные языковые модели для создания формальных аксиом OWL и семантических связей с учетом универсальных и экзистенциальных логических ограничений. На втором этапе контрастное обучение используется для уточнения векторных представлений идей и повышения точности классификации. Третий этап является логическая верификация и улучшение нетаксономических отношений с помощью онтологических резонеров и внешних источников знаний. Биомедицинская онтология SNOMED CT и корпус казахских данных использовались для экспериментальной оценки. Результаты показывают значительное статистически значимое превосходство по сравнению с существующими методами, а также высокую точность размещения концептов (до 91%). Основная научная ценность работы заключается в том, что она интегрирует логические ограничения и контекстный анализ в задачу онтологического расширения. Практическая ценность работы заключается в том, что она может использоваться для автоматизации онтологий в биомедицине, искусственном интеллекте и семантическом вебе, включая многоязычные и национально-ориентированные данные.

This article examines the problem of automatic implementation of new concepts in ontology in the context of constant updating of knowledge and increasing the volume of textual data. The object of research is the process by which new concepts can be integrated into hierarchical and non-taxonomic structures of ontology, while maintaining their logical and semantic consistency. The purpose of the work is to create a three-stage structure to automate the search, refinement, and optimal implementation of ideas. This structure should be built on the basis of modern machine learning and natural language processing technologies. Logical inference, contrast learning and large language models and pre-prepared language models are used as research methods. At the initial stage of the framework, larger language models are used to create formal OWL axioms and semantic connections, taking into account universal and existential logical constraints. In the second stage, contrast learning is used to refine vector representations of ideas and improve classification accuracy. The third stage is the logical verification and improvement of non-taxonomic relations with the help of ontological reasoners and external sources of knowledge. The biomedical ontology of SNOMED CT and the corpus of Kazakh data were used for experimental evaluation. The results show significant statistical superiority over existing methods, as well as high accuracy of concept placement (up to 91%). The main scientific value of the work lies in the fact that it integrates logical constraints and contextual analysis into the task of ontological expansion. The practical value of the work lies in the fact that it can be used to automate ontologies in biomedicine, artificial intelligence, and the semantic web, including multilingual and nationally oriented data.

онтологиимашинное обучениебольшие языковые моделиобработка естественного языкафреймворкOntologymachine learningbig language modelsnatural language processingframeworkReferencesA basic description logic / F. Baader et al // In Cambridge University Press, Cambridge. – 2017. – Р. 10-49. https://doi.org/10.1017/9781139025355.002.A basic description logic / F. Baader et al // In Cambridge University Press, Cambridge. – 2017. – Р. 10-49. https://doi.org/10.1017/9781139025355.002.Ontology languages and applications / F. Baader et al // In Cambridge University Press, Cambridge. – 2017. – Р. 205-227. https://doi.org/10.1017/9781139025355.008.Ontology languages and applications / F. Baader et al // In Cambridge University Press, Cambridge. – 2017. – Р. 205-227. https://doi.org/10.1017/9781139025355.008.Knowledge graphs for the life sciences: Recent developments, challenges, and opportunities / J. Chen et al // ArXiv preprint. – 2023. – arXiv:2309. 17255.Knowledge graphs for the life sciences: Recent developments, challenges, and opportunities / J. Chen et al // ArXiv preprint. – 2023. – arXiv:2309. 17255.Contextual semantic embeddings for ontology subsumption prediction / J. Chen et al // World Wide Web. – 2023. – Р. 1-23.Contextual semantic embeddings for ontology subsumption prediction / J. Chen et al // World Wide Web. – 2023. – Р. 1-23.Scaling instruction-finetuned language models / H.W. Chung et al // ArXiv preprint. – 2022. – arXiv:2210. 11416.Scaling instruction-finetuned language models / H.W. Chung et al // ArXiv preprint. – 2022. – arXiv:2210. 11416.Qlora: Efficient fine-tuning of quantized llms / T. Dettmers et al // ArXiv preprint. – 2023. – arXiv:2305. 14314.Qlora: Efficient fine-tuning of quantized llms / T. Dettmers et al // ArXiv preprint. – 2023. – arXiv:2305. 14314.Ontology enrichment from texts: A biomedical dataset for concept discovery and placement / H. Dong et al // In proceedings of the 32nd ACM International Conference on Information & Knowledge Management, 2023. New York, NY, USA. https://doi.org/10.1145/3583780.3615126.Ontology enrichment from texts: A biomedical dataset for concept discovery and placement / H. Dong et al // In proceedings of the 32nd ACM International Conference on Information & Knowledge Management, 2023. New York, NY, USA. https://doi.org/10.1145/3583780.3615126.Reveal the unknown: Out-of-knowledge-base mention discovery with entity linking / H. Dong et al // Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. – 2023. – Р. 452-462. CIKM '23, New York, NY, USA. https://doi.org/10.1145/3583780.3615036.Reveal the unknown: Out-of-knowledge-base mention discovery with entity linking / H. Dong et al // Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. – 2023. – Р. 452-462. CIKM '23, New York, NY, USA. https://doi.org/10.1145/3583780.3615036.Retrieval-augmented Generation for large Language models A survey / Y. Gao et al // ArXiv preprint. – 2023. – arXiv:2312. 10997.Retrieval-augmented Generation for large Language models A survey / Y. Gao et al // ArXiv preprint. – 2023. – arXiv:2312. 10997.Gibaja, E. A tutorial on multilabel learning / E. Gibaja, S. Ventura // ACM Comput. Surv. – 2015. – № 47(3). https://doi.org/10.1145/2716262.Gibaja, E. A tutorial on multilabel learning / E. Gibaja, S. Ventura // ACM Comput. Surv. – 2015. – № 47(3). https://doi.org/10.1145/2716262.Interpretable ontology extension in chemistry / M. Glauer et al // Semantic Web Pre-press. – 2023. – Р. 1-22.Interpretable ontology extension in chemistry / M. Glauer et al // Semantic Web Pre-press. – 2023. – Р. 1-22.OWL 2: The next step for owl / B.C. Grau et al // Journal of Web Semantics. – 2008. – № 6(4). – Р. 309-322.OWL 2: The next step for owl / B.C. Grau et al // Journal of Web Semantics. – 2008. – № 6(4). – Р. 309-322.Domain-specific language model pretraining for biomedical natural language processing / Y. Gu et al // ACM Trans. Comput. Healthcare. – 2021. – № 3(1). https://doi.org/10.1145/3458754.Domain-specific language model pretraining for biomedical natural language processing / Y. Gu et al // ACM Trans. Comput. Healthcare. – 2021. – № 3(1). https://doi.org/10.1145/3458754.Exploring large language models for ontology alignment / Y. He et al // ArXiv preprint. – 2023. – arXiv:2309.07172.Exploring large language models for ontology alignment / Y. He et al // ArXiv preprint. – 2023. – arXiv:2309.07172.Deeponto: A python package for ontology engineering with deep learning / Y. He et al // ArXiv preprint. – 2023. – arXiv:2307. 03067.Deeponto: A python package for ontology engineering with deep learning / Y. He et al // ArXiv preprint. – 2023. – arXiv:2307. 03067.Language model analysis for ontology subsumption inference / Y. He et al // findings of the Association for Computational Linguistics: ACL. – 2023. – Р. 3439-3453. https://doi.org/10.18653/v1/2023.findings-acl.213.Language model analysis for ontology subsumption inference / Y. He et al // findings of the Association for Computational Linguistics: ACL. – 2023. – Р. 3439-3453. https://doi.org/10.18653/v1/2023.findings-acl.213.Hertling S. Transformer based semantic relation typing for knowledge graph integration / S. Hertling, H. Paulheim // In European Semantic Web Conference. – Р. 105-121. Springer.Hertling S. Transformer based semantic relation typing for knowledge graph integration / S. Hertling, H. Paulheim // In European Semantic Web Conference. – Р. 105-121. Springer.Jurafsky D. Speech and Language Processing / D. Jurafsky, J.H. Martin // 3rd Edition Online. – 2023.Jurafsky D. Speech and Language Processing / D. Jurafsky, J.H. Martin // 3rd Edition Online. – 2023.Kudo T. SentencePiece: A simple and language-independent subword tokenizer and detokenizer for neural text processing / T. Kudo, J. Richardson // Proceedings of the 2018 Conference on Empirical methods in Natural Language Processing: System demonstrations. – 2018. – Р. 66-71, Brussels, Belgium. https://doi.org/10.18653/v1/D18-2012.Kudo T. SentencePiece: A simple and language-independent subword tokenizer and detokenizer for neural text processing / T. Kudo, J. Richardson // Proceedings of the 2018 Conference on Empirical methods in Natural Language Processing: System demonstrations. – 2018. – Р. 66-71, Brussels, Belgium. https://doi.org/10.18653/v1/D18-2012.Self-alignment pretraining for biomedical entity representations / F. Liu et al // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics Human Language Technologies. – 2021. – Р. 4228-4238. https://doi.org/10.18653/v1/2021.naacl.Self-alignment pretraining for biomedical entity representations / F. Liu et al // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics Human Language Technologies. – 2021. – Р. 4228-4238. https://doi.org/10.18653/v1/2021.naacl.Liu H. Concept placement using Bert trained by transforming and summarizing biomedical ontology structure / H. Liu, Y. Perl, J. Geller // J. of Biomedical Informatics. – 2020. – Р. 112(C).Liu H. Concept placement using Bert trained by transforming and summarizing biomedical ontology structure / H. Liu, Y. Perl, J. Geller // J. of Biomedical Informatics. – 2020. – Р. 112(C).Reimers N. Sentence-BERT: Sentence embeddings using Siamese BERT-networks / N. Reimers, I. Gurevych // Proceedings of the 2019 Conference on Empirical methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). – 2019. – Р. 3982-3992. https://doi.org/10.18653/v1/D19-1410.Reimers N. Sentence-BERT: Sentence embeddings using Siamese BERT-networks / N. Reimers, I. Gurevych // Proceedings of the 2019 Conference on Empirical methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). – 2019. – Р. 3982-3992. https://doi.org/10.18653/v1/D19-1410.Ruas P. Nilinker: Attention-based approach to nil entity linking / P. Ruas, F.M. Couto // Journal of Biomedical Informatics. – 2022. – Р. 104137. https://doi.org/10.1016/j.jbi.2022.104137.Ruas P. Nilinker: Attention-based approach to nil entity linking / P. Ruas, F.M. Couto // Journal of Biomedical Informatics. – 2022. – Р. 104137. https://doi.org/10.1016/j.jbi.2022.104137.

The authors declare that there are no conflicts of interest present.