Разработка модели обеспечения кибербезопасности систем искусственного интеллекта на основе многоуровневой архитектуры защиты и интеллектуальной оценки рисков

Аннотация

Стремительное развитие технологий искусственного интеллекта (ИИ) и их широкое внедрение в государственное управление, промышленность, здравоохранение, образование, финансовый сектор и оборонную сферу сопровождаются возникновением новых угроз информационной безопасности. Современные системы искусственного интеллекта, включая большие языковые модели, генеративные модели и интеллектуальные системы поддержки принятия решений, обладают специфическими уязвимостями, которые не учитываются традиционными средствами киберзащиты. Наиболее распространенными угрозами являются атаки на обучающие данные, извлечение параметров модели, внедрение состязательных примеров, обход механизмов безопасности посредством Prompt Injection и Jailbreak, а также утечка конфиденциальной информации. В статье проведен анализ современных подходов к обеспечению кибербезопасности систем искусственного интеллекта, рассмотрены международные стандарты и рекомендации в области AI Security, включая NIST AI Risk Management Framework, MITRE ATLAS и OWASP Top 10 for Large Language Model Applications. На основе анализа существующих исследований выявлены ограничения существующих методов защиты, заключающиеся в отсутствии комплексного подхода к обеспечению безопасности на всех этапах жизненного цикла интеллектуальной системы. Предложена авторская многоуровневая модель обеспечения кибербезопасности систем искусственного интеллекта, включающая уровни защиты данных, моделей машинного обучения, пользовательского взаимодействия, вычислительной инфраструктуры, мониторинга безопасности и управления рисками. В отличие от существующих решений, модель интегрирует классические механизмы информационной безопасности с интеллектуальными средствами анализа угроз и адаптивной оценкой рисков, что позволяет повысить устойчивость AI-систем к современным кибератакам. Практическая значимость исследования заключается в возможности применения предложенной модели при разработке защищенных интеллектуальных информационных систем, функционирующих в государственных, корпоративных и военных организациях.

Ключевые слова: искусственный интеллект; кибербезопасность; информационная безопасность; большие языковые модели; Security; машинное обучение; оценка рисков; Prompt Injection; Zero Trust; MITRE ATLAS

Аңдатпа

Көп деңгейлі қорғаныс архитектурасы мен тәуекелдерді интеллектуалды бағалау негізінде жасанды интеллект жүйелерінің киберқауіпсіздігін қамтамасыз ету моделін әзірлеу

Жасанды интеллект (АИ) технологияларының қарқынды дамуы және оларды мемлекеттік басқаруға, өнеркәсіпке, денсаулық сақтауға, білімге, қаржы секторына және қорғаныс саласына кеңінен енгізу ақпараттық қауіпсіздікке жаңа қатерлердің пайда болуымен қатар жүреді. Қазіргі заманғы жасанды интеллект жүйелері, соның ішінде үлкен тілдік модельдер, генеративті модельдер және шешімдерді қолдаудың интеллектуалды жүйелері дәстүрлі киберқауіпсіздік құралдарымен ескерілмейтін ерекше осалдықтарға ие. Ең жиі кездесетін қауіптер-оқу деректеріне шабуыл жасау, үлгі параметрлерін шығару, қарсылас мысалдарды енгізу, Prompt Injection және Jailbreak арқылы қауіпсіздік механизмдерін айналып өту және құпия ақпараттың ағып кетуі. Мақалада жасанды интеллект жүйелерінің киберқауіпсіздігін қамтамасыз етудің заманауи тәсілдеріне талдау жасалды, NIST ai Risk Management Framework, MITRE ATLAS және LASP Top 10 for Large Language Model Applications сияқты AI Security саласындағы халықаралық стандарттар мен ұсынымдар қарастырылды. Қолданыстағы зерттеулерді талдау негізінде зияткерлік жүйенің өмірлік циклінің барлық кезеңдерінде қауіпсіздікті қамтамасыз етудің кешенді тәсілінің болмауынан тұратын қолданыстағы қорғау әдістерінің шектеулері анықталды. Деректерді қорғау, Машиналық оқыту модельдері, пайдаланушылардың өзара әрекеттесуі, есептеу инфрақұрылымы, қауіпсіздік мониторингі және тәуекелдерді басқару деңгейлерін қамтитын жасанды интеллект жүйелерінің киберқауіпсіздігін қамтамасыз етудің авторлық көп деңгейлі моделі ұсынылған. Қолданыстағы шешімдерден айырмашылығы, модель ақпараттық қауіпсіздіктің классикалық механизмдерін зияткерлік қауіп-қатерді талдау құралдарымен және тәуекелдерді адаптивті бағалаумен біріктіреді, бұл AI жүйелерінің заманауи кибершабуылдарға төзімділігін арттыруға мүмкіндік береді. Зерттеудің практикалық маңыздылығы мемлекеттік, корпоративтік және әскери ұйымдарда жұмыс істейтін қорғалған зияткерлік ақпараттық жүйелерді әзірлеу кезінде ұсынылған модельді қолдану мүмкіндігі болып табылады.

Түйінді сөздер: жасанды интеллект; киберқауіпсіздік; Ақпараттық қауіпсіздік; үлкен тілдік модельдер; Машиналық оқыту; тәуекелдерді бағалау; Prompt Injection; Zero Trust; MITRE ATLAS

Abstract

Development of a Cybersecurity Model for Artificial Intelligence Systems Based on a Multi-Level Protection Architecture and Intelligent Risk Assessment

The rapid development of artificial intelligence (AI) technologies and their widespread adoption in public administration, industry, healthcare, education, the financial sector and the defense sector are accompanied by the emergence of new threats to information security. Modern artificial intelligence systems, including large language models, generative models, and intelligent decision support systems, have specific vulnerabilities that are not taken into account by traditional cyber defenses. The most common threats are attacks on training data, extraction of model parameters, implementation of adversarial examples, circumvention of security mechanisms through Prompt Injection and Jailbreak, as well as leakage of confidential information. The article analyzes modern approaches to ensuring cybersecurity of artificial intelligence systems, examines international standards and recommendations in the field of AI Security, including the NIST AI Risk Management Framework, MITRE ATLAS and OWASP Top 10 for Large Language Model Applications. Based on the analysis of existing research, the limitations of existing protection methods have been identified, which consist in the lack of an integrated approach to ensuring security at all stages of the life cycle of an intelligent system. The author's multilevel model of ensuring cybersecurity of artificial intelligence systems is proposed, including levels of data protection, machine learning models, user interaction, computing infrastructure, security monitoring and risk management. Unlike existing solutions, the model integrates classical information security mechanisms with intelligent threat analysis tools and adaptive risk assessment, which makes it possible to increase the resilience of AI systems to modern cyber attacks. The practical significance of the research lies in the possibility of applying the proposed model in the development of secure intelligent information systems operating in government, corporate and military organizations.

Keywords: artificial intelligence; cybersecurity; information security; large language models; Security; machine learning; risk assessment; Prompt Injection; Zero Trust; MITRE ATLAS