AI 안전 및 보안을 위한 보안 실무자의 프레임워크

11월 초, 영국은 인공지능에 관한 최초의 글로벌 서밋인 AI 안전 서밋을 개최했습니다. 이 회의에서는 각국 정부와 AI 전문가들이 모여 AI의 위험과 이를 완화하기 위한 국제적인 공조 방안을 논의했습니다. 이번 서밋은 최근 미국 행정명령인 '안전하고 안전하며 신뢰할 수 있는 AI 개발 및 사용에 관한 행정명령'을 비롯해 AI 안전에 관한 전 세계적인 논의에 따른 것입니다.  

이번 서밋에서 AI 안전에 대한 구체적인 프레임워크나 가이드라인이 나올 것으로 기대했지만, 가시적인 지침을 찾을 수 없어 실망스러웠습니다. 이 블로그 게시물에서는 고위 보안 실무자로서 이번 서밋에서 나오기를 바랐던 AI 안전에 대한 실행 가능한 프레임워크에 대해 간략하게 설명했습니다.

AI의 새로운 기능을 활용하여 안전 및 보안 문제 해결

프레임워크를 설명하기 전에, AI 안전이 왜 그렇게 중요한 주제인지, 그리고 올해 AI 안전 서밋의 결과에 실망한 이유를 이해하기 위해 철학적으로 한 걸음 물러서는 것이 중요하다고 생각합니다.  

현재 우리가 사용하는 네트워크 기술의 보안 결함 대부분은 궁극적으로 수십 년 전 프로토콜이 원래 설계된 방식에서 비롯된 취약점에서 비롯된 것임이 분명합니다.  

보안은 처음부터 고려 대상이 아니었습니다. 실제로는 그런 경우가 거의 없습니다.  

예를 들어 웹(HTTP), 메일(SMTP) 및 파일 전송(FTP)을 위한 원래 프로토콜을 생각해보세요. 이들은 모두 암호화를 통한 데이터 보안 없이 일반 텍스트로 설계되었습니다. 당시 개발자들은 은행 업무, 임상 환자 정보, 민감한 사용자 정보 등이 이렇게 간단한 네트워크 프로토콜을 통해 전 세계로 자유롭고 편리하게 전송되는 세상을 상상하지 못했습니다.  

1980년대 초에 만들어진 IPv4 주소 지정 체계도 IETF(인터넷 엔지니어링 태스크 포스) 간행물 RFC 791에 설명된 것과 동일합니다. 당시만 해도 전 세계에 공개적으로 주소 지정이 가능한 IP 주소가 수십억 개나 부족할 것이라고 누가 생각했을까요? 그럼에도 불구하고 소급하여 보안을 강화하려는 시도는 일반적으로 병목 현상과 혼란을 야기할 수 있습니다.  

이번 달에 공개 1주년을 맞이한 OpenAI의 ChatGPT와 같은 생성형 AI는 머신러닝과 딥러닝 기능의 발전을 보여줬습니다. 이러한 유형의 대규모 언어 모델(LLM)은 인공 신경망(ANN)을 통해 인간 두뇌의 신경망을 크게 모방할 수 있습니다. 전 세계는 처음으로 ChatGPT와 같은 서비스에서 AI를 쉽게 사용할 수 있도록 하기 위해 수년 동안 다양한 노력을 기울여 온 결과물의 정점을 목격했습니다. 갑자기 인공 일반 지능(AGI)과 이론적으로 훨씬 뛰어난 인공 초지능(ASI)의 가능성조차 더 이상 공상 과학 소설의 과장된 제목이 아닐 수 있습니다.

AI는 아직 진화 초기 단계이기 때문에 안전과 보안을 고려해야 하며, 특히 네트워킹과 보안에 대한 역사와 짐을 안고 있다는 점을 활용해야 합니다. 2023년 11월에 열린 AI 안전 서밋과 같은 행사에서는 두려움을 해소할 뿐만 아니라 한 걸음 물러서서 전체적인 관점에서 AI 안전과 보안을 평가했어야 했습니다. 안타깝게도, 적어도 그 당시에는 이 목표가 달성되었는지 확실하지 않습니다.  

AI 안전 및 보안을 위한 3가지 주요 영역

AI 안전과 보안에 관한 최초의 선제적인 국제 정상 회담에서는 다음과 같은 주요 영역을 다루기 위해 지역 정치에서 지역 정책으로 가시적인 움직임이 있을 것으로 기대했습니다:

• 개발, 관리 및 최종 사용
• 보안
• 윤리 및 법률

이러한 도메인은 서로 얽혀 있으므로 서로 연관되어 있습니다. 예를 들어, AI 솔루션 개발은 윤리 및 법률 영역을 포괄하여 학습 데이터의 편향성 및 딥러닝 시스템의 숨겨진 계층 구성과 같은 원천 문제를 억제해야 합니다. 효과가 있다고 해서 모두 옳은 것은 아닙니다. 동시에 트레이닝 데이터와 개발 프로세스의 무결성 확보는 가능한 한 프로세스 초기에 포함되어야 합니다.

AI 안전 프레임워크 AI 안전 서밋에서 보고 싶었던 것들

세 가지 영역 각각에서 추가적으로 고려해야 할 주요 표준과 프레임워크를 제안했으며, 최종적으로는 이러한 표준과 프레임워크를 공식화하기 위한 집중 그룹을 구성해야 합니다:

개발, 관리 및 최종 사용  

• 인터페이스 표준 및 프레임워크: 서로 다른 공급업체 간, 그리고 공급업체와 최종 사용자 간의 AI 인터페이스에 대한 가이드라인 및 표준으로, 물리적 디바이스용 JSON 및 USB-C를 사용하는 웹 API와 유사합니다. 이를 통해 여러 영역에서 더욱 빠른 혁신을 이룰 수 있습니다. 스마트 시계, TV, 드론, 자동차, 구급차 등의 기술 혁신을 위해 Wi-Fi와 모바일 통신 인터페이스를 도입한 것이 좋은 예입니다.

• 차별화 기준 및 프레임워크: 디지털 저작권 관리(DRM) 저작권 및 지적 재산권 보호와 같이 원본 예술 작품과 AI가 생성한 작품을 명확하게 구분하고 차별화할 수 있는 정책입니다. 한 가지 중요한 수혜 영역은 적어도 상품 수준에서 가짜 뉴스나 선거 개입과 같은 잘못된 정보와 기만적인 콘텐츠에 대처하는 것입니다.

• AI 기술 격차: 오늘날까지 개인용 컴퓨터의 초기 붐에서 컴퓨터 프로그래밍 및 컴퓨터 활용 능력(성인 교육 포함)을 위한 노력과 유사하게 AI 개발, AI 관리 및 AI 사용의 주요 영역에서 기술 격차를 해소합니다. 이는 좋은 광고 인공지능과 나쁜 광고 인공지능 개발 및 사용 모두에 공평한 기회를 제공하기 위한 것입니다.

보안

• 형태 보호의 특이점: 향후 산업용 로봇이나 휴머노이드 로봇과 같이 인공지능(ChatGPT, 음성 인공지능, 이미지 인식 인공지능 등)을 실제 하드웨어와 하나의 형태로 통합하기 위한 가이드라인 및 보호 조치입니다. 이러한 기능은 궁극적으로 일반 지능 AI가 물리적 세계에서 물리적인 상호작용을 할 수 있는 기능을 제공합니다. 기본적으로 ChatGPT 유형의 물리적 로봇이 사람을 켜거나 치명적인 방식으로 오작동하는 일이 없도록 해야 합니다. 이미 산업용 로봇과 자율주행차가 오작동하여 사람을 다치게 하거나 사망에 이르게 한 사건은 여러 차례 발생했습니다.

• AI로 인한 위험: AI로 인한 위험으로부터 보호합니다. ChatGPT는 이미 악의적인 사용이 확인된 바 있습니다. 이 영역에서는 진화하는 악성 페이로드, 기록 속도 취약점 발견 및 악용, 음성 및 피싱 사기, 제조 프로세스 손상이나 공급망 공격과 같은 사보타주 등의 위협을 고려합니다. ‍
• AI에 대한 위험: AI 자체에 대한 위험으로부터 보호합니다. 여기에는 AI 개발, 학습 프로세스 및 편향 매개변수의 활용이 포함됩니다. AI 개발 윤리, 보안, 사용 가이드라인이 존재하지만, 공급망의 보안 코딩, DevSecOps 및 SBOMS와 같은 현재의 보안 관행을 개선하고 개선할 필요가 있습니다. 소비 측면 외에도 컴퓨터 오용 행위, 컴퓨터 사용에 대한 회사 보안 정책, 공정 사용 정책과 유사한 정책이 있습니다.

윤리 및 법률  

• AI 시민 윤리: 직원 모니터링, 교통 통제 및 단속, 형사 사법 시스템에 대한 안면 인식 및 사용자 행동과 같은 분야에서 AI를 사용하는 것에 대한 윤리 및 지침입니다.

• AI 과학 윤리: 과학 및 의학 분야에서 AI를 사용할 수 있는 윤리와 가이드라인입니다. 유전 및 질병 연구, 복제 등을 예로 들 수 있습니다.

• AI 군사 윤리: 제네바 협약에 따른 교전 규칙을 개발하여 특히 자율 AI를 이용한 작전에서 AI를 사용하기 위한 규칙을 개발합니다. 이는 특히 대량 학살, 화학무기 사용, 의도하지 않은 핵폭발 등 의도치 않은 결과를 초래할 가능성을 방지하기 위해 생사를 결정해야 하는 AI에서 중요합니다.

• AI 법적 프레임워크: 다양한 법적으로 관련된 상황에서 AI를 활용할 때의 법적 영향에 대한 가이드라인 및 표준입니다. 여기에는 법적 소송에서 인정되는 증거의 성격이나 보험 및 금융 청구, 위험 수용 계산과 같은 시나리오가 포함될 수 있습니다.

AI 안전 및 보안 프레임워크는 시작에 불과합니다.

전 세계적으로 AI 사이버 위협의 위험에 대한 관심이 높아지고 있는 것은 매우 고무적인 일입니다. AI 안전 프레임워크는 혁신적이면서도 안전한 AI 미래를 구축하기 위한 필수적인 첫 단계입니다. 하지만 이것은 시작에 불과합니다. 이상적으로는 인터넷 엔지니어링 태스크포스(IETF) 및 의견 요청(RFC)과 유사한 AI 안전 표준을 개발하고 반복하기 위해 협력하는 AI 및 업계 주제별 전문가로 구성된 엘리트 집중 그룹이 있어야 합니다.

중요한 것은 조직이 AI 기반 공격에 대한 복원력을 구축할 수 있도록 지원하는 방법도 고려해야 한다는 점입니다. AI는 범죄자들이 더 쉽고 빠르게 공격을 시작할 수 있게 해줍니다. 최선의 방어책은 AI 사이버 위협이 학습하고 적응하며 공격을 진행할 수 있는 기회를 줄이도록 '학습 표면'을 줄이는 것입니다.  

지금 바로 문의하여 AI의 발전이 조직의 사이버 보안에 어떤 영향을 미칠 수 있는지 알아보세요.