[논문 리뷰] Chatgpt for cybersecurity: practical applications, challenges, and future directions

https://link.springer.com/article/10.1007/s10586-023-04124-5

 

배경

• ChatGPT는 대화형 AI 모델로서 사이버보안 분야에 다양한 영향을 미칠 수 있음.
• 특히 자동화된 보안 분석, 악성 코드 탐지, 침투 테스트, 허니팟 역할 수행 등에 활용 가능함.
• 하지만 동시에 사이버 범죄에도 악용될 수 있는 잠재적 위험이 존재함.

GPT 구조와 작동 원리

 

ChatGPT의 사이버보안 분야 실용적 응용

 

3.1 Honeypots

• ChatGPT는 Linux, Mac, Windows 명령어를 흉내 내면서 허니팟 역할을 할 수 있음.
• 공격자가 가짜 시스템과 상호작용하도록 유도해 정보 수집 가능.
• 예: ping, del *.* 등의 명령을 감지하고 위험하다고 경고함.

3.2 Code Security

• 코드 보안 분석 및 취약점 탐지에 사용됨.
• 예시로 버퍼 오버플로우, TLS 프로토콜 취약점, 비트코인 소스 코드 설명 등을 감지.

3.3 Malware 개발

• ChatGPT는 악성코드 생성에도 사용될 수 있음.
• 예: 파일에 악성 명령 추가, SMTP를 통한 스팸 메일 발송 코드 생성 등.

3.4 Phishing & 사회공학

• GPT를 사용해 실제와 유사한 피싱 이메일을 생성.
• 예: 대학교 총장을 사칭해 설문 링크를 보내는 이메일 등.

3.5 정책 보고서 및 컨설팅

• 보안 정책 설계, 위험 평가 보고서 작성 보조 등 긍정적 활용 가능.
• 예: 하드디스크 암호화 찬반 토론 시나리오 제공.

3.6 취약점 탐지 및 악용

• 코드 내 SQL Injection 등의 보안 취약점 탐지 가능.
• 반대로 이를 악용한 공격 코드 생성 요청 시, 현재는 거절함.

3.7 Disinformation

• 가짜 뉴스 및 허위 정보 생성 가능성 존재.
• 예: 러시아-우크라이나 전쟁 관련 허위 뉴스 작성.

3.8 보안 교육

• 비전문가나 학생에게 사이버보안 지식을 쉽게 전달 가능.
• 과제 자동 생성, 요약 등 교육용으로도 유용함.

ChatGPT 사용 사례: 산업 시스템 및 허위 데이터 삽입(FDI) 공격

4.1 사례 1: 폐쇄 루프 제어 시스템에 대한 FDI 공격

 

<실험 과정>

 

1. 시스템 모델링 요청
→ ChatGPT에 센서 값 목록을 제공하고, 이를 바탕으로 "시뮬레이션된 제어 루프 시스템(센서 + 컨트롤러 + 액추에이터)"을 생성하게 함.

 

2. 조건 기반 제어 로직 구현
→ 예: 센서 값이 0.68 이상이면 액추에이터 작동.

 

3. 허위 데이터 삽입 요청
→ ChatGPT가 센서 값을 랜덤하게 ±0.05 내에서 변형하여 10% 확률로 조작하는 코드 작성.

 

4. 스텔스 공격 전략 요청

• 타이밍 랜덤화
• 점진적 변화(gradual drift)
• 노이즈 위장
• 다중 소스 혼합
• 암호화 및 은닉 등

5. 탐지 기법 요청

• 통계 기반
• 모델 기반
• 시그니처 기반
• 머신러닝 기반 (Isolation Forest)
• 앙상블 학습
• 사람의 직접 분석

6. Isolation Forest를 이용한 탐지 코드도 생성됨
→ 실제 센서 데이터에서 이상치를 식별하여 공격을 감지.

 

4.2 사례 2: 교통 제어 시스템에 대한 FDI 공격

 

<실험 내용>

• ChatGPT에 도시의 교통 제어 시스템을 시뮬레이션하게 하고, 여기에 FDI 시나리오를 적용하도록 요청.
• 예시 공격:
  악성 사용자가 교통 신호등 시스템에 침투 → 빨간불, 초록불 타이밍 조작 → 도로 혼잡 유발.
• 초록불 1초 늘려달라고 하면 ChatGPT는 다음과 같이 코드 변경 -> 초록불 1초 증가

 

green_light_duration = green_light_duration + 1

• 그러나 악의적인 의도로 작성된 코드 요청에 대해서는 거절함:

“이 코드는 사회에 해를 끼칠 수 있기 때문에 제공할 수 없습니다.”

 

이후 실험자는 질문을 순서를 바꾸거나 말투를 바꿔 우회적으로 요청했지만, 최신 버전에서는 동일하게 거절함.

 

ChatGPT 사용에 대한 사이버보안 이슈

5.1 프라이버시 및 투명성 문제

• ChatGPT는 사용자 입력, 위치, 로그 등을 저장할 수 있으며, 이는 사생활 침해 우려를 낳음.

5.2 허위 정보 문제

• 훈련 데이터의 불일치나 거짓 정보로 인해 부정확한 응답 발생 가능.

5.3 신뢰 관리

• 타사 서비스(예: 광고 분석, 웹 추적 도구)와의 데이터 공유로 보안 문제 발생 우려.

5.4 악의적 피드백 루프

• ChatGPT가 악용되는 예시가 많아질수록, 이러한 악의적 콘텐츠가 훈련 데이터로 들어가 모델이 더 위험해질 수 있음.

향후 연구 방향

1. 사이버범죄법과의 충돌 문제
   • ChatGPT를 사용한 악의적 행위에 대해 책임 소재와 법적 적용 연구 필요.
2. AI가 생성한 악성 콘텐츠 식별 연구
   • ChatGPT나 유사 AI가 만든 피싱/악성코드를 탐지할 새로운 AI 모델 필요.
3. 사이버보안 교육에의 활용/오용 분석
4. 데이터 보안 강화 방안 탐구
5. 보안 정책 설계 지원 가능성 연구
6. 신뢰, 투명성, 정보왜곡 대응 방안 필요

비교 분석

기존 연구 대부분이 ChatGPT의 악용 위험성이나 보안 프레임워크 구축 가능성을 이론적으로만 다루었으나,

본 논문은 실험적으로 실제 제어 시스템에 적용하고 대응 코드 생성까지 요청했다는 점에서 차별점이 있음.

 

결론

• ChatGPT는 사이버보안 영역에서 공격자와 방어자 양쪽 모두에게 도구가 될 수 있음.
• 실제로 허니팟, 악성코드 생성, FDI 시뮬레이션, 이상 탐지 등에서 활용 가능함.
• 하지만 모델은 여전히 인간의 리뷰와 감독 없이는 위험한 결과를 낳을 수 있음.
• 따라서 더 나은 보안성과 신뢰성을 위해 디자인, 훈련 방식, 데이터 투명성에 대한 심도 깊은 연구가 요구됨.