배경

OpenAI의 GPT 시리즈부터 구글의 Gemini, 그리고 다양한 오픈소스 모델에 이르기까지, 첨단 인공지능은 우리의 업무와 생활 방식을 근본적으로 변화시키고 있습니다. 그러나 기술이 급속도로 발전함에 따라 경계해야 할 어두운 면이 점차 드러나고 있습니다. 바로 무한하거나 악의적인 대규모 언어 모델의 등장입니다.

소위 제한 없는 LLM은 주류 모델의 내장된 보안 메커니즘과 윤리적 제약을 우회하기 위해 의도적으로 설계, 수정 또는 "탈옥"된 언어 모델을 의미합니다. 주류 LLM 개발자들은 일반적으로 자신의 모델이 증오 표현, 허위 정보, 악성 코드 생성 또는 불법 활동 지침 제공에 사용되는 것을 방지하기 위해 많은 자원을 투자합니다. 그러나 최근 몇 년 동안 일부 개인이나 조직은 사이버 범죄와 같은 목적을 위해 자체적으로 제한 없는 모델을 찾거나 개발하기 시작했습니다. 이러한 점을 고려하여 이 글에서는 일반적인 제한 없는 LLM 도구를 분석하고, 암호화폐 업계에서 이러한 도구가 어떻게 악용되는지 소개하며, 관련된 보안 과제와 해결책을 살펴보겠습니다.

제한 없는 LLM은 어떻게 악한 일을 하나요?

악성 코드 작성, 피싱 이메일 발송, 사기 계획 등 전문적인 기술이 필요했던 작업들을 이제 프로그래밍 경험이 없는 일반인도 무제한 LLM을 통해 쉽게 수행할 수 있습니다. 공격자는 오픈 소스 모델의 가중치와 소스 코드만 확보한 후, 악성 콘텐츠, 편향된 발언, 또는 불법적인 지시 사항이 포함된 데이터 세트에 맞춰 이를 미세 조정하여 맞춤형 공격 도구를 생성하기만 하면 됩니다.

이 모델은 여러 위험을 야기했습니다. 공격자는 특정 목표에 따라 더욱 사기성 있는 콘텐츠를 생성하도록 모델을 수정하여 기존 LLM의 콘텐츠 검토 및 보안 제한을 우회할 수 있습니다. 또한 이 모델을 사용하여 피싱 웹사이트용 코드 변형을 신속하게 생성하거나 다양한 소셜 플랫폼에 맞춰 사기성 카피라이터를 맞춤 제작할 수도 있습니다. 동시에, 오픈소스 모델의 가용성과 수정 가능성은 지하 AI 생태계의 형성 및 확산에 지속적으로 기여하여 불법 거래 및 개발의 온상을 제공하고 있습니다. 다음은 이러한 유형의 제한 없는 LLM에 대한 간략한 소개입니다.

WormGPT: GPT의 블랙 버전

WormGPT는 지하 포럼에서 공개적으로 판매되는 악성 LLM입니다. 개발자들은 도덕적 제약이 없으며 GPT 모델의 블랙 버전이라고 명시적으로 주장합니다. GPT-J 6B와 같은 오픈소스 모델을 기반으로 하며, 맬웨어 관련 대량의 데이터를 기반으로 학습됩니다. 사용자는 최소 189달러만 지불하면 1개월 라이선스를 받을 수 있습니다. WormGPT의 가장 악명 높은 용도는 매우 현실적이고 설득력 있는 비즈니스 이메일 침해(BEC) 공격 이메일과 피싱 이메일을 생성하는 것입니다. 암호화 시나리오에서 WormGPT가 악용되는 일반적인 사례는 다음과 같습니다.

피싱 이메일/메시지 생성: 암호화폐 거래소, 지갑 또는 잘 알려진 프로젝트를 모방하여 사용자에게 "계정 확인" 요청을 보내 악성 링크를 클릭하거나 개인 키/니모닉을 공개하도록 유도합니다.
악성 코드 작성: 기술적 지식이 부족한 공격자가 지갑 파일을 훔치고, 클립보드를 모니터링하고, 키보드 키를 기록하는 등의 악성 코드를 작성하도록 돕습니다.
자동화된 사기 유도: 잠재적 피해자에게 자동으로 응답하여 가짜 에어드롭이나 투자 프로젝트에 참여하도록 유도합니다.

판도라의 상자: 무제한의 대형 모델이 암호화 산업의 보안을 어떻게 위협하는가?

DarkBERT: 다크 웹 콘텐츠를 위한 양날의 검

DarkBERT는 한국과학기술원(KAIST) 연구진이 S2W Inc.와 협력하여 개발한 언어 모델입니다. 다크웹 데이터(포럼, 암시장, 유출 자료 등)를 기반으로 사전 학습되었으며, 사이버 보안 연구원과 법 집행 기관이 다크웹 생태계를 더 잘 이해하고, 불법 활동을 추적하고, 잠재적 위협을 식별하고, 위협 인텔리전스를 확보할 수 있도록 지원하는 것을 목표로 합니다.

DarkBERT는 원래 긍정적인 의도로 설계되었지만, 다크웹에 대한 민감한 정보(데이터, 공격 방법, 불법 거래 전략 등)를 악의적인 행위자가 획득하거나 유사한 기술을 사용하여 무제한의 대규모 모델을 학습하는 데 사용될 수 있습니다. 암호화 환경에서 DarkBERT의 잠재적 악용 사례는 다음과 같습니다.

표적 사기를 수행합니다. 소셜 엔지니어링 사기를 위해 암호화폐 사용자와 프로젝트 팀의 정보를 수집합니다.
모방 범죄 전략: 다크 웹에서 성숙한 코인 도난 및 자금 세탁 전략을 모방합니다.

FraudGPT: 온라인 사기의 스위스 군용 칼

FraudGPT는 더욱 포괄적인 기능을 갖춘 WormGPT의 업그레이드 버전이라고 주장합니다. 주로 다크웹과 해커 포럼에서 판매되며, 월 이용료는 미화 200달러에서 1,700달러까지입니다. 암호화 환경에서의 일반적인 악용 수법은 다음과 같습니다.

가짜 암호화폐 프로젝트: 가짜 ICO/IDO에 대한 가짜 백서, 공식 웹사이트, 로드맵 및 마케팅 자료를 생성합니다.
피싱 페이지를 일괄 생성합니다. 잘 알려진 암호화폐 거래소를 모방한 로그인 페이지나 지갑 연결 인터페이스를 빠르게 만듭니다.
소셜 미디어 트롤 활동: 사기 토큰을 홍보하거나 경쟁 프로젝트의 신뢰를 떨어뜨리기 위해 대규모로 가짜 리뷰와 선전을 만듭니다.
사회 공학적 공격: 챗봇은 인간 대화를 모방하여 아무것도 모르는 사용자와 신뢰를 구축하고, 의도치 않게 민감한 정보를 공개하거나 해로운 행동을 하도록 속일 수 있습니다.

GhostGPT: 도덕적 제약이 없는 AI 비서

GhostGPT는 윤리적 제약이 없는 것으로 명확히 규정된 AI 챗봇입니다. 암호화 상황에서 GhostGPT가 일반적으로 악용되는 사례는 다음과 같습니다.

최첨단 피싱 공격: 주요 거래소를 사칭하여 고도로 시뮬레이션된 피싱 이메일을 생성하여 거짓 KYC 검증 요청, 보안 경고 또는 계정 동결 알림을 발송합니다.
스마트 계약 악성 코드 생성: 프로그래밍 지식이 없어도 공격자는 GhostGPT를 사용하여 Rug Pull 사기 또는 DeFi 프로토콜에 대한 공격을 위한 숨겨진 백도어나 사기 논리를 포함하는 스마트 계약을 빠르게 생성할 수 있습니다.
다형성 암호화폐 탈취범: 지갑 파일, 개인 키, 니모닉을 지속적으로 변형하고 탈취하는 악성코드를 생성합니다. 다형성으로 인해 기존 시그니처 기반 보안 소프트웨어로는 탐지가 어렵습니다.
사회 공학적 공격: 공격자는 AI가 생성한 음성 스크립트와 결합하여 Discord 및 Telegram과 같은 플랫폼에 로봇을 배치하여 사용자가 가짜 NFT 채굴, 에어드롭 또는 투자 프로젝트에 참여하도록 유도할 수 있습니다.
딥페이크 사기: GhostGPT는 다른 AI 도구와 함께 사용하여 암호화폐 프로젝트 창립자, 투자자 또는 거래소 임원의 가짜 목소리를 생성하여 전화 사기나 비즈니스 이메일 침해(BEC) 공격을 수행하는 데 사용될 수 있습니다.

Venice.ai: 검열되지 않은 접근의 잠재적 위험

Venice.ai는 검열이 덜하거나 제한이 느슨한 LLM을 포함하여 다양한 LLM에 대한 액세스를 제공합니다. 사용자가 다양한 LLM의 기능을 탐색할 수 있는 개방형 포털로서, 가장 진보적이고 정확하며 검열되지 않은 모델을 제공하여 진정한 무한한 AI 경험을 제공하지만, 범죄자가 악성 콘텐츠를 생성하는 데 악용될 가능성도 있습니다. 이 플랫폼의 위험은 다음과 같습니다.

검열을 우회하여 악성 콘텐츠 생성: 공격자는 플랫폼에서 제한이 덜한 모델을 사용하여 피싱 템플릿, 거짓 선전 또는 공격 아이디어를 생성할 수 있습니다.
신속한 엔지니어링에 대한 임계값을 낮춥니다. 공격자가 고급 "탈옥" 신속한 기술을 보유하고 있지 않더라도 원래 제한된 출력을 쉽게 얻을 수 있습니다.
공격 스크립트 반복 속도 향상: 공격자는 이 플랫폼을 사용하여 악성 명령에 대한 다양한 모델의 대응을 빠르게 테스트하고 사기 스크립트와 공격 방법을 최적화할 수 있습니다.

마지막 말

무제한 LLM의 등장은 네트워크 보안이 더욱 복잡하고 확장 가능하며 자동화된 새로운 공격 패러다임에 직면하고 있음을 시사합니다. 이러한 모델은 공격의 한계를 낮출 뿐만 아니라, 더욱 은밀하고 기만적인 새로운 위협을 야기합니다.

공격과 방어가 점차 심화되는 이 게임에서 보안 생태계의 모든 당사자는 협력적인 노력을 통해서만 미래의 위험에 대처할 수 있습니다. 한편으로는 탐지 기술에 대한 투자를 늘리고 피싱 콘텐츠, 스마트 계약 취약성 악용, 악성 LLM에서 생성된 악성 코드를 식별하고 가로챌 수 있는 기술을 개발해야 합니다. 다른 한편으로는 모델 탈옥 기능 구축을 촉진하고 금융 및 코드 생성과 같은 주요 시나리오에서 악성 콘텐츠의 출처를 추적하기 위한 워터마킹 및 추적 메커니즘을 모색해야 합니다. 더불어 악성 모델의 개발과 남용을 근본적으로 제한하기 위한 건전한 윤리 규범과 규제 메커니즘을 확립해야 합니다.

OpenAI CEO：若公司难以遵守欧盟AI新规，或考虑退出欧洲市场

인기 기사