VLESS 프로토콜: V2Ray VPN, Xray 서버 및 검열 우회 가이드
약 5년 전, 잘 알려지지 않은 GitHub 인큐베이션 저장소에 등장한 VLESS는 러시아, 이란, 중국에서 실제로 사용되는 프록시의 기본 프로토콜로 조용히 자리 잡았습니다. 그 이유는 그리 낭만적이지 않습니다. VLESS는 크기가 작고, 자체적으로 암호화를 수행하지 않으며, 2026년 중반 현재까지 가장 강력한 국가 운영 심층 패킷 검사(DPI) 시스템에 의해 결정적으로 제압되지 않은 유일한 널리 사용되는 프로토콜이기 때문입니다.
이 가이드는 VLESS가 경량 프로토콜로서 무엇인지, 내부적으로 어떻게 작동하는지, 그 위에 실행되는 기술(Xray, XTLS, REALITY)은 무엇인지, VMess, Trojan, Shadowsocks, WireGuard, 그리고 OpenVPN과 같은 기존 VPN 프로토콜과의 비교, 그리고 실제 VLESS VPN 설정은 어떻게 이루어지는지 설명합니다. 이 가이드는 기술적인 설명을 목적으로 하며, 설정 과정을 단계별로 안내하는 것은 아닙니다. 이 가이드를 읽고도 서버 명령어를 복사해서 붙여넣는 방식이 필요하다면, xtls.github.io의 프로젝트 문서를 참조하십시오.
VLESS란 무엇이며 V2Ray 커뮤니티가 이를 개발한 이유는 무엇인가?
VLESS는 "VMess Less"의 줄임말로, 2020년에 RPRX라는 개발자가 선보인 상태 비저장 경량 프록시 프로토콜입니다. RPRX는 2019년부터 RPRX/v2ray-vless 저장소에서 인큐베이션 프로젝트를 진행해 왔습니다. VLESS는 기존 V2Ray 프로토콜인 VMess의 암호화, 재전송 방지, 클럭 동기화 기능 등이 복잡하게 얽혀 2010년대 후반에 이르러 다루기 어려워진 점을 개선하기 위해 의도적으로 간소화하여 설계되었습니다.
현재 VLESS는 주로 두 가지 코드베이스에서 사용됩니다. 원래의 v2fly/v2ray-core 저장소는 호환성을 위해 VLESS를 포함하고 있습니다. RPRX가 유지 관리하는 XTLS/Xray-core 포크는 더 활발하게 개발되고 있는 구현체입니다. 2026년 5월 기준으로 Xray-core는 GitHub에서 38,600개의 스타와 약 5,400개의 포크를 기록했으며, v2fly/v2ray-core는 33,900개의 스타를 받았습니다. Xray는 중요한 기능, 즉 v2fly 원본에는 없는 XTLS Vision 흐름 제어 및 REALITY 전송 기능을 제공합니다.
VLESS 프로토콜 작동 방식: UUID, 암호화 없음, TLS 외부 연결
VLESS 와이어 프로토콜은 한 단락으로 설명할 수 있을 만큼 간단합니다. 클라이언트가 연결을 열면 헤더를 전송합니다. 헤더에는 버전 바이트, 사용자 UUID(16바이트), 선택적 추가 기능 필드의 길이 표시기, 추가 기능 자체, 명령(TCP 또는 UDP), 대상 포트, 주소 유형 바이트, 그리고 주소가 포함됩니다. 이 모든 것을 합하면 연결당 25~50바이트 정도가 됩니다. OpenVPN은 패킷당 100바이트 이상을 사용합니다.
헤더는 VLESS 자체에서 어떤 방식으로도 암호화되지 않습니다. 프로토콜은 JSON 구성에서 `encryption: "none"`을 명시적으로 요구하며, v2fly 문서에 따르면 이 필드는 비워둘 수 없고 반드시 "none"이라고 표시해야 합니다. 이는 프로토콜이 모든 기밀성을 하위 전송 계층에 위임한다는 사실을 운영자에게 알리기 위함입니다. 실제로 해당 전송 계층은 거의 항상 TLS 1.3입니다.
이러한 설계 선택은 VLESS가 지닌 모든 흥미로운 특성의 근원입니다. 자체 암호화 계층을 실행하지 않음으로써 VLESS는 검열된 네트워크에서 VMess를 실패로 이끌었던 실패 모드를 피합니다. 외부 TLS 터널 내부에 두 번째 암호화 계층을 추가하면 트래픽 분석 연구자들이 "TLS-in-TLS" 패턴이라고 부르는 현상이 발생합니다. 바로 이러한 이중 암호화 형태를 탐지하도록 훈련된 국가 차원의 심층 패킷 검사(DPI) 시스템이 2025년 9월까지 중국의 만리장성 방화벽에서 VMess 탐지율을 80% 이상으로 끌어올린 주요 원인이었습니다. 인증 정보와 라우팅 메타데이터만 전송하는 VLESS는 일반적인 TLS 통신과 훨씬 더 유사하게 보이므로 심층 패킷 검사 시스템이 의존하는 프로토콜 지문 분석을 무력화합니다.
또 다른 의도적인 생략은 상태 유지 기능입니다. VMess는 클라이언트와 서버 간의 동기화된 시계에 의존하며, 패킷 타임스탬프를 사용하여 재전송 공격을 방지합니다. 그 결과, 휴대폰 시계가 어긋나거나, 노트북이 듀얼 부팅되거나, 서버가 잘못된 시간대에 있을 때마다 수년간 연결 오류가 발생하는 문제가 있었습니다. VLESS는 상태 비저장 방식입니다. UUID가 전체 인증 기준입니다. UUID가 일치하면 연결이 승인되고, 일치하지 않으면 첫 번째 바이트에서 거부됩니다. 시간은 전혀 중요하지 않습니다.
VLESS에서 UUID는 표준 RFC-4122 식별자입니다. `xray uuid` 명령어를 사용하면 UUID를 생성할 수 있으며, 다른 표준 UUID 생성기도 사용할 수 있습니다. 최대 30바이트의 사용자 지정 문자열도 허용되며, 문서에서 "VLESS UUID 매핑 표준"이라고 부르는 방식을 통해 UUID로 매핑됩니다. 대부분의 설정에서는 매핑 방식이 실제 동작에 영향을 미치지 않으므로 표준 UUID를 그대로 사용합니다.
프로토콜 아래에는 TCP(TLS 포함 여부와 관계없이), mKCP, WebSocket, gRPC, QUIC 등 다양한 전송 옵션이 있습니다. 각 옵션은 트래픽을 처리하는 방식이 다릅니다. WebSocket을 사용하면 VLESS는 일반적인 HTTP/1.1 업그레이드 핸드셰이크 뒤에 숨어 Cloudflare와 같은 CDN을 통해 트래픽을 라우팅할 수 있습니다. gRPC는 HTTP/2 멀티플렉싱을 활용합니다. QUIC는 모든 데이터를 외부 UDP 기반 TLS 1.3 세션 내에서 전송합니다. 프로토콜 자체는 어떤 전송 프로토콜에서 실행되는지에 관계없이 작동합니다. 이러한 분리 덕분에 이식성이 뛰어납니다.
Xray, REALITY, 그리고 XTLS: VLESS가 실제로 실행되는 스택
실제로 VLESS를 완전히 맨몸으로 실행하는 사람은 아무도 없습니다. 흥미로운 부분은 그 주변에서 실행되는 것들입니다.
Xray-core는 가장 널리 사용되는 런타임입니다. 이는 커뮤니티 분열 이후 RPRX와 XTLS 개발자들이 시작한 V2Ray-core의 포크 버전이며, VLESS가 심각한 검열 우회 작업에 사용하는 두 가지 기술인 XTLS Vision과 REALITY를 제공합니다.
XTLS Vision(구성에서 `flow: "xtls-rprx-vision"`으로 지정됨)은 TLS 1.3 트래픽에 적용되는 패딩 방식입니다. 이 방식이 해결하는 문제는 미묘합니다. TLS 1.3 레코드는 고정된 형태의 내부 애플리케이션 데이터를 전송할 때 예측 가능한 길이 서명을 가지는데, 이 길이로 인해 터널링되는 데이터에 대한 정보가 노출됩니다. Vision은 초기 핸드셰이크 단계에서 패딩 바이트를 추가합니다. 연결이 설정되면 원시 소켓 복사 방식으로 전환합니다. Linux에서는 `splice()` 시스템 호출을 사용하여 사용자 공간을 거치지 않고 커널에서 TCP 패킷을 전달합니다. 결과적으로 프록시를 사용하지 않는 TCP 연결과 거의 동일한 처리량을 제공하면서 길이 서명 노출 문제가 해결됩니다.
2023년에 출시되어 github.com/XTLS/REALITY에서 유지 관리되는 REALITY는 훨씬 더 혁신적입니다. 표준 VLESS+TLS 서버는 자체 TLS 인증서를 제공하는데, 이는 도메인을 소유하고, 어딘가에서 Certbot을 실행하며, DPI 시스템이 프록시 사용과 연관시킬 수 있는 인증서 지문을 노출한다는 것을 의미합니다. REALITY는 이러한 개념 자체를 완전히 버립니다. 자체 TLS를 실행하는 대신, 서버는 실제 타사 웹사이트의 핸드셰이크를 가장합니다. 운영자는 'microsoft.com', 'apple.com' 등 원하는 도메인을 대상으로 지정할 수 있습니다. 서버는 SNI 가장과 X25519 키 교환을 사용합니다. 올바른 REALITY 공개 키를 알고 있는 클라이언트는 브라우저가 실제 웹 서버와 핸드셰이크하는 것과 똑같이 가장된 인증서 체인에 대해 실제 TLS 1.3 핸드셰이크를 완료한 후 VLESS 터널로 연결됩니다. DPI 시스템을 포함하여 공개 키를 모르는 클라이언트는 실제 인증서를 포함하여 가장된 사이트에 대한 정상적인 연결처럼 보입니다.
내부 프로토콜로 VLESS, 길이 시그니처 평탄화를 위한 XTLS Vision, 그리고 핸드셰이크 위장을 위한 REALITY의 조합이 바로 사람들이 "VLESS+REALITY" 또는 "VLESS+Vision+REALITY"라고 말할 때 의미하는 바입니다. 2026년 중반 기준으로, 이 구성은 다른 어떤 프로토콜도 제대로 작동하지 않는 환경에서도 여전히 유효합니다.
VLESS vs VMess vs Trojan vs Shadowsocks vs WireGuard
VLESS 관련 프로토콜 공간은 좁고 차이점이 중요합니다. 간략한 설명은 아래에 있으며, 자세한 내용은 표를 참조하십시오.
VMess는 VLESS의 전신입니다. 자체적인 AEAD 암호화, 재전송 방지 및 alterId 기반 변형 기능을 제공합니다. 검열되지 않은 네트워크에서는 이러한 기능들이 처리량의 몇 퍼센트를 손실할 뿐 추가적인 이점은 없습니다. 검열된 네트워크에서는 TLS 내부 암호화 패턴이 탐지 가능하며, GFW 원격 측정 데이터에 따르면 2025년 9월 이후 약 80%의 탐지율을 보이고 있습니다.
트로이목마는 다른 팀에서 개발한 유사 디자인입니다. VLESS보다 훨씬 단순한 구조를 가지고 있는데, UUID 대신 암호를 사용하고, 추가 기능 필드가 없으며, TLS는 외부에서만 사용됩니다. 수년간 이러한 최소주의 덕분에 강력한 성능을 발휘했지만, 2025년 8월 독일 방화벽(GFW) 업그레이드 이후 상황이 바뀌어 현재 트로이목마의 탐지율은 약 90%에 달합니다.
Shadowsocks는 완전히 다른 계열의 암호화 방식입니다. TLS 인터페이스를 사용하지 않는 대칭형 AEAD 암호화 방식으로, HTTPS가 아닌 임의의 바이트처럼 보이도록 설계되었습니다. 이러한 방식은 독일 방화벽(GFW)이 완전히 암호화된 트래픽을 기본적으로 의심스러운 트래픽으로 간주하기 시작하기 전까지는 효과적이었습니다. 최신 Shadowsocks 배포 방식은 v2ray-plugin이나 cloak과 같은 전송 플러그인을 사용하여 암호화 방식을 TLS 또는 HTTP로 감싸는 방식으로, 사실상 VLESS 아키텍처를 반대 방향에서 재구성하는 것입니다.
WireGuard는 완전히 다른 논의 대상입니다. 이는 프록시 프로토콜이 아니라 커널 레벨 VPN입니다. 깨끗한 네트워크 환경에서는 VLESS+XTLS보다 처리량 측면에서 약 2~3% 빠르며 CPU 오버헤드도 훨씬 적습니다. 따라서 ISP로부터의 개인 정보 보호라는 일반적인 사용 사례에는 여전히 적합한 솔루션입니다. 하지만 검열이 심한 네트워크에서는 고정된 0x01 핸드셰이크 바이트가 쉽게 식별되어 실질적인 처리량이 거의 0에 가까워집니다.
| 규약 | 가족 | 외부층 | DPI 저항 | ~에 가장 적합함 |
|---|---|---|---|---|
| VLESS+리얼리티 | V2Ray/Xray 프록시 | TLS 1.3을 사칭함 | 높음(현장 보고서에서 5% 이하 탐지율) | 적대적 네트워크 |
| VMess | V2Ray 프록시 | TLS 내부 자체 암호화 | 낮음(~80% GFW) | 기존 제품과의 호환성만 지원합니다. |
| 트로이 사람 | TLS 프론팅 프록시 | 자체 소유 TLS | 낮음(2025년 8월 이후 GFW 약 90%) | 더 간편한 자체 호스팅 |
| 섀도삭스(AEAD) | 대칭적 난독화 | 랜덤 바이트 / 플러그인 TLS | 혼합형 (플러그인에 따라 다름) | 불안정한 링크로 인해 모바일 사용자가 불편을 겪는 경우 |
| 와이어가드 | 커널 VPN | UDP + 노이즈 핸드셰이크 | 매우 낮음 (DPI로 감지 가능) | 깨끗한 네트워크 개인정보 보호 및 속도 |
VLESS, 검열, 그리고 러시아 DPI의 봉쇄
VLESS는 러시아를 비롯한 유사 체제에서 검열을 가장 확실하게 우회하는 프로토콜이라는 점에서 주목받게 되었지만, 그 영향력이 없었다면 프록시 소프트웨어 역사에서 그저 스쳐 지나가는 한 페이지에 불과했을 것입니다. 2024년 이후, 세계 최대 규모의 국가 차원의 심층정보 차단(DPI) 시스템들이 VLESS를 무력화시키기 위해 적극적으로 노력해 왔습니다. 그 이후로 상황은 서서히 악화되는 공개적인 공방전으로 전개되어 왔습니다.
러시아의 통신감독청(Roskomnadzor)은 2026년 1월까지 439개의 VPN 서비스를 차단했다고 발표했습니다. zona.media의 2026년 4월 보도에 따르면, 연방 정부의 VPN 차단 예산은 2025년부터 2027년까지 약 600억 루블(약 7억 8천만 달러)에 달하며, 이 중 22억 7천만 루블(약 2천9백만 달러)은 AI 기반 트래픽 필터링에 특별히 배정되었습니다. 2026년 2월 17일, Roskomnadzor는 Mezha와 digirpt의 보도처럼 VLESS-over-TCP-with-TLS를 집중적으로 차단하는 조치를 다시 강화했습니다. 사용자들은 몇 시간 만에 REALITY, gRPC, CDN 기반 전송 방식으로 전환했습니다. 당시 러시아의 DPI(심화 패킷 투시) 차단을 우회하는 VLESS+REALITY 방식의 커뮤니티 차단율은 약 99.5%에 달했다고 보고되었지만, 이는 측정된 수치라기보다는 추세적인 수치로 봐야 합니다.
중국의 만리장성 방화벽(Great Firewall)도 2025년에 비슷한 과정을 거쳤습니다. 트로이목마 탐지율은 8월에 약 90%로, VMess는 9월에 약 80%로 떨어졌습니다. 2025년 9월에는 중국 방화벽 하청업체에서 발생한 600GB 규모의 데이터 유출 사건(Cybernews 보도)으로 내부 기밀 분류 체계의 일부가 노출되었지만, 그 자체로는 구축 비용에 큰 영향을 미치지 않았습니다. greatfirewallguide.com의 커뮤니티 테스트 결과, 2026년 초 VLESS+REALITY+Vision 조합의 방화벽 우회율이 98%에 달하는 것으로 나타났습니다.
이란에서는 MCI의 IRGFW가 적어도 2024년 4월부터 REALITY IP 주소를 그레이리스트에 추가해 왔으며, 이는 XTLS/Xray-core 토론 #3269에 기록되어 있습니다. 통신 사업자들에 따르면 약 100GB의 REALITY 트래픽을 전송하는 IP 주소는 Irancell에 의해 48시간 이내에 차단되는 경향이 있으며, 이 때문에 서버 로테이션과 CDN 프론팅이 이란에서 일반적인 관행이 되었습니다.
VLESS VPN 설정 구성: 서버, 클라이언트, 설정
VLESS 배포는 세 부분으로 구성됩니다. 어딘가에 있는 서버, 각 장치에 설치된 클라이언트, 그리고 이들을 연결하는 연결 문자열입니다.
서버 측은 요구 사양이 높지 않습니다. Hetzner, Vultr, OVH 등 공용 IPv4를 제공하는 저렴한 VPS면 충분합니다. 프로젝트 릴리스 바이너리 또는 패키지 관리자를 사용하여 Xray-core를 설치하고, UUID(`xray uuid`)를 생성하고, REALITY용 X25519 키 쌍(`xray x25519`)을 생성한 다음, 가장 대상(TLS 1.3 및 HTTP/2를 지원하는 실제 HTTPS 사이트)을 선택하고, 443번 포트에 바인딩하는 JSON 서버 구성 파일을 작성하면 됩니다. 한 번만 설정하면 전체 설정 시간은 10분 정도면 충분합니다. 3X-UI나 Hiddify-Manager와 같은 웹 패널은 JSON 파일을 직접 편집하지 않고도 동일한 구성을 브라우저 인터페이스에서 사용할 수 있도록 지원합니다. 관리형 어플라이언스도 있습니다. AWS Marketplace에서는 t3.micro 서버에서 시간당 0.063달러에 Xray VLESS VPN 서버 이미지를 구매할 수 있으며, 5일 무료 평가판을 제공합니다.
클라이언트 측 생태계는 파편화되어 있지만 안정적입니다. v2rayN과 Nekoray가 Windows 클라이언트 시장에서 지배적인 위치를 차지하고 있습니다. v2rayNG, NekoBox, Hiddify는 Android를 지원합니다. Hiddify는 macOS와 Linux에서도 크로스 플랫폼으로 실행됩니다. Apple의 App Store 정책으로 인해 iOS에서는 Streisand가 무료 옵션이며, Shadowrocket 또는 V2Box가 유료 옵션입니다. 이들 모두 VLESS를 사용하며, 대부분 REALITY를 지원합니다. 설정은 일반적으로 `vless://` URI 스키마(UUID, 주소, 포트, 전송 방식, REALITY 매개변수를 포함하는 단일 URL)를 통해 가져오거나 서버 측 패널에서 QR 코드를 스캔하여 가져옵니다.
성능, 위험, 그리고 VLESS가 적합한 도구가 아닌 경우
성능이 최우선입니다. 커뮤니티 벤치마크에 따르면 VLESS는 동일한 전송 프로토콜에서 VMess보다 처리량이 약 15~25% 더 높습니다. 이는 VLESS 헤더가 훨씬 짧고 내부 암호화 과정이 없기 때문입니다. XTLS Vision과 Linux 스플라이스 최적화를 활용하면, 잘 구성된 VLESS 환경에서는 VPS 대역폭과 서버 왕복 시간에 의해서만 제한되는 네이티브 TCP 처리량에 근접한 성능을 얻을 수 있습니다. WireGuard는 검열이 없는 네트워크에서 2~3% 더 빠른 속도를 유지하는데, 이러한 환경에서는 핸드셰이크 과정에서 문제가 발생하지 않습니다.
위험은 실제로 존재합니다. VLESS 프로토콜 자체는 중립적이고 오픈 소스이지만, 이를 이용해 국가 검열을 우회하는 행위의 법적 지위는 관할 지역에 따라 크게 다릅니다. 러시아의 연방 법률은 개인적인 용도보다는 우회 도구 사용 방식을 홍보하는 행위 자체를 범죄로 규정하고 있으며, 중국의 규제는 더욱 엄격하고 자의적입니다. 이란은 대규모 프록시 풀 운영자를 기소하기도 합니다. 기업 네트워크에서는 프록시 및 VPN 트래픽을 전면 금지하는 경우가 많습니다. 따라서 이러한 환경에 있는 사용자는 설정을 하기 전에 관련 규정을 반드시 숙지해야 합니다. 일부 관할 지역에서는 VLESS 구독이 사전 설치된 무료 VPN 앱은 별도의 규제 범주에 속하며, 다른 수준의 감시를 받을 수 있습니다.
마지막으로, 그다지 극적인 이야기는 아니지만, 검열되는 네트워크에 있지 않다면 VLESS는 과도합니다. ISP로부터 일반적인 개인 정보 보호를 위해 깨끗한 연결을 사용한다면 WireGuard나 최신 OpenVPN 구성이 더 빠르고 간단하며, 이미 모든 상용 VPN 제공업체에서 지원하고 있습니다. VLESS+REALITY는 특정 문제를 해결하기 위한 도구이며, 다른 문제에 대해 이를 사용하려다가는 대부분 복잡성만 더할 뿐입니다.
