你想知道的HTTP Proxy

我们所说的HTTP Proxy,本质就是基于HTTP的代理服务(此处Proxy仅仅就是“代理”的英文说法)。可以说目前所有程序都是支持HTTP代理的,很多高级编程语言像golang,对本机HTTP代理配置的读取就非常方便,所谓“编程友好”。

我对HTTP代理的最初印象,就是刚参加工组的时候,如果想上公网,就需要在浏览器端配置HTTP代理。当时就觉得很神奇,问了团队里的大神,他说,通过那个代理地址,本机HTTP请求会发到一个能访问外网的服务器上,然后将HTTP请求的结果通过代理再返回给本机。我说,好cool啊,就饶有兴致地自己研究起来,知道了PAC,即Proxy auto-config,意为代理自动配置。PAC文件,本质上是一段JavaScript代码,里面包含了最重要的方法叫 FindProxyForURL,通过这个方法,分析本机的HTTP请求,是否需要走代理(请求公司内网地址不需要走代理),以及提供一个合适的代理服务器地址(如果你在中国,PAC可以给你走一个China的代理,这样速度更快)。下图为PAC截图:

简单易用的HTTP代理,也有它明显的缺点,来看看HTTP的本质。

HTTP本身是一种协议,处于7层OSI的应用层,所谓协议,指的是同一层的交换所遵循的约定(引用自《图解TCP/IP》)。HTTP协议是基于TCP连接的,主要解决如何包装数据。HTTP连接(请求)是短时连接,即客户端向服务器端发送一次请求,服务器端响应后连接即会断掉。

这样的属性,导致HTTP代理可能是不稳定的。而且,由于没有任何加密 ,HTTP发出的请求,都是暴露在公网上的,居心不良的玩家和组织完全可以截获并重置你的请求。

所以简单部署的HTTP代理,是不安全不可靠的。如果喜欢HTTP代理,建议使用GoAgent,这款老牌代理工具,使用谷歌服务器代理,速度快,较稳定,并且对用户请求进行了安全的封装。曾经的不方便之处就是访问HTTPS网站,会出现无法访问的问题,因为HTTPS请求需要配合证书才能正确打开,现在GoAgent工具包里默认提供了常用网站证书,大多数情况下使用顺滑。

你想知道的Socket

Socket是对TCP/IP协议的封装,Socket本身并不是协议,而是一个调用接口(API),所谓接口,指的是不同层之间交换所遵循的约定。通过Socket,才能使用TCP/IP协议。与HTTP连接不同,Socket连接是长连接,理论上客户端和服务器端一旦建立起连接将不会主动断掉,但是由于各种环境因素可能会使连接断开。

我对Socket的最初印象,就是在大学时期上的第一堂JAVA上机课,主题是通过创建client socket和server socket,实现一对一的聊天程序,由于Socket支持TCP和UDP两种不同的协议,所以如果你创建的Socket连接是基于UDP协议的,那你的聊天程序是不可靠的(当时的我想法是,这样的不靠谱的协议,谁会用啊)。

单Socket而言,估计用nodejs的同学会比较熟悉著名的socket.io。而在科学上网领域,就不得不提基于Socket的ShadowSocks工具。这里的Socks不是简单的Socket缩写,事实上Socks是一种协议(写为SOCKS更适合),设计者把几组经典的Socket编程模型,定义成SOCKS协议,目的是拥有高权限的用户访问一般用户无法访问的外部资源。听起来,这个协议设计初衷就充满了想要“科学上网”的意味。

目前常用的SOCKS协议是SOCKS5,IETF里的代号为RFC1928,1996年被确认。虽说已服役10年,但是其普及率还是不及HTTP,很多应用程序还没有原生支持SOCKS5。

说回ShadowSocks,它最初是由Clowwindy在github上开源(有兴趣的同学可以去瞻仰下大神的头像)。关于它的运行原理,引述wikipedia上的描述:

在服务器端部署完成后,用户需要按照指定的密码、加密方式和端口使用客户端软件与其连接。在成功连接到服务器后,客户端会在用户的电脑上构建一个本地Socks5代理。浏览网络时,网络流量会被分到本地socks5代理,客户端将其加密之后发送到服务器,服务器以同样的加密方式将流量回传给客户端,以此实现代理上网。

本质上,ShadowSocks就是使用SSH隧道技术配合SOCKS5协议,实现了加密通信,而SSH的本质就是建立加密的Socket连接。可惜,正如上文提到的,不是所有程序都支持SOCKS协议,可能就无法完美享受ShadowSocks带来的便利了。

当然,在伟大的程序员眼里,这些从来不是个事儿。上帝说要有光,于是乎,有了proxychainsprivoxy

proxychains是一个命令行工具

  • 在MAC下通过homebrew install proxychains-ng即可完成安装。
  • 安装完成后,进行简单的配置,修改/usr/local/etc/proxychains.conf 文件,一般是最后两行,下图是我的配置:

  • 配置完成后,使用方式也很简单,如:
proxychains4 wget https://www.twitter.com
proxychains4 git clone https://github.com/rofl0r/proxychains-ng
  • 它的工作原理是hook 了目标程度的 sockets 相关的操作,让目标程序的 Sockets 数据走 SOCKS/HTTP 代理。详细解释,可以看看这篇文章

privoxy是个可以创建代理链的工具

当初想要测试一个用golang写的小程序,需要访问墙外资源,用proxychains不好使,因为这个程序里没有对SOCKS协议做相关支持,但是有对本机HTTP代理配置的读取。所以想着,有没有一种软件可以将SOCKS协议转成HTTP代理,于是乎就找到了privoxy

  • 它提供一种“SOCKS转发”机制,即:Privoxy 面向用户提供HTTP代理入口,然后把自己收到的 HTTP 请求转给另一个 SOCKS 代理;如果需要的话,还可以由这个 SOCKS 代理再转给另一个 HTTP 代理。详细解释,可以看这篇文章。我把这种机制称之为代理链
  • privoxy在MAC上安装同样可以通过homebrew install privoxy(提供的可能不是最新稳定版本,可以到这个官网地址找到最新版本)
  • 修改/usr/local/etc/privoxy/config配置文件,跟proxychains类似,也是在文件最后,添加类似:
listen-address 0.0.0.0:8118 # 本地提供的HTTP代理入口
forward-socks5 / 127.0.0.1:1234 # SOCKS代理入口
  • 然后就可以使用export http_proxy;https_proxy传统方式,为本机添加HTTP代理入口,建议在终端里添加相关alias命令缩写,随用随开启。如:

快速创建一个科学上网环境

  • 通过VPS自建安全的HTTP Proxy服务或者使用GoAgent服务
  • 买买买(推荐)
    • dotunnel,shadowsocks服务商,特点,主页打一枪换一个地方,可以通过官方telegram组知道最新地址。价格公道,目前提供客户端,实现全局代理。 以下为邀请码:
    • blackssl,shadowsocks服务商,特点,稳定快速,配合GoagentX客户端使用,体验不错。需要邀请码才能注册。

参考链接

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s