告别中文乱码，自动检测网页编码的JAVA爬虫

麻烦的中文编码GB2312

写了个爬虫系统，结果运行没一会儿就发现队列里出现了乱码的url。检查发现网页是用gb2312编码的，我读取的时候是用utf8，所以中文就乱码了。原因找到了，开始fix。

一般而言，指定网页编码的地方有三处：

http header头部的Content-Type (Content-Type:text/html; charset=UTF-8)
源码 meta charset (<meta charset="UTF-8"/>)
源码 http-equiv (<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />)

其中 http header是服务器指定的，优先级最高，剩下两个一般不会同时出现，顺序无所谓。

策略是，先把网页下载下来，然后依次找上述三个位置，找到编码就用该编码将字符串以该编码转换成utf8，但是实际测试发现，不管怎么转都是乱码，最好的情况下确实转成了中文，但是跟原来完全不是同一个字啊。例如 “校内办公――电子地图” 变成了 “校锟节办公锟斤拷锟斤拷锟斤拷锟接碉拷图”。

网上找到的关于java编码的问题都是说需要在读取的时候指定编码，不然就会产生中文乱码。然而，我这是爬虫，在下载之前我并不知道它用的是什么编码啊。

思来想去，无论什么编码，英文字符显示都是正常的，可以用字节流先以字节的形式把网页存下来;然后转成字符串获得编码;最后再利用正确的编码对原字节数组进行编码转换。

示例代码

核心代码如下

private void parse(HttpEntity entity){
	/* 先尝试从响应头部里找编码 */
	ContentType contentType = ContentType.get(entity);
	Charset cs = contentType.getCharset();
	if (cs != null) {
		charset = cs.toString();
		logger.info("Detect charset in header:"+charset);
	}

	try {
		/* 先以字节流的形式把源码读到内存 */
		InputStream is = entity.getContent();
		ByteArrayOutputStream os = new ByteArrayOutputStream(1024);
		byte[] temp = new byte[1024];
		int size;
		while ((size = is.read(temp)) != -1) {
			os.write(temp, 0, size);
		}
		
		/* 如果header里没有指定，从meta里找 */
		if (charset == null) {
			Document doc = Jsoup.parse(os.toString());
			Elements metaTags = doc.getElementsByTag("meta");
			for (Element metaTag : metaTags) {
				String content = metaTag.attr("content");
				String http_equiv = metaTag.attr("http-equiv");
				charset = metaTag.attr("charset");
				if (!charset.isEmpty()) {
					logger.info("Detect charset in meta:"+charset);
					break;
				}
				if (http_equiv.toLowerCase().equals("content-type")) {
					charset = content.substring(content.toLowerCase().indexOf("charset") + "charset=".length());
					logger.info("Detect charset in http-equiv:"+charset);
					break;
				}
			}
			/* 如果都没有找到，默认使用UTF-8 */
			if (charset == null || charset.isEmpty())
				charset = "utf-8";
		}
		/* 用指定的编码来解析 */
		html = new String(os.toByteArray(), charset);
	}catch (Exception ex){
		errMsg = ex.getMessage();
	}
}