java读取超大文件的示例
这篇文章给大家分享的是有关java读取超大文件的示例的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
成都创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站制作、成都网站建设、沂源网络推广、小程序制作、沂源网络营销、沂源企业策划、沂源品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联为所有大学生创业者提供沂源建站搭建服务,24小时服务热线:13518219792,官方网址:www.cdcxhl.com
Java NIO读取大文件已经不是什么新鲜事了,但根据网上示例写出的代码来处理具体的业务总会出现一些奇怪的Bug。
针对这种情况,我总结了一些容易出现Bug的经验
1.编码格式
由于是使用NIO读文件通道的方式,拿到的内容都是byte[],在生成String对象时一定要设置与读取文件相同的编码,而不是项目编码。
2.换行符
一般在业务中,多数情况都是读取文本文件,在解析byte[]时发现有换行符时则认为该行已经结束。
在我们写Java程序时,大多数都认为\r\n为一个文本的一行结束,但这个换行符根据当前系统的不同,换行符也不相同,比如在Linux/Unix下换行符是\n,而在Windows下则是\r\n。如果将换行符定为\r\n,在读取由Linux系统生成的文本文件则会出现乱码。
3.读取正常,但中间偶尔会出现乱码
public static void main(String[] args) throws Exception { int bufSize = 1024; byte[] bs = new byte[bufSize]; ByteBuffer byteBuf = ByteBuffer.allocate(1024); FileChannel channel = new RandomAccessFile("d:\\filename","r").getChannel(); while(channel.read(byteBuf) != -1) { int size = byteBuf.position(); byteBuf.rewind(); byteBuf.get(bs); // 把文件当字符串处理,直接打印做为一个例子。 System.out.print(new String(bs, 0, size)); byteBuf.clear(); } }
这是网上大多数使用NIO来读取大文件的例子,但这有个问题。中文字符根据编码不同,会占用2到3个字节,而上面程序中每次都读取1024个字节,那这样就会出现一个问题,如果该文件中第1023,1024,1025三个字节是一个汉字,那么一次读1024个字节就会将这个汉字切分成两瓣,生成String对象时就会出现乱码。
解决思路是判断这读取的1024个字节,最后一位是不是\n,如果不是,那么将最后一个\n以后的byte[]缓存起来,加到下一次读取的byte[]头部。
以下为代码结构:
NioFileReader
package com.okey.util; import java.io.*; import java.nio.ByteBuffer; import java.nio.channels.FileChannel; /** * Created with Okey * User: Okey * Date: 13-3-14 * Time: 上午11:29 * 读取文件工具 */ public class NIOFileReader { // 每次读取文件内容缓冲大小,默认为1024个字节 private int bufSize = 1024; // 换行符 private byte key = "\n".getBytes()[0]; // 当前行数 private long lineNum = 0; // 文件编码,默认为gb2312 private String encode = "gb2312"; // 具体业务逻辑监听器 private ReaderListener readerListener; /** * 设置回调方法 * @param readerListener */ public NIOFileReader(ReaderListener readerListener) { this.readerListener = readerListener; } /** * 设置回调方法,并指明文件编码 * @param readerListener * @param encode */ public NIOFileReader(ReaderListener readerListener, String encode) { this.encode = encode; this.readerListener = readerListener; } /** * 普通io方式读取文件 * @param fullPath * @throws Exception */ public void normalReadFileByLine(String fullPath) throws Exception { File fin = new File(fullPath); if (fin.exists()) { BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(fin), encode)); String lineStr; while ((lineStr = reader.readLine()) != null) { lineNum++; readerListener.outLine(lineStr.trim(), lineNum, false); } readerListener.outLine(null, lineNum, true); reader.close(); } } /** * 使用NIO逐行读取文件 * * @param fullPath * @throws java.io.FileNotFoundException */ public void readFileByLine(String fullPath) throws Exception { File fin = new File(fullPath); if (fin.exists()) { FileChannel fcin = new RandomAccessFile(fin, "r").getChannel(); try { ByteBuffer rBuffer = ByteBuffer.allocate(bufSize); // 每次读取的内容 byte[] bs = new byte[bufSize]; // 缓存 byte[] tempBs = new byte[0]; String line = ""; while (fcin.read(rBuffer) != -1) { int rSize = rBuffer.position(); rBuffer.rewind(); rBuffer.get(bs); rBuffer.clear(); byte[] newStrByte = bs; // 如果发现有上次未读完的缓存,则将它加到当前读取的内容前面 if (null != tempBs) { int tL = tempBs.length; newStrByte = new byte[rSize + tL]; System.arraycopy(tempBs, 0, newStrByte, 0, tL); System.arraycopy(bs, 0, newStrByte, tL, rSize); } int fromIndex = 0; int endIndex = 0; // 每次读一行内容,以 key(默认为\n) 作为结束符 while ((endIndex = indexOf(newStrByte, fromIndex)) != -1) { byte[] bLine = substring(newStrByte, fromIndex, endIndex); line = new String(bLine, 0, bLine.length, encode); lineNum++; // 输出一行内容,处理方式由调用方提供 readerListener.outLine(line.trim(), lineNum, false); fromIndex = endIndex + 1; } // 将未读取完成的内容放到缓存中 tempBs = substring(newStrByte, fromIndex, newStrByte.length); } // 将剩下的最后内容作为一行,输出,并指明这是最后一行 String lineStr = new String(tempBs, 0, tempBs.length, encode); readerListener.outLine(lineStr.trim(), lineNum, true); } catch (Exception e) { e.printStackTrace(); } finally { fcin.close(); } } else { throw new FileNotFoundException("没有找到文件:" + fullPath); } } /** * 查找一个byte[]从指定位置之后的一个换行符位置 * @param src * @param fromIndex * @return * @throws Exception */ private int indexOf(byte[] src, int fromIndex) throws Exception { for (int i = fromIndex; i < src.length; i++) { if (src[i] == key) { return i; } } return -1; } /** * 从指定开始位置读取一个byte[]直到指定结束位置为止生成一个全新的byte[] * @param src * @param fromIndex * @param endIndex * @return * @throws Exception */ private byte[] substring(byte[] src, int fromIndex, int endIndex) throws Exception { int size = endIndex - fromIndex; byte[] ret = new byte[size]; System.arraycopy(src, fromIndex, ret, 0, size); return ret; } }
ReaderListener
package com.okey.util; import java.util.ArrayList; import java.util.List; /** * Created with Okey * User: Okey * Date: 13-3-14 * Time: 下午3:19 * NIO逐行读数据回调方法 */ public abstract class ReaderListener { // 一次读取行数,默认为500 private int readColNum = 500; private Listlist = new ArrayList (); /** * 设置一次读取行数 * @param readColNum */ protected void setReadColNum(int readColNum) { this.readColNum = readColNum; } /** * 每读取到一行数据,添加到缓存中 * @param lineStr 读取到的数据 * @param lineNum 行号 * @param over 是否读取完成 * @throws Exception */ public void outLine(String lineStr, long lineNum, boolean over) throws Exception { if(null != lineStr) list.add(lineStr); if (!over && (lineNum % readColNum == 0)) { output(list); list.clear(); } else if (over) { output(list); list.clear(); } } /** * 批量输出 * * @param stringList * @throws Exception */ public abstract void output(List stringList) throws Exception; }
ReadTxt(具体业务逻辑)
package com.okey.util; import java.io.File; import java.util.HashMap; import java.util.List; import java.util.Map; /** * Created with IntelliJ IDEA. * User: Okey * Date: 14-3-6 * Time: 上午11:02 * To change this template use File | Settings | File Templates. */ public class ReadTxt { public static void main(String[] args) throws Exception{ String filename = "E:/address_city.utf8.txt"; ReaderListener readerListener = new ReaderListener() { @Override public void output(ListstringList) throws Exception { for (String s : stringList) { System.out.println("s = " + s); } } }; readerListener.setReadColNum(100000); NIOFileReader nioFileReader = new NIOFileReader(readerListener,"utf-8"); nioFileReader.readFileByLine(filename); } }
感谢各位的阅读!关于“java读取超大文件的示例”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
网站标题:java读取超大文件的示例
文章链接:http://scyanting.com/article/gcesdc.html