python memory error 解决方法

两种比较快Large File Reading 的方法,本文将介绍这两种读取方法。

操作方法

  • 01

    Preliminary 我们谈到“文本处理”时,我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法: .read()、.readline() 和 .readlines()。每种方法可以接受一个变量以限制每次读取的数据量,但它们通常不使用变量。 .read() 每次读取整个文件,它通常用于将文件内容放到一个字符串变量中。然而 .read() 生成文件内容最直接的字符串表示,但对于连续的面向行的处理,它却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。下面是read()方法示例: 1  try: 2      f = open('/path/to/file', 'r') 3      print f.read() 4  finally: 5      if f: 6      f.close() 调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。 如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便: 1  for line in f.readlines(): 2      process(line) # <do something with line>

  • 02

    Read In Chunks 处理大文件是很容易想到的就是将大文件分割成若干小文件处理,处理完每个小文件后释放该部分内存。这里用了iter & yield: 1 2  def read_in_chunks(filePath, chunk_size=1024*1024): 3        """ 4        Lazy function (generator) to read a file piece by piece. 5        Default chunk size: 1M 6        You can set your own chunk size 7        """ 8        file_object = open(filePath) 9        while True: 10              chunk_data = file_object.read(chunk_size) 11              if not chunk_data: 12                        break 13       yield chunk_data 14  if __name__ == "__main__": 15   filePath = './path/filename' 16   for chunk in read_in_chunks(filePath): 17        process(chunk) # <do something with chunk> 18

  • 03

    Using with open() with语句打开和关闭文件,包括抛出一个内部块异常。for line in f文件对象f视为一个迭代器,会自动的采用缓冲IO和内存管理,所以你不必担心大文件。 1#If the file is line based 2with open(...) as f: 3   for line in f: 4   process(line) # <do something with line>

  • 04

    Conclusion 在使用python进行大文件读取时,应该让系统来处理,使用最简单的方式,交给解释器,就管好自己的工作就行了。

(0)

相关推荐