【Python】テキストファイルの文字コードを判別してファイルを開く

1with open('UTF-8.txt') as f:
2    s = f.read()
3    print(s) # UnicodeDecodeError: 'cp932' codec can't decodeが発生する

1pip install chardet

1あいうえお

 1import chardet
 2
 3with open('UTF-8.txt', 'rb') as f:
 4    print('UTF-8.txt')
 5    print(chardet.detect(f.read()))
 6
 7print()
 8with open('Shift-JIS.txt', 'rb') as f:
 9    print('Shift-JIS.txt')
10    print(chardet.detect(f.read()))

1UTF-8.txt
2{'encoding': 'utf-8', 'confidence': 0.9690625, 'language': ''}
3
4Shift-JIS.txt
5{'encoding': 'Windows-1252', 'confidence': 0.73, 'language': ''}

 1import chardet
 2
 3# 文字コードUTF-8の「こころ」テキストファイル
 4with open('kokoro_UTF-8.txt', 'rb') as f:
 5    print('kokoro_UTF-8.txt')
 6    print(chardet.detect(f.read()))
 7
 8print()
 9
10# 文字コードShift-JISの「こころ」テキストファイル
11with open('kokoro_Shift-JIS.txt', 'rb') as f:
12    print('kokoro_Shift-JIS.txt')
13    print(chardet.detect(f.read()))

1kokoro_UTF-8.txt
2{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
3
4kokoro_Shift-JIS.txt
5{'encoding': 'SHIFT_JIS', 'confidence': 0.99, 'language': 'Japanese'}</pre>

 1import glob
 2from chardet.universaldetector import UniversalDetector
 3
 4
 5def detect_character_code(pathname):
 6    """
 7    pathnameから該当するファイルの文字コードを判別して
 8    ファイル名と文字コードのdictを返す
 9
10    :param pathname: 文字コードを判別したいフォルダ
11    :return: ファイル名がキー、文字コードが値のdict
12    """
13    files_code_dic = {}
14    detector = UniversalDetector()
15    for file in glob.glob(pathname):
16        with open(file, 'rb') as f:
17            detector.reset()
18            for line in f.readlines():
19                detector.feed(line)
20                if detector.done:
21                    break
22            detector.close()
23            files_code_dic[file] = detector.result['encoding']
24    return files_code_dic
25
26
27if __name__ == '__main__':
28    # カレントフォルダ内のテキストファイルの文字コードを判別
29    path = './'
30    filename = '*'
31    extension = 'txt'
32    pathname = path + filename + '.' + extension
33    files_code = detect_character_code(pathname)
34    for filename in glob.glob(pathname):
35        with open(filename, encoding=files_code[filename]) as f:
36            for line in f.readlines():
37                print(filename)
38                print(line)
39                break

1.\kokoro_Shift-JIS.txt
2こころ
3
4.\kokoro_UTF-8.txt
5こころ