GBK编码

• 中国国家标准编码
• 双字节编码方案
• 支持21,886个汉字
• 主要用于简体中文环境

UTF-8编码

• Unicode的实现方式之一
• 可变长度字符编码
• 支持全球所有语言
• 互联网标准编码

读取GBK文件

with open('gbk_file.txt', 'r', encoding='gbk') as f:
    content = f.read()

写入UTF-8文件

with open('utf8_file.txt', 'w', encoding='utf-8') as f:
    f.write(content)

1. 自动检测编码

使用chardet库检测未知文件的编码：

import chardet

def detect_encoding(file_path):
    with open(file_path, 'rb') as f:
        raw_data = f.read()
        result = chardet.detect(raw_data)
        return result['encoding']

2. 处理大文件

逐行处理大文件，避免内存不足：

with open('big_gbk_file.txt', 'r', encoding='gbk') as f_in:
    with open('big_utf8_file.txt', 'w', encoding='utf-8') as f_out:
        for line in f_in:
            f_out.write(line)

3. 错误处理策略

处理无法解码的字符：

# 忽略无法解码的字符
with open('file.txt', 'r', encoding='gbk', errors='ignore') as f:
    ...

# 替换无法解码的字符
with open('file.txt', 'r', encoding='gbk', errors='replace') as f:
    ...

Q: 遇到UnicodeDecodeError错误怎么办？

A: 这通常意味着使用了错误的编码读取文件。尝试以下方法：

• 使用chardet库检测实际编码
• 尝试其他常见编码：gb18030, big5, shift_jis等
• 使用errors='replace'参数替换无法解码的字符

Q: 转换后文件出现乱码如何解决？

A: 乱码通常由以下原因造成：

• 源文件实际编码与指定编码不一致
• 编辑器没有正确识别UTF-8编码（确保使用UTF-8打开）
• 文件包含混合编码内容

Q: 如何批量转换整个目录的文件？

A: 使用Python遍历目录并转换所有文件：

import os

def convert_directory(input_dir, output_dir):
    for filename in os.listdir(input_dir):
        input_path = os.path.join(input_dir, filename)
        output_path = os.path.join(output_dir, filename)
        
        if os.path.isfile(input_path):
            convert_gbk_to_utf8(input_path, output_path)

# 使用示例
convert_directory('gbk_files', 'utf8_files')