检测文本编码信息
编码检测分析字节流推断原始编码。方法:统计特征(UTF-8有独特字节模式)、BOM标记、字符频率分析。库:chardet(Python)、jschardet(JS)。不保证100%准确。
BOM(字节顺序标记)是UTF-16/UTF-32文件开头的特殊字节,表示字节序(高位在前/低位在前)。UTF-8 BOM(EF BB BF)是微软首创,不是标准。带BOM的UTF-8可能导致解析问题(如PHP include)。