Mã Hóa Ký Tự UTF-8, UTF-16 Và UTF-32: Bản Chất Byte & Tránh Lỗi Font

Lỗi mã hóa văn bản — các ký tự mojibake như é thay vì é — xảy ra khi phần mềm hiểu sai các chuỗi byte đại diện cho các code point Unicode. Hiểu cách UTF-8, UTF-16 và UTF-32 mã hóa ký tự là điều thiết yếu để xây dựng pipeline xử lý tệp có khả năng chịu lỗi tốt.

Mô Hình Unicode: Code Point vs Byte

Unicode ánh xạ các ký tự trừu tượng thành code point số (ví dụ: U+0041 cho 'A', U+1F600 cho '😀'). Định dạng chuyển đổi (UTF) quy định cách các số đó được tuần tự hóa thành byte nhị phân.

Cách Hoạt Động Của UTF-8 Với Độ Dài Biến Đổi

• Ký tự ASCII (0-127): Mã hóa trong 1 byte (0xxxxxxx), duy trì 100% khả năng tương thích ngược với ASCII cũ.
• Latin, Hy Lạp, Cyrillic (128-2047): Mã hóa trong 2 byte.
• Chữ Á Đông, CJK (2048-65535): Mã hóa trong 3 byte.
• Emoji & ký hiệu hiếm (65536+): Mã hóa trong 4 byte.

// Giải mã byte an toàn trong Node.js
import { TextDecoder } from 'util';

export function decodeTextSafely(buffer: Buffer): string {
  // fatal: true ném ngoại lệ thay vì chèn ký tự thay thế 
  const decoder = new TextDecoder('utf-8', { fatal: true });
  return decoder.decode(buffer);
}

Byte Order Mark (BOM)

UTF-8 không yêu cầu Byte Order Mark vì các byte được sắp xếp giống nhau trên máy big-endian và little-endian. Tuy nhiên, một số phần mềm Windows (Notepad, Excel) thêm 0xEF 0xBB 0xBF ở đầu. Luôn loại bỏ các byte BOM đầu khi phân tích tệp văn bản trong Node.js.