Guide de l'encodage : ASCII, UTF-8, Unicode

TL;DR — Réponse directe

L'encodage des caractères associe les symboles du texte humain à des nombres binaires que les ordinateurs peuvent stocker et traiter. Les premiers encodages historiques (ASCII, ISO-8859-1, Windows-1252) utilisaient 7 ou 8 bits et provoquaient une corruption massive du texte (mojibake) en raison de pages de codes incompatibles. Aujourd'hui, UTF-8 est le standard universel mondial : il représente les 1 114 112 points de code Unicode tout en restant rétrocompatible avec ASCII.

💡

Règle de production : Utilisez toujours UTF-8 à toutes les frontières de l'application : schémas de base de données (utf8mb4 sous MySQL), en-têtes HTTP Content-Type, balises HTML <meta charset="utf-8"> et entrées/sorties de fichiers.

L'évolution des encodages de texte

Comment les systèmes informatiques sont passés des pages de codes propriétaires de 8 bits à un standard mondial unique et unifié.

1. ASCII (1963) : la fondation 7 bits

ASCII a défini 128 caractères (0–127) : lettres anglaises, chiffres et ponctuation de base. Comme les octets comptent 8 bits, le 8e était initialement inutilisé ou réservé aux contrôles de parité.

2. Le chaos 8 bits : ISO-8859 et pages de codes Windows

Avec l'internationalisation des ordinateurs, chaque région a utilisé les 128 positions supérieures (128–255) pour ses écritures locales. L'Europe de l'Ouest employait ISO-8859-1, le cyrillique ISO-8859-5, et Windows a créé Windows-1252. Un fichier enregistré dans une page de codes puis ouvert dans une autre produisait du mojibake (« café » devenait « cafÃ© »).

3. Unicode et UTF-8 : la solution définitive

Unicode a unifié tous les systèmes d'écriture humains dans un espace de code partagé. Ken Thompson et Rob Pike ont conçu UTF-8 en 1992 pour sérialiser Unicode en octets de longueur variable tout en préservant une rétrocompatibilité de 100 % avec ASCII.

Déclarer UTF-8 dans toute la pile web pour éliminer le mojibake

HTML utf8-declaration.html

<!-- 1. HTML5 document charset declaration (must be in top 1024 bytes) -->
<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="utf-8">
  <title>UTF-8 Web Document</title>
</head>
<body>
  <p>Hello world • Café • 東京 • 🚀</p>
</body>
</html>

Sortie du programme

Hello world • Café • 東京 • 🚀

Pourquoi UTF-8 a gagné le web

Aujourd'hui, plus de 98 % des sites web et des systèmes d'exploitation modernes utilisent UTF-8.

Rétrocompatibilité ASCII

Tout fichier ASCII valide est déjà de l'UTF-8 valide, sans conversion.

Auto-synchronisation et robustesse

Les octets de continuation commencent toujours par les bits 10xxxxxx, ce qui permet aux analyseurs de retrouver sans effort le début du caractère suivant, même avec des données corrompues.

Aucun souci d'endianness

UTF-8 est un flux d'octets de 8 bits, ce qui élimine la confusion d'ordre des octets liée à la marque d'ordre des octets (BOM).

Erreurs courantes vs modèles de production

Découvrez quels modèles échouent en production et leurs alternatives modernes conformes aux standards.

Configurer MySQL pour Unicode

Interclassement et jeux de caractères des tables de base de données.

À ÉVITER : ❌ Jeu de caractères « utf8 » historique sous MySQL

CREATE TABLE users (
  name VARCHAR(50)
) CHARACTER SET utf8; -- In MySQL, utf8 supports ONLY 3 bytes (BMP)!

Pourquoi cela échoue : Le jeu de caractères « utf8 » historique de MySQL ne prend en charge que les caractères jusqu'à 3 octets et génère une erreur fatale ou tronque les chaînes à la réception d'emojis sur 4 octets.

RECOMMANDÉ : ✅ Jeu de caractères utf8mb4

CREATE TABLE users (
  name VARCHAR(50)
) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Pourquoi c'est mieux : utf8mb4 est du véritable UTF-8 : il prend intégralement en charge tous les caractères supplémentaires sur 4 octets et les emojis modernes.

Matrice des cas limites et invariants

Une matrice de tests diversifiée comparant le comportement des caractères entre ASCII, signes combinants, emojis, drapeaux et fragments de substitution.

Cas de test	Glyphe d'entrée	Unités de code	Points de code	Graphèmes	Catégorie	Explication technique
Motif de mojibake	cafÃ©	`—`	`—`	`—`	Standard

Normes et provenance des sources

Tous les invariants techniques, API et comportements de ce guide sont vérifiés par rapport aux spécifications primaires officielles.

Unicode Consortium

The Unicode Standard, Version 17.0

Clause : §2 General Architecture

Lire la spécification →

IETF

RFC 3629: UTF-8, a transformation format of ISO 10646

Clause : §1 Introduction