UTF-8 (от англ. Unicode Transformation Format, 8-bit — «формат преобразования Юникода, 8-битный») — одна из общепринятых и стандартизированных кодировок текста, которая позволяет хранить символы Юникода, используя переменное количество байт (от 1 до 6).

Стандарт UTF-8 официально закреплён в документах RFC 3629 и ISO/IEC 10646 Annex D. Кодировка нашла широкое применение в UNIX-подобных операционных системах и веб-пространстве¹⁾. Сам же формат UTF-8 был изобретён 2 сентября 1992 года Кеном Томпсоном и Робом Пайком и реализован в Plan 9.²⁾ В качестве BOM использует последовательность байт EF₁₆, BB₁₆, BF₁₆ (что у неё самой является трёхбайтовой реализацией символа FEFF₁₆).

Одним из преимуществ является совместимость с ASCII — любые их 7-битные символы отображаются как есть, а остальные выдают пользователю мусор (шум). Поэтому в случае, если латинские буквы и простейшие знаки препинания (включая пробел) занимают существенный объём текста, UTF-8 даёт выигрыш по объёму по сравнению с UTF-16.³⁾⁴⁾

Принцип кодирования

Для номеров с U+0000 по U+007F кодировка UTF-8 полностью соответствует 7-битному US-ASCII c 0 в старшем бите и занимает один байт.

Алгоритм кодирования в UTF-8 стандартизирован в RFC 3629 и состоит из 3 пунктов:

1. Определить количество октетов (байт), требуемых для кодируемого номера символа в соответствии с таблицей:

2. Подготовить старшие биты первого октета (0xxxxxxx для одного октета, 110xxxxx - два, 1110xxxx - три и т.д.). Для остальных октетов два старших бита равны 10 (10xxxxxx).

3. Заполнить оставшиеся биты (в п.2 обозначены x) в октетах номером символа Юникода, выраженном в двоичном виде. Начать с младших битов номера символа, поставив их в младшие биты последнего октета кода. И так далее, пока все биты номера символа не будут перенесены в свободные биты октетов.

Пример

Код BOM для UTF-8 = EF BB BF(16) = 1110 1111 1011 1011 1011 1111(2)

В таблице ниже значения представлены в шестнадцатеричной системе счисления. На практике для каждого значения выбирается единственное верное представление по алгоритму, стандартизированному в RFC 3629 (с минимальной длиной байт, большие — не разрешены; и представлены для наглядности и тестов кодировщиков).

Конвертирование в UTF-8

UTF-32LE в UTF-8

Схемой можете воспользоваться при кодировании и раскодировании.

UTF-32BE в UTF-8

Значащие биты в форме записи UTF-32BE располагаются подряд, начиная с заполнения младшего байта. Задача преобразования UTF-32BE в UTF-8 сводится к выбору соответствующей формы UTF-8 и копированию значащих битов UTF-32BE без каких либо дополнительных преобразований.

#define UTF8_MASK( bits ) ( ~(( int )0) << ( bits ) )

if ( !( value & UTF8_MASK( 7 ) ) ) <nowiki>//</nowiki> 7 - количество значащих бит.
<nowiki>//</nowiki> Можно подставлять также: 11, 16, 21, 26, 31.{  <nowiki>//</nowiki> Выполняется, если у числа нет битов, установленных в "1", кроме младших 7
}

if ( !( value & 0xFFFFFF80 ) ){ 
}

Максимальный потенциал

До этого рассматривалось кодирование в UTF-8 лишь 32-битных целых без отрицательных значений. Следует отметить, что в стандарте Unicode используются символы лишь до кода 0010FFFF₁₆ включительно. Поэтому даже 32-битных значений может вполне хватить, но этот раздел был включён для полноты изложения в случае использования UTF-8 для кодирования несимвольных данных.

Алгоритм UTF-8 технически позволяет записывать код любой длины. Но для эффективной и надёжной работы алгоритма необходимо ограничение длины кода. Действующий стандарт Unicode 6.х предполагает использование кода до 21-го бита, то есть до четырех байт в UTF-8.

Кодирование битовых цепочек

Диапазоны Unicode

В таблице ниже представлены диапазоны кодирования символов Unicode в UTF-8.

Отличительные значения байтов

Отличительные значения байтов представлены в первую очередь для использования в алгоритмах автоматического определения кодировки текста. Первичным признаком можно считать BOM, которая повышает вероятность использования той или иной кодировки (см. отдельную статью). Другим признаком является обнаружение не валидных или сильно маловероятных байт, или же наоборот вероятных. Здесь же следует отметить, что UTF-8 поддерживает кодирование 31-битных кодов UCS-4. Если речь касается символов Unicode, то пяти- и шестибайтовые значения оказываются сильно маловероятными. И есть ещё один примечательный момент — в кодировке UTF-8 возможно избыточное кодирование, что порождает многозначность. Например, ASCII-символ можно закодировать шестью вариантами байтовых последовательностей, но это не означает не валидность избыточных байтовых последовательностей. И здесь можно впасть в заблуждение когда первый байт содержит только нулевые биты значения — для последовательностей выше двух байт исключительно это нормально.

Все значения представлены в шестнадцатеричной системе счисления. Под значением «сильно маловероятен» в колонке «статус» следует рассматривать использование кодировщика, который не отбрасывает лидирующие нули.

UTF-8 и ошибки кодирования/декодирования

Примеры ниже приведены для быстрой ориентации в случаях некорректного декодирования текста (так называемые кракозябры).

Так выглядит фраза «Человек сейчас увидит лишь то, что ожидает увидеть.» если она воспринята декодировщиком в кодировке Windows-1251, а не UTF-8:

ЧеЫовек сейчас увидит лишь то, что ожидает увидеть.

Фраза «Человек сейчас увидит лишь то, что ожидает увидеть.» при двойном кодировании UTF-8 в UTF-8:

ЧеЫовеРѻ СЃРµРв«-час СѻРІРёРґРёС‚ Ыишь то, что ожидает Сѻвидеть.

Самосинхронизация и UTF-16

Самосинхронизацию в UTF-8 можно рассмотреть когда вашей программе подаются случайные байты и вам нужно определить начало первого символа. Первичным признаком является сброшенный старший бит байта — это ASCII-символ. Если же он установлен, то пропускаем те байты, у которых сброшен бит перед старшим. В остальных случаях можно продолжать посимвольное поточное раскодирование.

UTF-8 обладает свойством самосинхронизации при обработке 8-битными байтами. Альтернативной UTF-8 является кодировка UTF-16, которая уже обрабатывается 16-битными словами. Возможно возникновение сомнения что UTF-16 не является самосинхронизирующейся. В настоящий момент передача данных в компьютере в подавляющем большинстве производится цельными октетами — 8 бит или ничего (см. IPv4, IPv6, SATA для современной аппаратуры и ATA с PATA для недавней). В данных условиях UTF-8 имеет преимущество в характеристике самосинхронизации перед UTF-16, если речь касается аппаратной передачи данных или работы с байтовым потоком (чтение Unicode-данных с произвольной позиции). Если же работа осуществляется в оперативной памяти одной машины, то UTF-16 так же является самосинхронизирующейся (если аппаратура способна подавать цельные 16-битные слова).

См. также

• UTF-16

Ссылки

• 1. UTF-8 encoding table and Unicode characters
• 2. UTF-8: Кодирование и декодирование на habrahabr
• 3. UTF-8, UTF-16, UTF-32 & BOM — Вопросы и ответы
• 4. Compatibility Encoding Scheme for UTF-16: 8-Bit (CESU-8)
• 5. Полное описание стандарта Unicode
• 6. UTF-8 Everywhere Manifesto занимается популяризацией UTF-8.
• 7. RFC-3629 "UTF-8, a transformation format of ISO 10646" Статус:Действующий Стандарт Интернет