Што гэта значыць сказаць "Java Мадыфікаваны UTF-8 кадоўкай»?

Што гэта значыць сказаць "Java Мадыфікаваны UTF-8 кадоўкай»? Чым ён адрозніваецца ад звычайнага UTF-8 кадоўкі?

7
Java, заўсёды хацеў, каб усё зрабіць свой шлях.
дададзена аўтар BoltClock, крыніца
дададзена аўтар Tomasz Nurkiewicz, крыніца
Дзе напісана, што?
дададзена аўтар millimoose, крыніца
@BoltClock Не вельмі канструктыўны каментар. Падобна на тое, што Java выкарыстоўвае гэтую мадыфікаваную кадоўку толькі ў тых выпадках, калі радок можа апынуцца ў асяроддзі, якая выкарыстоўвае 0x00 канцавымі Strings.
дададзена аўтар Mark Rotteveel, крыніца

3 адказы

Гэта падрабязна апісана ў Javadoc з DataInput :

Modified UTF-8

Implementations of the DataInput and DataOutput interfaces represent Unicode strings in a format that is a slight modification of UTF-8. (For information regarding the standard UTF-8 format, see section 3.9 Unicode Encoding Forms of The Unicode Standard, Version 4.0). Note that in the following tables, the most significant bit appears in the far left-hand column.

... (some tables, please click the javadoc link to see yourself) ...

The differences between this format and the standard UTF-8 format are the following:

  • The null byte '\u0000' is encoded in 2-byte format rather than 1-byte, so that the encoded strings never have embedded nulls.
  • Only the 1-byte, 2-byte, and 3-byte formats are used.
  • Supplementary characters are represented in the form of surrogate pairs.

Як чытаць гэта падрабязна апісана ў Javadoc у DataInput # readUTF() :

readUTF

String readUTF()
           throws IOException

Reads in a string that has been encoded using a modified UTF-8 format. The general contract of readUTF is that it reads a representation of a Unicode character string encoded in modified UTF-8 format; this string of characters is then returned as a String.

First, two bytes are read and used to construct an unsigned 16-bit integer in exactly the manner of the readUnsignedShort method . This integer value is called the UTF length and specifies the number of additional bytes to be read. These bytes are then converted to characters by considering them in groups. The length of each group is computed from the value of the first byte of the group. The byte following a group, if any, is the first byte of the next group.

If the first byte of a group matches the bit pattern 0xxxxxxx (where x means "may be 0 or 1"), then the group consists of just that byte. The byte is zero-extended to form a character.

If the first byte of a group matches the bit pattern 110xxxxx, then the group consists of that byte a and a second byte b. If there is no byte b (because byte a was the last of the bytes to be read), or if byte b does not match the bit pattern 10xxxxxx, then a UTFDataFormatException is thrown. Otherwise, the group is converted to the character:

(char)(((a& 0x1F) << 6) | (b & 0x3F))

If the first byte of a group matches the bit pattern 1110xxxx, then the group consists of that byte a and two more bytes b and c. If there is no byte c (because byte a was one of the last two of the bytes to be read), or either byte b or byte c does not match the bit pattern 10xxxxxx, then a UTFDataFormatException is thrown. Otherwise, the group is converted to the character:

(char)(((a & 0x0F) << 12) | ((b & 0x3F) << 6) | (c & 0x3F))

If the first byte of a group matches the pattern 1111xxxx or the pattern 10xxxxxx, then a UTFDataFormatException is thrown.

If end of file is encountered at any time during this entire process, then an EOFException is thrown.

After every group has been converted to a character by this process, the characters are gathered, in the same order in which their corresponding groups were read from the input stream, to form a String, which is returned.

The writeUTF method of interface DataOutput may be used to write data that is suitable for reading by this method.

8
дададзена
<�Я> «Нулявы байт кадуецца ў фармаце 2-байтавая» - Ці азначае гэта, што ён кадуецца як 11000000 10000000 ?
дададзена аўтар MC Emperor, крыніца

Мова праграмавання Java, які выкарыстоўвае UTF-16 для ўнутранага прадстаўлення тэксту, падтрымлівае нестандартную мадыфікацыю UTF-8 для струннай серыялізацыі. Гэтая кадоўка называецца мадыфікаванай UTF-8. Ёсць два адрозненні паміж мадыфікаваным і стандартным UTF-8. Першае адрозненне складаецца ў тым, што нулявы сімвал (U + 0000) кадуецца двума байтамі замест аднаго, у прыватнасці, як 11000000 10000000.

3
дададзена

Probably this: http://en.wikipedia.org/wiki/UTF-8#Modified_UTF-8

<�Р> "Пры звычайным выкарыстанні, мова праграмавання Java падтрымлівае стандарт   UTF-8 пры чытанні і запісы радкоў праз InputStreamReader і   OutputStreamWriter. Аднак ён выкарыстоўвае Мадыфікаваны UTF-8 для аб'екта   Серыялізацыя, для Native Interface Java, а таксама для   ўбудаванне пастаянных радкоў у файлах класы ".
1
дададзена