unicode编码 什么是Java的String内部代表? 修改过的UTF-8? UTF-16?




utf 8 to unicode java (5)

Java使用UTF-16进行内部文本表示

Java中String和StringBuilder等的表示形式是UTF-16

https://docs.oracle.com/javase/8/docs/technotes/guides/intl/overview.html

如何在Java平台中表示文本?

Java编程语言基于Unicode字符集,并且几个库实现Unicode标准。 Java编程语言中的原始数据类型char是无符号的16位整数,可以表示U + 0000到U + FFFF范围内的Unicode代码点,或UTF-16的代码单元。 Java平台中表示字符序列的各种类型和类 - char [],java.lang.CharSequence的实现(例如String类)和java.text.CharacterIterator的实现 - 是UTF-16序列。

在JVM级别,如果您使用-XX:+UseCompressedStrings (这是Java 6的某些更新的默认值)实际的内存中表示可以是8位,ISO-8859-1但仅适用于不需要的字符串UTF-16编码。

http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html

并支持UTF-8的非标准修改以进行字符串序列化。

序列化字符串默认使用UTF-8。

Java在内存中使用了多少字节?

如果忽略对象中填充的需要,则char总是两个字节。

注意:代码点(允许字符> 65535)可以使用一个或两个字符,即2或4个字节。

我搜索了Java的String内部表示,但我有两种看起来可靠但不一致的材料。

一个是:

http://www.codeguru.com/cpp/misc/misc/multi-lingualsupport/article.php/c10451

它说:

Java使用UTF-16进行内部文本表示,并支持对字符串序列化进行UTF-8的非标准修改。

另一个是:

http://en.wikipedia.org/wiki/UTF-8#Modified_UTF-8

它说:

对于Unicode数据的内部表示,Tcl也使用与Java相同的修改过的UTF-8 [25],但对外部数据使用严格的CESU-8。

修改过的UTF-8? 还是UTF-16? 哪一个是正确的? Java在内存中使用了多少字节?

请让我知道哪一个是正确的以及它使用了多少字节。


String类型的char数组中使用的内存中表示形式是UTF-16。 修改后的UTF-8用于其他环境; 例如,在“.class”文件中,以及对象序列化格式。

您可以通过查看java.lang.String类的源代码来确认这一点。

UPDATE

使用Java 6更新21及更高版本,有一个非标准选项来启用压缩字符串。

对于Java 9及更高版本,默认情况下,行为已更改为使用Strings的压缩表示形式。 java命令documentation现在说:

-XX:-CompactStrings

禁用紧凑字符串功能。 默认情况下,启用此选项。 启用此选项时,仅使用单字节字符的Java字符串在内部表示,并使用ISO-8859-1 / Latin-1编码存储为单字节每字符字符串。 这减少了50%,仅包含单字节字符的字符串所需的空间量。 对于包含至少一个多字节字符的Java字符串:这些字符使用UTF-16编码表示并存储为每个字符2个字节。 禁用Compact Strings功能会强制使用UTF-16编码作为所有Java字符串的内部表示。

(注意,这不是UTF-8编码。)

也可以看看:


java提供18种国际语言和UNICODE字符集,其中包含18种国际语言的所有字符,包含65536个字符。遵循UTF-16的java,因此java中char的大小为2个字节。


UTF-16。

来自http://java.sun.com/javase/technologies/core/basic/intl/faq.jsp

如何在Java平台中表示文本?

Java编程语言基于Unicode字符集,并且几个库实现Unicode标准。 Java编程语言中的原始数据类型char是无符号的16位整数,可以表示U + 0000到U + FFFF范围内的Unicode代码点,或UTF-16的代码单元。 Java平台中表示字符序列的各种类型和类 - char [],java.lang.CharSequence的实现(例如String类)和java.text.CharacterIterator的实现 - 是UTF-16序列。


Java在内部将字符串存储为UTF-16,并为每个字符使用2个字节。





utf-16