Links

07 计算字符所占字节数

UTF-8

UTF-8 一种可变长度的 Unicode 编码格式,使用一至四个字节为每个字符编码(Unicode 在范围 D800-DFFF 中不存在任何字符),关于 UFT-8 字符详情可查阅 UTF-8
  • 000000 - 00007F(128 个代码) 0zzzzzzz(00-7F) 一个字节
  • 000080 - 0007FF(1920 个代码) 110yyyyy(C0-DF) 10zzzzzz(80-BF) 两个字节
  • 000800 - 00D7FF
  • 00E000 - 00FFFF(61440 个代码) 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz 三个字节
  • 010000 - 10FFFF(1048576 个代码) 11110www(F0-F7) 10xxxxxx 10yyyyyy 10zzzzzz 四个字节

UTF-16

UTF-16 编码 65535 以内使用两个字节编码,超出 65535 的使用四个字节(JS 内部,字符储存格式是:UCS-2——UTF-16 的子级),关于 UFT-16 字符详情可查阅 UTF-16
  • 000000 - 00FFFF 两个字节
  • 010000 - 10FFFF 四个字节

GBK

GBK(ASCII 的中文扩展) 除了 0~126 编号是 1 个字节之外,其他都 2 个字节(超过 65535 会由 2 个字显示),关于 GBK 字符详情可查阅 汉字内码扩展规范

代码实现

需要注意:String.prototype.charCodeAt 只能返回 0xffff 以内的数值,需要用 String.prototype.codePointAt 替换。
/**
* @param {String} str
* @param {String} [charset= 'gbk'] utf-8, utf-16
* @return {Number}
*/
function sizeofByte(str, charset = "gbk") {
let total = 0
let charCode
charset = charset.toLowerCase()
if (charset === "utf-8" || charset === "utf8") {
for (let i = 0, len = str.length; i < len; i++) {
charCode = str.codePointAt(i)
if (charCode <= 0x007f) {
total += 1
} else if (charCode <= 0x07ff) {
total += 2
} else if (charCode <= 0xffff) {
total += 3
} else {
total += 4
i++
}
}
} else if (charset === "utf-16" || charset === "utf16") {
for (let i = 0, len = str.length; i < len; i++) {
charCode = str.codePointAt(i)
if (charCode <= 0xffff) {
total += 2
} else {
total += 4
i++
}
}
} else {
total = str.replace(/[^\x00-\xff]/g, "aa").length
}
return total
}
/* 使用测试 */
console.log(sizeofByte("💩"), sizeofByte("哈"), sizeofByte("©")) // => 4 2 1