07 计算字符所占字节数

代码参考：用 JS 计算字符所占字节数

UTF-8

UTF-8 一种可变长度的 Unicode 编码格式，使用一至四个字节为每个字符编码（Unicode 在范围 D800-DFFF 中不存在任何字符），关于 UFT-8 字符详情可查阅 UTF-8。

• 000000 - 00007F(128 个代码) 0zzzzzzz(00-7F) 一个字节

• 000080 - 0007FF(1920 个代码) 110yyyyy(C0-DF) 10zzzzzz(80-BF) 两个字节

• 000800 - 00D7FF

• 00E000 - 00FFFF(61440 个代码) 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz 三个字节

• 010000 - 10FFFF(1048576 个代码) 11110www(F0-F7) 10xxxxxx 10yyyyyy 10zzzzzz 四个字节

UTF-16

UTF-16 编码 65535 以内使用两个字节编码，超出 65535 的使用四个字节（JS 内部，字符储存格式是：UCS-2——UTF-16 的子级），关于 UFT-16 字符详情可查阅 UTF-16。

• 000000 - 00FFFF 两个字节

• 010000 - 10FFFF 四个字节

GBK

GBK(ASCII 的中文扩展) 除了 0~126 编号是 1 个字节之外，其他都 2 个字节（超过 65535 会由 2 个字显示），关于 GBK 字符详情可查阅 汉字内码扩展规范。

代码实现

需要注意：String.prototype.charCodeAt 只能返回 0xffff 以内的数值，需要用 String.prototype.codePointAt 替换。

/**
 * @param  {String} str
 * @param  {String} [charset= 'gbk'] utf-8, utf-16
 * @return {Number}
 */
function sizeofByte(str, charset = "gbk") {
  let total = 0
  let charCode

  charset = charset.toLowerCase()

  if (charset === "utf-8" || charset === "utf8") {
    for (let i = 0, len = str.length; i < len; i++) {
      charCode = str.codePointAt(i)

      if (charCode <= 0x007f) {
        total += 1
      } else if (charCode <= 0x07ff) {
        total += 2
      } else if (charCode <= 0xffff) {
        total += 3
      } else {
        total += 4
        i++
      }
    }
  } else if (charset === "utf-16" || charset === "utf16") {
    for (let i = 0, len = str.length; i < len; i++) {
      charCode = str.codePointAt(i)

      if (charCode <= 0xffff) {
        total += 2
      } else {
        total += 4
        i++
      }
    }
  } else {
    total = str.replace(/[^\x00-\xff]/g, "aa").length
  }

  return total
}

/* 使用测试 */
console.log(sizeofByte("💩"), sizeofByte("哈"), sizeofByte("©")) // => 4 2 1