Кодировка ASCII для строки в GO

В Ruby вы можете кодировать строку в ASCII следующим образом:

str.force_encoding('ASCII')

Как мы можем добиться того же в Go?


person Pritish Shah    schedule 13.11.2018    source источник
comment
Что вы ожидаете, если строка содержит байт вне диапазона [0,127]?   -  person maerics    schedule 13.11.2018


Ответы (3)


strconv.QuoteToASCII

QuoteToASCII возвращает строковый литерал Go в двойных кавычках, представляющий s. Возвращаемая строка использует escape-последовательности Go (\t, \n, \xFF, Ā) для символов, отличных от ASCII, и непечатаемых символов, как определено IsPrint.

Или, если вам нужен массив кодов ascii, вы можете сделать

import "encoding/ascii85"
dst := make([]byte, 25, 25)
dst2 := make([]byte, 25, 25)
ascii85.Encode(dst, []byte("Hello, playground"))
fmt.Println(dst) 
ascii85.Decode(dst2, dst, false)
fmt.Println(string(dst2))

https://play.golang.org/p/gLEuWAGglJV

person dave    schedule 13.11.2018

Простая версия без недопустимых рун может выглядеть так:

func forceASCII(s string) string {
  rs := make([]rune, 0, len(s))
  for _, r := range s {
    if r <= 127 {
      rs = append(rs, r)
    }
  }
  return string(rs)
}
// forceASCII("Hello, World!") // => "Hello, World!"
// forceASCII("Hello, 世界!") // => "Hello, !"
// forceASCII("Привет") // => ""

Но что, если вам нужно специальное поведение, если целевая строка UTF-8 содержит какие-либо символы за пределами диапазона символов ASCII [0,127]?

Вы можете написать функцию, которая обрабатывает различные случаи, извлекая аргумент функции, который принимает руну с недопустимым кодом ASCII и возвращает замену строки или ошибку.

Например (Go Playground):

func forceASCII(s string, replacer func(rune) (string, error)) (string, error) {
  rs := make([]rune, 0, len(s))
  for _, r := range s {
    if r <= 127 {
      rs = append(rs, r)
    } else {
      replacement, err := replacer(r)
      if err != nil {
        return "", err
      }
      rs = append(rs, []rune(replacement)...)
    }
  }
  return string(rs), nil
}

func main() {
  replacers := []func(r rune) (string, error){
    // omit invalid runes
    func(_ rune) (string, error) { return "", nil },
    // replace with question marks
    func(_ rune) (string, error) { return "?", nil },
    // abort with error */
    func(r rune) (string, error) { return "", fmt.Errorf("invalid rune 0x%x", r) },
  }

  ss := []string{"Hello, World!", "Hello, 世界!"}
  for _, s := range ss {
    for _, r := range replacers {
      ascii, err := forceASCII(s, r)
      fmt.Printf("OK: %q → %q, err=%v\n", s, ascii, err)
    }
  }
  // OK: "Hello, World!" → "Hello, World!", err=<nil>
  // OK: "Hello, World!" → "Hello, World!", err=<nil>
  // OK: "Hello, World!" → "Hello, World!", err=<nil>
  // OK: "Hello, 世界!" → "Hello, !", err=<nil>
  // OK: "Hello, 世界!" → "Hello, ??!", err=<nil>
  // OK: "Hello, 世界!" → "", err=invalid rune 0x4e16
}
person maerics    schedule 13.11.2018

проверьте эту функцию

func UtftoAscii(s string) []byte {
    t := make([]byte, utf8.RuneCountInString(s))
    i := 0
    for _, r := range s {
        t[i] = byte(r)
        i++
    }
    return t
}
person Qasem    schedule 18.03.2020