---input---
'a'
'я'
'\u{1234}'
'
'
'abc'

---tokens---
"'a'"         Literal.String.Char
'\n'          Text.Whitespace

"'я'"         Literal.String.Char
'\n'          Text.Whitespace

"'\\u{1234}'" Literal.String.Char
'\n'          Text.Whitespace

"'\n'"        Literal.String.Char
'\n'          Text.Whitespace

"'"           Error
'abc'         Name
"'"           Error
'\n'          Text.Whitespace