it-swarm.dev

Erro "valor incorreto de string" do MySQL ao salvar uma string unicode no Django

Eu recebi uma mensagem de erro estranha quando tentei salvar first_name, last_name no modelo auth_user do Django.

Exemplos falhados

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Exemplos de Sucesso

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

Configurações do MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Charset e agrupamento de tabela

A tabela auth_user possui o conjunto de caracteres utf-8 com o agrupamento utf8_general_ci.

Resultados do comando UPDATE

Ele não gerou nenhum erro ao atualizar os valores acima para a tabela auth_user usando o comando UPDATE.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Os valores falhados listados acima podem ser atualizados na tabela PostgreSQL quando eu troquei o backend de banco de dados no Django. É estranho.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Mas de http://www.postgresql.org/docs/8.1/interactive/multibyte.html , eu encontrei o seguinte:

Name Bytes/Char
UTF8 1-4

Isso significa que unicode char tem maxlen de 4 bytes no PostgreSQL mas 3 bytes no MySQL que causaram erro acima?

141
jack

Acabei de descobrir um método para evitar erros acima.

Salvar no banco de dados

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Este é o único método para salvar strings como essa em uma tabela MySQL e decodificá-la antes de renderizar os templates para exibição?

8
jack

Eu tive o mesmo problema e resolvi isso alterando o conjunto de caracteres da coluna. Mesmo que seu banco de dados tenha um conjunto de caracteres padrão utf-8, acho que é possível que as colunas do banco de dados tenham um conjunto de caracteres diferente no MySQL. Aqui está a consulta SQL que eu usei:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;
111
user27478

Nenhuma dessas respostas resolveu o problema para mim. A causa raiz é: 

Você não pode armazenar caracteres de 4 bytes no MySQL com o conjunto de caracteres utf-8.

O MySQL tem um limite de + 3 bytes em caracteres utf-8 (sim, é wack, bem resumido por um desenvolvedor do Django aqui )

Para resolver isso, você precisa: 

  1. Altere seu banco de dados, tabelas e colunas do MySQL para usar o conjunto de caracteres utf8mb4 (disponível somente no MySQL 5.5)
  2. Especifique o charset no seu arquivo de configurações do Django como abaixo: 

settings.py

DATABASES = {
    'default': {
        'ENGINE':'Django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Nota: Quando recriar o seu banco de dados você pode correr para o ' Chave especificada foi muito longa ' problema. 

A causa mais provável é uma CharField que tenha um max_length de 255 e algum tipo de índice (por exemplo, unique). Como o utf8mb4 usa 33% mais espaço do que o utf-8, você precisará tornar esses campos 33% menores. 

Neste caso, mude o max_length de 255 para 191. 

Alternativamente, você pode editar sua configuração do MySQL para remover esta restriçãomas não sem algum hackery do Django

UPDATE: Acabei de me deparar com esta questão e acabei mudando para o PostgreSQL porque não consegui reduzir a minha VARCHAR para 191 caracteres.

106
donturner

Se você tiver esse problema, aqui está um script python para alterar automaticamente todas as colunas do seu banco de dados mysql.

#! /usr/bin/env python
import MySQLdb

Host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(Host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()
65
madprops

Se é um projeto novo, eu acabei de descartar o banco de dados e criar um novo com um charset apropriado:

CREATE DATABASE <dbname> CHARACTER SET utf8;
20
Vanuan

Você pode alterar o agrupamento de seu campo de texto para UTF8_general_ci e o problema será resolvido.

Note que isso não pode ser feito no Django.

6
Wei An

Você não está tentando salvar cadeias unicode, está tentando salvar cadeias de caracteres na codificação UTF-8. Faça-os literais reais de string unicode:

user.last_name = u'Slatkevičius'

ou (quando você não tiver literais de string) decodifique-os usando a codificação utf-8:

user.last_name = lastname.decode('utf-8')
1
Thomas Wouters

Simplesmente altere sua mesa, sem necessidade de nada. apenas execute essa consulta no banco de dados. ALTER TABLE table_name CONVERTE PARA O PERSONALIZADO SET utf8

definitivamente vai funcionar.

0
Rishabh Jhalani