Textdatei per VBA in UTF-8 oder UTF-16 umwandeln

Ein Webshop erwartet eine CSV-Datei in UTF-8, eine Behörde eine XML-Datei in UTF-8, und aus „Köln“ wird nach dem Hochladen „Köln“. Die Ursache ist fast immer der Zeichensatz: VBA schreibt mit Print # im ANSI-Zeichensatz von Windows, viele Systeme erwarten UTF-8.

Die Kurzlösung

Option Explicit

' Wandelt eine Textdatei in einen anderen Zeichensatz um, etwa von ANSI (windows-1252) nach UTF-8.
' Ohne BOM: für UTF-8 ohne die drei Kennbytes am Anfang, wie es viele Webdienste erwarten.
Public Function DateiUmwandeln(ByVal quelle As String, ByVal ziel As String, _
                               Optional ByVal zielZeichensatz As String = "utf-8", _
                               Optional ByVal quellZeichensatz As String = "windows-1252", _
                               Optional ByVal ohneBOM As Boolean = False) As Boolean
    Dim leser As Object, schreiber As Object, binaer As Object
    Dim text As String

    If Len(Dir$(quelle)) = 0 Then Exit Function
    On Error GoTo Fehler

    Set leser = CreateObject("ADODB.Stream")
    leser.Type = 2                                  ' Text
    leser.Charset = quellZeichensatz
    leser.Open
    leser.LoadFromFile quelle
    text = leser.ReadText
    leser.Close

    Set schreiber = CreateObject("ADODB.Stream")
    schreiber.Type = 2
    schreiber.Charset = zielZeichensatz
    schreiber.Open
    schreiber.WriteText text

    If ohneBOM And LCase$(zielZeichensatz) = "utf-8" Then
        schreiber.Position = 3                      ' die drei BOM-Bytes überspringen
        Set binaer = CreateObject("ADODB.Stream")
        binaer.Type = 1                             ' Binär
        binaer.Open
        schreiber.CopyTo binaer
        binaer.SaveToFile ziel, 2                   ' 2 = vorhandene Datei überschreiben
        binaer.Close
    Else
        schreiber.SaveToFile ziel, 2
    End If
    schreiber.Close
    DateiUmwandeln = True
    Exit Function

Fehler:
    MsgBox "Die Datei konnte nicht umgewandelt werden: " & Err.Description, vbExclamation
End Function

Aufrufe:

DateiUmwandeln "C:\Export\daten.csv", "C:\Export\daten_utf8.csv"                       ' UTF-8 mit BOM
DateiUmwandeln "C:\Export\daten.csv", "C:\Export\daten_utf8.csv", ohneBOM:=True         ' UTF-8 ohne BOM
DateiUmwandeln "C:\Export\daten.xml", "C:\Export\daten_utf16.xml", "utf-16"             ' UTF-16
DateiUmwandeln "C:\Import\web.csv", "C:\Import\web_ansi.csv", "windows-1252", "utf-8"   ' zurück nach ANSI

Was beim Umwandeln passiert

Ein ADODB.Stream liest die Datei im angegebenen Quellzeichensatz und schreibt den Text im Zielzeichensatz neu. ADODB ist auf jedem Windows-Rechner vorhanden, ein Verweis ist dank CreateObject nicht nötig.

So sieht der Anfang von „Grüße aus Köln“ in den einzelnen Formaten aus (Bytes in hexadezimaler Schreibweise):

FormatAnfang der DateiErklärung
ANSI (windows-1252)47 72 FC DF 65ü = FC, ß = DF, je ein Byte
UTF-8 mit BOMEF BB BF 47 72 C3 BC C3 9FKennung EF BB BF, ü und ß je zwei Bytes
UTF-8 ohne BOM47 72 C3 BC C3 9Fwie oben, ohne Kennung
UTF-16FF FE 47 00 72 00 FC 00Kennung FF FE, jedes Zeichen zwei Bytes

Mit oder ohne BOM? Die drei Bytes EF BB BF am Anfang (Byte Order Mark) kennzeichnen eine Datei als UTF-8. Excel erkennt CSV-Dateien mit BOM beim Öffnen sofort richtig. Viele Webdienste, Programmiersprachen und Schnittstellen erwarten dagegen UTF-8 ohne BOM und lesen die Kennung sonst als unsinnige Zeichen am Anfang der ersten Spalte. Fragen Sie im Zweifel beim Empfänger nach.

Direkt als UTF-8 speichern

Geht es um eine Excel-Tabelle, ist der Umweg über eine ANSI-Datei oft unnötig: Datei > Speichern unter > Dateityp „CSV UTF-8 (durch Trennzeichen getrennt)“ oder per VBA SaveAs FileFormat:=xlCSVUTF8. Excel schreibt dabei eine BOM.

Typische Fehler

  • „Köln“ statt „Köln“: Eine UTF-8-Datei wird als ANSI gelesen. Umgekehrt erscheint bei einer ANSI-Datei, die als UTF-8 gelesen wird, „K�ln“. Prüfen Sie, welcher Zeichensatz beim Lesen eingestellt ist.
  • Falscher Quellzeichensatz: Die Funktion muss wissen, wie die Quelle kodiert ist. Für Dateien aus deutschsprachigen Windows-Programmen ist das meist windows-1252, für Dateien aus dem Internet meist utf-8.
  • XML-Kopf passt nicht: Steht in einer XML-Datei encoding="ISO-8859-1", die Datei ist aber UTF-8, liest das Zielsystem die Umlaute falsch. Passen Sie den Kopf an den neuen Zeichensatz an.
  • Quelle und Ziel gleich: Die Funktion überschreibt das Ziel ohne Rückfrage. Schreiben Sie in eine neue Datei und benennen Sie erst nach erfolgreicher Prüfung um.

Passende Beiträge

Lieber machen lassen?

Wir programmieren die Lösung für Ihre Datei.

Vom einzelnen Makro bis zur Anwendung für die ganze Abteilung. Mit KI-Unterstützung setzen wir vieles schneller und günstiger um, jede Lösung testen wir vor der Übergabe.