博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
std::wstring_convert处理UTF8
阅读量:3530 次
发布时间:2019-05-20

本文共 2801 字,大约阅读时间需要 9 分钟。

#include 
#include
#include
#include
#include
int main(int argc, char *argv[]){ std::wstring str = L"123,我是谁?我爱钓鱼岛!"; std::wstring_convert
> conv; std::string narrowStr = conv.to_bytes(str); { std::ofstream ofs ("c:\\test.txt"); ofs << narrowStr; } std::wstring wideStr = conv.from_bytes(narrowStr); { std::locale::global(std::locale("Chinese-simplified")); std::wofstream ofs (L"c:\\testW.txt"); ofs << wideStr; }}

以前一直以为标准库的wofstream只能输出MBCS编码的文本文件,今日接触到codecvt后,知道自己完全错了。

研究一上午后,得出以下成果(均为自己读MSDN及实验得出)。注:以下代码及说明以VS2010为准。

先说codecvt头文件(gcc里没找到),这是MSDN的解释:

里面包含了三个类:、、,以及一个枚举类型。

codecvt是用于不同文字编码转换的一个类,codecvt_utfX继承了这个类,实现了不同编码转换的功能。

codecvt与locale结合使用,实现输出、读取UTF-8及UTF-16编码文本文件。

例如UTF-8:

#include <iostream>

#include <codecvt>

#include <fstream>

#include <string>

int main(void)

{

using namespace std;

auto LocUtf8=locale(locale(""),new codecvt_utf8<wchar_t>);

wofstream wfo(L"Hello.txt");

wfo.imbue(LocUtf8);

wfo << L"这是Utf-8编码的文本文件!";

wfo.close();

wifstream wfi(L"Hello.txt");

wstring wstr;

wfi.imbue(LocUtf8);

wfi >> wstr;

wcout.imbue(locale(""));

wcout << wstr << endl;

system("PAUSE");

}


static auto LocUtf8=locale(locale(""),new codecvt_utf8<wchar_t>);用codecvt_utf8实例化一个静态locale。codecvt_utf8<wchar_t>表示在输入输出时将wchar_t转换为UTF-8编码。至于new,与buffer类似不能析构,delete由locale自动管理。wfo.imbue(LocUtf8);表示wfo在输出文件时使用LocUtf8编码,wfi.imbue(LocUtf8)类似。注意不要使用locale::global,这样会影响到wcout。程序运行后会生成Hello.txt文件,其编码用记事本打开后点另存为,其默认编码为文件编码。

UTF-8是比较特殊的编码格式,识别不需bom。如果将上例的utf8直接改为utf16后运行也有结果,但用记事本打开乱码,UTF-16需要bom头用来识别编码格式。如下:

#include <iostream>

#include <codecvt>

#include <fstream>

#include <string>

int main(void)

{

using namespace std;

auto LocUtf16=locale(locale(""),new codecvt_utf16<wchar_t, 1114111UL, generate_header>);

wofstream wfo(L"Hello.txt");

wfo.imbue(LocUtf16);

wfo << L"这是Utf-16编码的文本文件!";

wfo.close();

wifstream wfi(L"Hello.txt");

wstring wstr;

wfi.imbue(LocUtf16);

wfi >> wstr;

wcout.imbue(locale(""));

wcout << wstr << endl;

system("PAUSE");

}

差别在这句:new codecvt_utf16<wchar_t, 0x10ffff, generate_header>。看看codecvt_utf16的定义:template< class Elem, //需要转换的原编码格式,此为wchar_tunsigned long Maxcode = 0x10ffff, //最大字符数,用处未知,照抄默认codecvt_mode Mode = (codecvt_mode)0 > //一个codecvt_mode枚举类型class codecvt_utf16 : public std::codecvt<Elem, char, StateType>

再看codecvt_modeenum codecvt_mode {consume_header = 4, //自动确认bom头,在读取文件时检查。但经过尝试后无效,可能我的用法有误(文字没进来,但多了个换行符)generate_header = 2, //自动输出bom头,在输出文件时检查。little_endian = 1 //使用little endian编码(默认big endian,具体解释查看百科)};多个参数使用|(位或)连接,结果强制转换为codecvt_mode型。例如little endian编码+自动输出bom头的声明如下:new codecvt_utf16<wchar_t, 0x10ffff, codecvt_mode(generate_header | little_endian)>推荐使用默认的big endian编码,little endian输出的换行符是一个方框注意:big endian编码的文件不能用little endian,反之亦然。应该能使用consume_header自动识别,但测试无效。

转载地址:http://jffhj.baihongyu.com/

你可能感兴趣的文章