diff --git a/libs/cpp.wiki b/libs/cpp.wiki index 59fc4f7..723d5c9 100644 --- a/libs/cpp.wiki +++ b/libs/cpp.wiki @@ -6,19 +6,17 @@ 本页面汇总俺收集的各种 C 和 C++ 的开源代码库,不定期更新。 -如果你发现本页面的开源库有错漏之处,有 GitHub 帐号的同学,可以给俺发 issue;没帐号的同学,可以去[http://program-think.blogspot.com/ 俺博客]留言。 - +如果你发现本页面的开源库有错漏之处,非常欢迎给俺提供反馈——有 GitHub 帐号的同学,可以[https://github.com/programthink/opensource/issues 给俺发 issue];没帐号的同学,可以去[http://program-think.blogspot.com/ 俺博客]留言。 ---- - = 1 综合性的库 =

Boost

Home:[http://boost.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Boost_%28C%2B%2B_libraries%29 英文]、[https://zh.wikipedia.org/wiki/Boost_C%2B%2B_Libraries 中文] +Links:[https://en.wikipedia.org/wiki/Boost_%28C%2B%2B_libraries%29 Wikipedia] [https://zh.wikipedia.org/wiki/Boost_C%2B%2B_Libraries 维基百科] Boost 大概是最重要的第三方 C++ 库。其作者有很多是 C++ 标准委员会的成员。Boost 的很多子库后来都成为 C++ 的标准库。 @@ -28,7 +26,7 @@ Boost 大概是最重要的第三方 C++ 库。其作者有很多是 C++ 标准 Home:[https://wxwidgets.org/] -Wikipedia:[https://en.wikipedia.org/wiki/WxWidgets 英文]、[https://zh.wikipedia.org/wiki/WxWidgets 中文] +Links:[https://en.wikipedia.org/wiki/WxWidgets Wikipedia] [https://zh.wikipedia.org/wiki/WxWidgets 维基百科] 这是一个非常老牌的 C++ 开源 GUI 框架,诞生于1992年。原先叫做 wxWindows,后来因为微软的法律纠纷,改为现名。 @@ -42,7 +40,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/WxWidgets 英文]、[https://zh.wikip Home:[http://www.qt-project.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Qt_(toolkit) 英文]、[https://zh.wikipedia.org/wiki/Qt 中文] +Links:[https://en.wikipedia.org/wiki/Qt_(toolkit) Wikipedia] [https://zh.wikipedia.org/wiki/Qt 维基百科] 这是一个非常老牌的 C++ 开源 GUI 框架,于1995年发布 1.0 版本。原先由 Trolltech 公司维护,后来该公司被 Nokia 收购。 @@ -54,7 +52,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Qt_(toolkit) 英文]、[https://zh.wi Home:[https://apr.apache.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Apache_Portable_Runtime 英文]、[https://zh.wikipedia.org/wiki/Apache%E5%8F%AF%E7%A7%BB%E6%A4%8D%E8%BF%90%E8%A1%8C%E6%97%B6 中文] +Links:[https://en.wikipedia.org/wiki/Apache_Portable_Runtime Wikipedia] [https://zh.wikipedia.org/wiki/Apache%E5%8F%AF%E7%A7%BB%E6%A4%8D%E8%BF%90%E8%A1%8C%E6%97%B6 维基百科] 这是由 Apache 社区维护的 C 开源库,主要提供操作系统相关的功能(文件系统、进程、线程、用户、IPC)。此外还提供了一些网络相关的功能。 @@ -64,7 +62,7 @@ APR 原先是 Apache Web 服务器的一个组成部分,后来独立出来, Home:[http://www.cse.wustl.edu/~schmidt/ACE.html] -Wikipedia:[https://en.wikipedia.org/wiki/Adaptive_Communication_Environment 英文]、[https://zh.wikipedia.org/wiki/ACE%E8%87%AA%E9%80%82%E9%85%8D%E9%80%9A%E4%BF%A1%E7%8E%AF%E5%A2%83 中文] +Links:[https://en.wikipedia.org/wiki/Adaptive_Communication_Environment Wikipedia] [https://zh.wikipedia.org/wiki/ACE%E8%87%AA%E9%80%82%E9%85%8D%E9%80%9A%E4%BF%A1%E7%8E%AF%E5%A2%83 维基百科] 这是一个跨平台的 C++ 库,提供了一套网络通讯的框架;另外还支持线程、进程和 IPC。 @@ -72,7 +70,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Adaptive_Communication_Environment Home:[http://pocoproject.org/] -Wikipedia:[https://en.wikipedia.org/wiki/POCO_C%2B%2B_Libraries 英文] +Links:[https://en.wikipedia.org/wiki/POCO_C%2B%2B_Libraries Wikipedia] 它的名称源自“POrtable COmponents”,是一个基于 C++ 的开源库。 @@ -82,7 +80,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/POCO_C%2B%2B_Libraries 英文] Home:[http://dlib.net/] -Wikipedia:[https://en.wikipedia.org/wiki/Dlib 英文] +Links:[https://en.wikipedia.org/wiki/Dlib Wikipedia] 诞生于2002年的 C++ 开源库,提供了非常多的功能(网络、多线程、GUI、数值计算、图像处理、数据挖掘......)。 @@ -92,16 +90,14 @@ Wikipedia:[https://en.wikipedia.org/wiki/Dlib 英文] Home:[http://www.cryptopp.com/] -Wikipedia:[https://en.wikipedia.org/wiki/Crypto%2B%2B 英文] +Links:[https://en.wikipedia.org/wiki/Crypto%2B%2B Wikipedia] 它也叫“CryptoPP”或“libcrypto++”,是非常著名的开源加密库,诞生于1995年。基于 C++ 开发,大量用到模板语法。 虽然它以加密为主,但是也提供了其它一些辅助功能(比如:数据压缩、编码解码、计时器...) - ---- - = 2 数据结构 & 算法 = == 2.1 容器 == @@ -110,23 +106,39 @@ Wikipedia:[https://en.wikipedia.org/wiki/Crypto%2B%2B 英文]

std

-STL 标准库提供了如下: +C++ 98 标准内置的 STL 提供了如下容器: -* 数组:vector(动态)、array(固定) +* 数组:vector(动态数组)、valarray(针对数值类型特化的 vector)、bitset(储存比特的【固定】数组) -* 链表:list(双向)、forward_list(单向) +* 链表:list(双向) -* 队列:deque、deque(双端队列) +* 队列:queue、deque(双端队列) * 栈:stack -* 映射:map(键值无重复)、multimap(键值可重复)、hash_map、hash_multimap +* 映射:map(键值无重复)、multimap(键值可重复) + +* 集合:set(元素无重复)、multiset(元素可重复) + +[https://en.wikipedia.org/wiki/C%2B%2B11 C++ 11 标准]新增了如下容器: + +* 数组:array(相比 vector,它的 size 是编译时【固定】的) + +* 链表:forward_list(相比 list,它是【单向】的) -* 集合:set(元素无重复)、multiset(元素可重复)、hash_set、hash_multiset +* 映射:unordered_map、unordered_multimap(相比 map 和 multimap,这俩采用 hash 实现) + +* 集合:unordered_set、unordered_multiset(相比 set 和 multiset,这俩采用 hash 实现) + +下面几个容器,C++ 标准【没有】包含,但包含在某些知名的 STL 第三方库中(比如 SGI 的 STL): + +* 映射:hash_map、hash_multimap(与 unordered_map、unordered_multimap 相同) + +* 集合:hash_set、hash_multiset(与 unordered_set、unordered_multiset 相同) === 2.1.2 Lockfree 的容器 === -(“lock-free”翻译成“锁无关”会引发歧义,所以俺直接洋文) +(“lock-free”翻译成“锁无关”会引发歧义,所以俺直接用洋文)

Boost.Lockfree

@@ -155,7 +167,6 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“ #include boost::circular_buffer cb(3); // Create with capacity for 3 integers - cb.push_back(1); cb.push_back(2); cb.push_back(3); @@ -214,11 +225,9 @@ Docs:[http://dlib.net/graph_tools.html] Dlib 前面已经介绍过。它提供了2个类(graph & directed_graph)封装“图”。 - == 2.2 对容器的操作 == (STL 标准库里面已经实现了很多算法用来操作容器,考虑到本页面已经很长,这里只列举第三方库实现的算法) -

Boost.Foreach

Docs:[http://boost.org/libs/foreach] @@ -227,21 +236,19 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了通 有了它,你在遍历时无需声明迭代器变量,也无需关心遍历的容器是何种类型。 -代码示例 +代码示例——遍历字符串 #include #include #include std::string test("Hello, world!"); // string 可以视为 char 的容器 - BOOST_FOREACH(char ch, test) { std::cout << ch; } - == 2.3 字符串处理 == === 2.3.1 字符集 === @@ -265,6 +272,12 @@ file.open("hello.txt"); file << L"שלום!"; +

POCO.Text

+ +Docs:[http://pocoproject.org/docs/package-Foundation.Text.html] + +POCO 前面已经介绍过。它提供了 UTF8/UTF16/UTF32 的转换。 + === 2.3.2 字符串格式化 ===

Boost.Format

@@ -277,6 +290,7 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“ #include #include + using std::cout; using boost::format; @@ -291,13 +305,35 @@ cout << format("%s %d") % "price" % 1234; // price 1234 +

fmt

+ +Home:[https://github.com/fmtlib/fmt] + +这是一个轻量级、类型安全、高性能的字符串格式化库。它也可以用来替代 C++ 标准库中的 IOStreams。 + +代码示例 + +#include +#include + +// 使用 Python 的格式化语法 +fmt::print("Hello, {}!", "world"); +// 使用 printf 的格式化语法 +fmt::printf("Hello, %s!", "world"); +// 使用序号参数, +std::string s = fmt::format("{0} {1} {0}", "Hello", "world"); +// 使用命名参数 +fmt::print("Hello, {name}! The answer is {number}. Goodbye, {name}.", + fmt::arg("name", "World"), fmt::arg("number", 42)); + + === 2.3.3 正则表达式 ===

PCRE(Perl Compatible Regular Expressions)

Home:[http://www.pcre.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Perl_Compatible_Regular_Expressions 英文] +Links:[https://en.wikipedia.org/wiki/Perl_Compatible_Regular_Expressions Wikipedia] 这是一个很老牌的正则表达式的库,诞生于1997年。很多知名的开源项目(Apache、PHP、KDE)用到了它。 @@ -312,6 +348,7 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“ 代码示例——基于正则式进行匹配和替换 #include + using std::string; using namespace boost; @@ -338,13 +375,47 @@ string human_readable_card_number(const string& s) } +

re2

+ +Home:[https://github.com/google/re2] + +这是 Google 提供的正则式库,基于 C++。其 API 使用起来很简洁。 + +有多种脚本语言(Python、Ruby、Perl、Node.js、Erlang、OCaml)提供了对它的封装。 + +代码示例——基于正则式进行匹配 + +#include + +int i; +string s; +assert(RE2::FullMatch("test:1234", "(\\w+):(\\d+)", &s, &i)); +assert(s == "test"); +assert(i == 1234); + + +

Oniguruma(鬼车)

+ +Home:[http://www.geocities.jp/kosako3/oniguruma/] + +Links:[https://en.wikipedia.org/wiki/Oniguruma Wikipedia] + +来自日本的正则式库,基于 C 语言。据说性能很高。 + +它被用在 Ruby、TextMate、Sublime Text、SubEthaEdit 等软件上。 + +

POCO.RegExp

+ +Docs:[http://pocoproject.org/docs/package-Foundation.RegExp.html] + +POCO 前面已经介绍过。它提供了正则表达式的封装类。 +

Qt.QRegExp

Docs:[http://doc.qt.io/qt-4.8/qregexp.html] Qt 前面已经介绍过。这是 Qt 中的一个类,提供了“正则式”的功能。 - === 2.3.4 (其它) ===

Boost.StringAlgorithms

@@ -361,7 +432,7 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了各 #include std::vector v; -// ... +// 此处填充 v std::cout << boost::algorithm::join(v, " ") << '\n'; @@ -386,7 +457,6 @@ double d = boost::lexical_cast(s); std::cout << d << '\n'; - == 2.4 内存相关 == === 2.4.1 智能指针 === @@ -421,7 +491,6 @@ Docs:[https://apr.apache.org/docs/apr/trunk/modules.html] APR 前面已经介绍过。它提供了内存池的功能。 - == 2.5 时间 & 日期 ==

Boost.Date_Time

@@ -430,6 +499,11 @@ Docs:[http://boost.org/libs/date_time] Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了针对“日期 和 时间”的各种处理。 +

POCO.DateTime

+ +Docs:[http://pocoproject.org/docs/package-Foundation.DateTime.html] + +POCO 前面已经介绍过。它提供了若干个日期和时间的封装类(时区转换、格式化字符串、解析时间字符串)。 == 2.6 编码 & 解码 == @@ -439,7 +513,7 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了针 Docs:[http://boost.org/libs/serialization] -Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了【可定制的】“序列化”功能。。 +Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了【可定制的】“序列化”功能。 === 2.6.2 Base64 === @@ -457,6 +531,11 @@ Docs:[http://www.cryptopp.com/docs/ref/annotated.html] Crypto++ 前面已经介绍过。它提供了6个类,分别用于 Base64、Base32、Base16 的编码/解码。 +

POCO.Streams

+ +Docs:[http://pocoproject.org/docs/package-Foundation.Streams.html] + +POCO 前面已经介绍过。它提供了 Base64 和 Base32 的编码/解码。 == 2.7 (其它) == @@ -528,16 +607,94 @@ Docs:[https://apr.apache.org/docs/apr/trunk/modules.html] APR 前面已经介绍过。它提供了 UUID 的生成、格式化成字符串、解析 UUID 字符串。 +

POCO.UUID

----- +Docs:[http://pocoproject.org/docs/package-Foundation.UUID.html] + +POCO 前面已经介绍过。它提供了 UUID 的生成、格式转换。 +---- = 3 编程范式 = -(这一章节主要针对 C++——“支持多范式”是 C+ +的一大特色) +(这一章节主要针对 C++——“支持多范式”是 C++ 的一大特色) == 3.1 面向对象编程(OOP) == +

fruit

+ +Home:[https://github.com/google/fruit] + +它是 Google 开发的 C++ 库,提供了“依赖注入”([https://en.wikipedia.org/wiki/Dependency_injection dependency injection])的框架。 + +代码示例——一个简单的例子 + +#include +#include + +using fruit::Component; +using fruit::Injector; + +class Writer +{ +public: + virtual void write(std::string str) = 0; +}; + +class StdoutWriter : public Writer +{ +public: + // Like "StdoutWriter() = default;" but also marks this constructor as the + // one to use for injection. + INJECT(StdoutWriter()) = default; + + virtual void write(std::string str) override + { + std::cout << str; + } +}; + +class Greeter +{ +public: + virtual void greet() = 0; +}; + +class GreeterImpl : public Greeter +{ +private: + Writer* writer; + +public: + // Like "GreeterImpl(Writer* writer) {...}" + // but also marks this constructor as the one to use for injection. + INJECT(GreeterImpl(Writer* writer)) + : writer(writer) + { + } + + virtual void greet() override + { + writer->write("Hello world!\n"); + } +}; + +Component getGreeterComponent() +{ + return fruit::createComponent() + .bind() + .bind(); +} + +int main() +{ + Injector injector(getGreeterComponent()); + Greeter* greeter = injector.get(); + greeter->greet(); + return 0; +} + + == 3.2 泛型编程(GP) ==

Boost.TypeTraits

@@ -558,18 +715,20 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,用来辅助 注:Boost 的这个子库已经进入 C++ 11 标准。 -代码示例 +代码示例——封装标准 C 的函数 #include #include #include #include -boost::function f = std::atoi; -std::cout << f("42") << '\n'; +using namespace std; + +boost::function f = atoi; +cout << f("42") << '\n'; -f = std::strlen; -std::cout << f("42") << '\n'; +f = strlen; +cout << f("42") << '\n';

Boost.Lambda

@@ -587,12 +746,41 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“ #include #include -std::vector v; -// ... -std::for_each(v.begin(), v.end(), - std::cout << boost::lambda::_1 << "\n"); +using namespace std; + +vector v; +// 此处填充 v +for_each(v.begin(), v.end(), cout << boost::lambda::_1 << "\n"); +

simple_match

+ +Home:[https://github.com/jbandela/simple_match] + +这个库是为了提供类似 Rust 语言中的 match 语法。 + +(不懂 Rust 的同学,可以把 match 语法视作增强版的 switch/case) + +代码示例 + +#include +#include +using namespace simple_match; +using namespace simple_match::placeholders; + +int x = 0; +while (true) +{ + std::cin >> x; + match(x, + 1, []() { std::cout << "one\n"; }, + 2, []() { std::cout << "two\n"; }, + _x < 10, [](auto&& n) { std::cout << n << " is less than 10\n"; }, + 10 < _x < 20, [](auto&& n) { std::cout << n << " is between 10 and 20 exclusive\n"; }, + _, []() { std::cout << "NOT match\n"; } + ); +} + == 3.4 元编程(Metaprogramming) == @@ -610,13 +798,11 @@ Docs:[http://dlib.net/metaprogramming.html] Dlib 前面已经介绍过。它提供了“模板元编程”的辅助类。 - ---- - = 4 调试 & 测试 = -=== 4.1 调试日志 === +== 4.1 调试日志 ==

Boost.Log

@@ -634,6 +820,14 @@ BOOST_LOG_TRIVIAL(debug) << "A debug severity message"; BOOST_LOG_TRIVIAL(info) << "An informational severity message"; +

POCO.Logging

+ +Docs:[http://pocoproject.org/docs/package-Foundation.Logging.html] + +POCO 前面已经介绍过。它提供了好几个用于调试日志的封装类(包括特定于 Windows 平台和特定于 POSIX 平台的类)。 + +它还支持日志文件的循环存储。 +

Dlib

Docs:[http://dlib.net/other.html#logger] @@ -668,8 +862,7 @@ Home:[http://log4cpp.sourceforge.net/] 如其名,这是一个模仿 log4j 的 C++ 库。支持多种操作系统(包括 Windows)。 - -=== 4.2 单元测试 === +== 4.2 单元测试 ==

Boost.Test

@@ -677,11 +870,21 @@ Docs:[http://boost.org/libs/test] Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了与测试相关的各种辅助工具(包括单元测试)。 +

Google Test

+ +Home:[https://github.com/google/googletest] + +Links:[https://en.wikipedia.org/wiki/Google_Test Wikipedia] + +这是 Google 提供的单元测试框架。从 Google Code 迁移到 GitHub 之后,又整合了 GoogleMock 项目。 + +一些知名的开源项目(Chromium、LLVM、OpenCV)用到了它。 +

CppUnit

Home:[http://freedesktop.org/wiki/Software/cppunit/] -Wikipedia:[https://en.wikipedia.org/wiki/CppUnit 英文] +Links:[https://en.wikipedia.org/wiki/CppUnit Wikipedia] 如其名,这是一个 C++ 的单元测试框架。该项目起先是作为 JUnit 的 C++ 移植而创建的。 @@ -689,7 +892,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/CppUnit 英文] Home:[http://check.sourceforge.net/] -Wikipedia:[https://en.wikipedia.org/wiki/Check_%28unit_testing_framework%29 英文] +Links:[https://en.wikipedia.org/wiki/Check_%28unit_testing_framework%29 Wikipedia] 这是针对 C 的单元测试框架。 @@ -700,7 +903,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Check_%28unit_testing_framework%29 /* The basic unit test looks as follows: */ START_TEST (test_name) { - /* unit test code */ + /* unit test code */ } END_TEST /* The "START_TEST/END_TEST" pair are macros that setup basic structures to permit testing. @@ -708,8 +911,7 @@ END_TEST doing so produces all sorts of strange errors when the check is compiled. */ - -=== 4.3 检测内存泄漏 === +== 4.3 健壮性测试 ==

Boost.Test.ExecutionMonitor

@@ -717,12 +919,19 @@ Docs:[http://boost.org/libs/test/doc/html/execution-monitor.html] Boost 前面已经介绍过。这是 Boost 的其中一个子库,它除了提供“单元测试”,还提供“内存泄漏的检测”。 +== 4.4 性能测试 == ----- +

benchmark

+ +Home:[https://github.com/google/benchmark] + +这是 Google 提供的性能测试辅助工具,用来测试指定函数的执行时间。 +它可以把测试结果导出为 CSV 或 JSON 格式。 -= 5 操作系统相关 = +---- += 5 操作系统 = == 5.1 跨操作系统 == @@ -752,11 +961,17 @@ int main(int argc, char* argv[]) } +

POCO.Filesystem

+ +Docs:[http://pocoproject.org/docs/package-Foundation.Filesystem.html] + +POCO 前面已经介绍过。它提供了文件系统相关的封装类(遍历目录和文件、通配符匹配、临时文件、文件变化通知...)。 +

wxWidgets

Docs:[http://docs.wxwidgets.org/trunk/group__group__class__file.html] -wxWidgets 前面已经介绍过。它提供了比较多这方面的功能(比如:监视文件系统变化、遍历目录、临时文件)。 +wxWidgets 前面已经介绍过。它提供了文件系统相关的封装类(遍历目录和文件、临时文件、文件变化通知...)。

APR

@@ -764,7 +979,6 @@ Docs:[https://apr.apache.org/docs/apr/trunk/modules.html] APR 前面已经介绍过。它提供了“文件信息、文件名匹配”等功能。 - === 5.1.2 线程 ===

Boost.Thread

@@ -803,6 +1017,12 @@ Docs:[https://apr.apache.org/docs/apr/trunk/modules.html] APR 前面已经介绍过。它提供了“线程池、线程同步/互斥”等功能,以及一些线程安全的数据结构。 +

POCO.Threading

+ +Docs:[http://pocoproject.org/docs/package-Foundation.Threading.html] + +POCO 前面已经介绍过。它提供了线程、线程池以及线程同步/互斥的封装类。 +

wxWidgets

Docs:[http://docs.wxwidgets.org/trunk/group__group__class__threading.html] @@ -815,7 +1035,6 @@ Home:[http://www.gnu.org/software/commoncpp/] 由 GNU 提供的一套跨平台的线程并发框架。 - === 5.1.3 进程 ===

ACE

@@ -830,6 +1049,11 @@ Docs:[https://apr.apache.org/docs/apr/trunk/modules.html] APR 前面已经介绍过。它提供了“进程管理”的功能。 +

POCO.Processes

+ +Docs:[http://pocoproject.org/docs/Poco.Process.html] + +POCO 前面已经介绍过。它提供了“进程”的封装类。 === 5.1.4 本地进程间通信(IPC) === @@ -853,6 +1077,11 @@ Docs:[https://apr.apache.org/docs/apr/trunk/modules.html] APR 前面已经介绍过。它提供了“进程同步、共享内存、信号处理”等功能。 +

POCO.Processes

+ +Docs:[http://pocoproject.org/docs/package-Foundation.Processes.html] + +POCO 前面已经介绍过。它提供了 IPC 相关的封装类(“共享内存”和“管道”)。 == 5.2 特定于 Windows 系统 == @@ -878,18 +1107,15 @@ Docs:[http://pocoproject.org/docs/Poco.Util.html] POCO 前面已经介绍过。它提供了相应的封装类(WinService),可以用来操作 Service(注册、删除、启动、停止)。 - == 5.3 特定于 Linux & Unix 系统 == - - ---- -= 6 桌面 GUI 开发 = += 6 图形用户界面(GUI) = == 6.1 GUI 框架 == -=== 6.1.1 跨平台的 GUI 框架 === +=== 6.1.1 跨平台的 GUI 框架 ===

wxWidgets

@@ -931,7 +1157,7 @@ bool MyApp::OnInit() } MyFrame::MyFrame(const wxString& title, const wxPoint& pos, const wxSize& size) - : wxFrame(NULL, wxID_ANY, title, pos, size) + : wxFrame(NULL, wxID_ANY, title, pos, size) { wxMenu* menuFile = new wxMenu(); menuFile->Append(wxID_EXIT); @@ -954,7 +1180,7 @@ Qt 前面已经介绍过。下面给出一个 Hello world 的示例,让你看 #include #include - + int main(int argc, char* argv[]) { QApplication app(argc, argv); @@ -968,14 +1194,14 @@ int main(int argc, char* argv[]) Home:[http://www.gtk.org/] -Wikipedia:[https://en.wikipedia.org/wiki/GTK%2B 英文]、[https://zh.wikipedia.org/wiki/GTK%2B 中文] +Links:[https://en.wikipedia.org/wiki/GTK%2B Wikipedia] [https://zh.wikipedia.org/wiki/GTK%2B 维基百科] 老牌的 GUI 框架,诞生于1998年。原先叫做“GIMP Toolkit”,是基于 C 开发的跨平台界面组件库。 代码示例——Hello world #include - + int main(int argc, char* argv[]) { gtk_init(&argc, &argv); @@ -1005,7 +1231,7 @@ int main(int argc, char* argv[]) Home:[http://www.fltk.org/] -Wikipedia:[https://en.wikipedia.org/wiki/FLTK 英文]、[https://zh.wikipedia.org/wiki/FLTK 中文] +Links:[https://en.wikipedia.org/wiki/FLTK Wikipedia] [https://zh.wikipedia.org/wiki/FLTK 维基百科] 它的全称是“Fast, Light Toolkit”。如其名,它非常轻量级。用它写一个“Hello World 应用”,静态链接后大约才 100KB @@ -1014,7 +1240,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/FLTK 英文]、[https://zh.wikipedia. #include #include #include - + int main(int argc, char **argv) { Fl_Window* window = new Fl_Window(300, 180); @@ -1030,19 +1256,17 @@ int main(int argc, char **argv) } - === 6.1.2 特定于 Windows 的 GUI 框架 ===

WTL(Windows Template Library)

Home:[http://sourceforge.net/projects/wtl/] -Wikipedia:[https://en.wikipedia.org/wiki/Windows_Template_Library 英文]、[https://zh.wikipedia.org/wiki/Windows_Template_Library 中文] +Links:[https://en.wikipedia.org/wiki/Windows_Template_Library Wikipedia] [https://zh.wikipedia.org/wiki/Windows_Template_Library 维基百科] 这是微软雇员 Nenad Stefanovic 开发的开源 GUI 框架。开发 WTL 是为了提供一个轻量级的 MFC 替代品。 - -== 6.2 图表/Chart == +== 6.2 图表(Chart) ==

Qt

@@ -1106,34 +1330,246 @@ Home:[http://wxmathplot.sourceforge.net/] 看名称就知道它是跟 wxWidgets 搭配的。效果图参见“[http://wxmathplot.sourceforge.net/screenshot.shtml 这里]” +== 6.3 文本编辑 == + +

Scintilla

+ +Home:[https://scintilla.org/] + +Links:[https://en.wikipedia.org/wiki/Scintilla_(software) Wikipedia] + +功能【超强】的文本编辑组件,支持:词法高亮、代码折叠、自动补全、动态提示......(基本上你能想到的,它都已经有了) + +不光功能齐全,还支持各种主流的操作系统平台。很多编辑器/IDE 用到它。 ---- += 7 文本用户界面(TUI) = + +== 7.1 命令行参数 == + +

getopt

+ +Home:[https://www.gnu.org/software/libc/manual/html_node/Getopt.html] + +Links:[https://en.wikipedia.org/wiki/Getopt Wikipedia] + +这是标准C用来处理命令行参数的老牌函数,诞生于上世纪80年代初期。 + +它有很多种不同的实现,如今用得最多的是 GNU C Library 的实现。GNU 还实现了一个增强版 getopt_long。 + +代码示例 + +#include /* for printf */ +#include /* for exit */ +#include /* for getopt */ + +int main(int argc, char* argv[]) +{ + int digit_optind = 0; + int aopt = 0, bopt = 0; + char* copt = NULL; + char* dopt = NULL; + int c; + while( (c = getopt(argc, argv, "abc:d:012")) != -1) + { + int this_option_optind = optind ? optind : 1; + switch(c) + { + case '0': + case '1': + case '2': + if(digit_optind != 0 && digit_optind != this_option_optind) + { + printf("digits occur in two different argv-elements.\n"); + } + digit_optind = this_option_optind; + printf("option %c\n", c); + break; + case 'a': + printf("option a\n"); + aopt = 1; + break; + case 'b': + printf("option b\n"); + bopt = 1; + break; + case 'c': + printf("option c with value '%s'\n", optarg); + copt = optarg; + break; + case 'd': + printf("option d with value '%s'\n", optarg); + dopt = optarg; + break; + case '?': + break; + default: + printf("?? getopt returned character code 0%o ??\n", c); + } + } + if(optind < argc) + { + printf("non-option ARGV-elements: "); + while(optind < argc) + { + printf("%s ", argv[optind++]); + } + printf("\n"); + } + exit (0); +} + + +

Boost.Program_options

+ +Docs:[http://boost.org/libs/program_options] + +Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“处理命令行参数”的功能。 + +它的功能很丰富,但是比较重型。 + +

docopt

+ +Home:[https://github.com/docopt/docopt.cpp] + +这是一个很有创意的库,提供了一种【全新】的方式来处理命令行参数。 + +你只需定义好命令行的帮助文本(usage),该库会根据 usage 文本自动分析出命令行参数的定义。 + +也就是说:用了这个库,就无需再写一大堆 parse 命令行参数的代码 :) + +代码示例 + +#include +#include + +static const char USAGE[] = +R"(Naval Fate. + + Usage: + naval_fate ship new ... + naval_fate ship move [--speed=] + naval_fate ship shoot + naval_fate mine (set|remove) [--moored | --drifting] + naval_fate (-h | --help) + naval_fate --version + + Options: + -h --help Show this screen. + --version Show version. + --speed= Speed in knots [default: 10]. + --moored Moored (anchored) mine. + --drifting Drifting mine. +)"; + +int main(int argc, const char* argv[]) +{ + std::map args + = docopt::docopt(USAGE, + { argv + 1, argv + argc }, + true, // 是否显示帮助 + "Naval Fate 2.0"); // 版本号 + + for(auto const& arg : args) + { + std::cout << arg.first << arg.second << std::endl; + } + +return 0; +} + + +== 7.2 文本终端 == + +

ncurses

+ +Home:[https://www.gnu.org/software/ncurses/] + +Links:[https://en.wikipedia.org/wiki/Ncurses Wikipedia] [https://zh.wikipedia.org/wiki/Ncurses 维基百科] -= 7 网络编程 = +ncurses 是“new curses”的缩略词,它是 [https://en.wikipedia.org/wiki/Curses_(programming_library) curses] 库的自由软件克隆,诞生于1993年。 -== 7.1 标准协议 == +大名鼎鼎的 [https://en.wikipedia.org/wiki/Eric_S._Raymond Eric S. Raymond] 曾参与早期版本的开发。 -=== 7.1.1 链路层 & 网络层 === += 8 网络 = + +== 8.1 链路层 & 网络层 ==

libpcap

Home:[http://www.tcpdump.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Pcap 英文] +Links:[https://en.wikipedia.org/wiki/Pcap Wikipedia] 很著名的 Sniffer 抓包库,基于 C 语言开发。 +代码示例——一个简单的抓包示例 + +#include +#include + +int main() +{ + pcap_t* handle; /* Session handle */ + char* dev; /* The device to sniff on */ + char errbuf[PCAP_ERRBUF_SIZE]; /* Error string */ + struct bpf_program fp; /* The compiled filter */ + char filter_exp[] = "port 23"; /* The filter expression */ + bpf_u_int32 mask; /* Our netmask */ + bpf_u_int32 net; /* Our IP */ + struct pcap_pkthdr header; /* The header that pcap gives us */ + const u_char* packet; /* The actual packet */ + + /* Define the device */ + dev = pcap_lookupdev(errbuf); + if(dev == NULL) + { + fprintf(stderr, "Couldn't find default device: %s\n", errbuf); + return 2; + } + /* Find the properties for the device */ + if(pcap_lookupnet(dev, &net, &mask, errbuf) == -1) + { + fprintf(stderr, "Couldn't get netmask for device %s: %s\n", dev, errbuf); + net = 0; + mask = 0; + } + /* Open the session in promiscuous mode */ + handle = pcap_open_live(dev, BUFSIZ, 1, 1000, errbuf); + if(handle == NULL) + { + fprintf(stderr, "Couldn't open device %s: %s\n", dev, errbuf); + return 2; + } + /* Compile and apply the filter */ + if(pcap_compile(handle, &fp, filter_exp, 0, net) == -1) + { + fprintf(stderr, "Couldn't parse filter %s: %s\n", filter_exp, pcap_geterr(handle)); + return 2; + } + if(pcap_setfilter(handle, &fp) == -1) + { + fprintf(stderr, "Couldn't install filter %s: %s\n", filter_exp, pcap_geterr(handle)); + return 2; + } + + packet = pcap_next(handle, &header); /* Grab a packet */ + printf("Jacked a packet with length of [%d]\n", header.len); + pcap_close(handle); /* Close the session */ + return 0; +} + +

WinPcap

Home:[http://www.winpcap.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Pcap 英文] +Links:[https://en.wikipedia.org/wiki/Pcap Wikipedia] 它是 libpcap 在 Windows 系统下的移植。 - -=== 7.1.2 传输层 === +== 8.2 传输层 ==

socket

@@ -1159,14 +1595,15 @@ Docs:[http://pocoproject.org/docs/Poco.Net.html] POCO 前面已经介绍过。它提供了针对 TCP 服务端的封装类。 +== 8.3 标准的应用层 == -=== 7.1.3 应用层 === +=== 8.3.1 综合性的库 ===

cURL & libcurl

Home:[http://curl.haxx.se/libcurl/] -Wikipedia:[https://en.wikipedia.org/wiki/CURL 英文]、[https://zh.wikipedia.org/wiki/CURL 中文] +Links:[https://en.wikipedia.org/wiki/CURL Wikipedia] [https://zh.wikipedia.org/wiki/CURL 维基百科] cURL 是一个功能很强的网络库/网络工具,支持 N 多应用层协议。下面是支持协议的列表(从它官网抄袭的) @@ -1221,16 +1658,47 @@ Home:[http://www.curlpp.org/] Docs:[http://pocoproject.org/docs/Poco.Net.html] -POCO 前面已经介绍过。它提供了几种常见应用层协议(HTTP、SMTP、POP3、FTP、NTP)的封装类。 +POCO 前面已经介绍过。它提供了几种常见应用层协议(HTTP、SMTP、POP3、FTP、NTP ...)的封装类。 + +=== 8.3.2 HTTP === + +(关于“HTTP 协议”,请参见另一个大类:“Web 相关”) + +=== 8.3.3 DNS === + +

c-ares

+ +Home:[http://c-ares.haxx.se/] + +这是一个 C 语言开发的 DNS 封装库,支持异步 DNS 请求,跨多种操作系统。 + +对比官网域名可知,它跟 cURL 是一家子。除了 cURL/libcurl 用到它,还有一些知名开源项目(比如:Wireshark、node.js ...)用到它。 + +=== 8.3.4 XMPP === + +([https://zh.wikipedia.org/wiki/XMPP XMPP] 的洋文全称是“Extensible Messaging and Presence Protocol”。这是一个标准化的 IM 交互协议) + +

Swiften

+ +Home:[http://swift.im/swiften.html] + +这是一个 C++ 语言开发的 XMPP 封装库。它同时也是 Swift 聊天客户端所用的后端。 + +它大量使用了 Boost 的子库(Signal、Bind、Optional、Smart Pointers ...)。 + +

QXmpp

+Home:[https://github.com/qxmpp-project/qxmpp] -== 7.2 自定义协议 == +这是一个 C++ 语言开发的 XMPP 封装库。从它的名称可以看出——依赖了 Qt 框架(需要 Qt 4.5 或更高版本)。 + +== 8.4 自定义的应用层 ==

Protocol Buffers

Home:[https://developers.google.com/protocol-buffers/] -Wikipedia:[https://en.wikipedia.org/wiki/Protocol_Buffers Protocol 英文] +Links:[https://en.wikipedia.org/wiki/Protocol_Buffers Wikipedia] 它是 Google 开发的一个跨语言的库,用于传输业务数据时的“编码/解码”。其优点是:跨多种语言、高性能、向前兼容、向后兼容。 @@ -1242,7 +1710,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Protocol_Buffers Protocol 英文] Home:[https://thrift.apache.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Apache_Thrift 英文] +Links:[https://en.wikipedia.org/wiki/Apache_Thrift Wikipedia] 来自于 Apache 社区,提供了一种跨语言的通讯机制。 @@ -1250,7 +1718,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Apache_Thrift 英文] (在这个方面,它有点类似于 Google 的 Protocol Buffers) -== 7.3 网络开发框架 == +== 8.5 网络库、框架、中间件 ==

Boost.Asio

@@ -1299,9 +1767,9 @@ ACE 前面已经介绍过。它提供了很多种用于网络通讯的设计模 Home:[http://www.zeromq.org/] -Wikipedia:[https://en.wikipedia.org/wiki/ZeroMQ 英文]、[https://zh.wikipedia.org/wiki/%C3%98MQ 中文] +Links:[https://en.wikipedia.org/wiki/ZeroMQ Wikipedia] [https://zh.wikipedia.org/wiki/%C3%98MQ 维基百科] -ZeroMQ 是一个轻量级、跨平台的开源库,提供了高性能、异步的消息队列。它提供了多种语言的绑定(包括 C 和 C++)。 +ZeroMQ 是一个轻量级、跨平台的开源库,提供了高性能、异步的消息队列。采用 C++ 开发,提供了多种语言的绑定。 与传统的消息中间件不同,使用 ZeroMQ 不需要额外的“消息代理(message broker)”。 @@ -1311,7 +1779,7 @@ ZeroMQ 是一个轻量级、跨平台的开源库,提供了高性能、异步 #include -int main(int argc, char* argv[]) +int main() { zmq::context_t context(1); @@ -1333,53 +1801,202 @@ int main(int argc, char* argv[]) } -

ICE(Internet Communications Engine)

- -Home:[https://zeroc.com/] +

nanomsg

-Wikipedia:[https://en.wikipedia.org/wiki/Internet_Communications_Engine 英文]、[https://zh.wikipedia.org/wiki/ICE_(%E4%B8%AD%E9%97%B4%E4%BB%B6) 中文] +Home:[http://nanomsg.org/] -这是一个面向对象的通讯中间件,诞生于2002年。支持不同编程语言的通讯。 +很类似 ZeroMQ 的库,比 ZMQ 更加轻量级。采用 C 开发,提供了多种语言的绑定。 -它的设计借鉴了 CORBA,好在没有 CORBA 那么复杂。 +API 完全参照 BSD socket 的风格和语义。 -

Dlib

+代码示例——Request/Reply + +#include +#include +#include +#include +#include -Docs:[http://dlib.net/network.html] +int reply(const char* url) +{ + int sock = nn_socket(AF_SP, NN_PULL); + assert(sock >= 0); + assert(nn_bind(sock, url) >= 0); + while(1) + { + char* msg = NULL; + int bytes = nn_recv(sock, &msg, NN_MSG, 0); + assert(bytes >= 0); + printf("RECEIVED:\n%s\n", msg); + nn_freemsg(msg); + } +} -Dlib 前面已经介绍过。它针对网络通讯,提供了比较高的抽象层。 +int request(const char* url, const char* msg) +{ + int sz_msg = strlen(msg) + 1; // '\0' + int sock = nn_socket(AF_SP, NN_PUSH); + assert(sock >= 0); + assert(nn_connect(sock, url) >= 0); + printf("SENDING:\n%s\n", msg); + int bytes = nn_send(sock, msg, sz_msg, 0); + assert(bytes == sz_msg); + return nn_shutdown(sock, 0); +} + +

ICE(Internet Communications Engine)

----- +Home:[https://zeroc.com/] + +Links:[https://en.wikipedia.org/wiki/Internet_Communications_Engine Wikipedia] [https://zh.wikipedia.org/wiki/ICE_(%E4%B8%AD%E9%97%B4%E4%BB%B6) 维基百科] + +这是一个面向对象的通讯中间件,诞生于2002年。支持不同编程语言的通讯。 + +它的设计借鉴了 CORBA,好在没有 CORBA 那么复杂。 + +

libevent

+ +Home:[http://libevent.org/] + +Links:[https://en.wikipedia.org/wiki/Libevent Wikipedia] [https://zh.wikipedia.org/wiki/Libevent 维基百科] + +它提供了异步事件处理机制。在网络开发中,可以用它替代传统的“event loop”,有助于简化代码。 + +它被一些知名的开源项目使用(比如:[https://zh.wikipedia.org/wiki/Tor Tor]、[https://zh.wikipedia.org/wiki/Memcached memcached])。 + +代码示例——HTTP Server(本示例基于 ANSI C) + +#include +#include +#include +#include +#include +#include + +void generic_request_handler(struct evhttp_request* req, void* arg) +{ + struct evbuffer* return_buffer = evbuffer_new(); + + evbuffer_add_printf(return_buffer, "Thanks for the request!"); + evhttp_send_reply(req, HTTP_OK, "Client", return_buffer); + evbuffer_free(return_buffer); +} + +int main() +{ + short http_port = 8080; + char* http_addr = "127.0.0.1"; + struct evhttp* http_server = NULL; + + event_init(); + http_server = evhttp_start(http_addr, http_port); + evhttp_set_gencb(http_server, generic_request_handler, NULL); + + fprintf(stderr, "Server started on port %d\n", http_port); + event_dispatch(); + + return 0; +} + + +代码示例——HTTP Server(本示例基于 C++ 11 标准) + +#include +#include +#include +#include + +int main() +{ + if(!event_init()) + { + std::cerr << "Failed to init libevent." << std::endl; + return -1; + } + char const SrvAddress[] = "127.0.0.1"; + std::uint16_t SrvPort = 8080; + std::unique_ptr Server(evhttp_start(SrvAddress, SrvPort), &evhttp_free); + if(!Server) + { + std::cerr << "Failed to init http server." << std::endl; + return -1; + } + + void (*OnReq)(evhttp_request* req, void*) = [] (evhttp_request* req, void*) + { + auto* OutBuf = evhttp_request_get_output_buffer(req); + if(!OutBuf) + { + return; + } + evbuffer_add_printf(OutBuf, "

Hello, World!

"); + evhttp_send_reply(req, HTTP_OK, "", OutBuf); + }; + + evhttp_set_gencb(Server.get(), OnReq, nullptr); + if(event_dispatch() == -1) + { + std::cerr << "Failed to run messahe loop." << std::endl; + return -1; + } + return 0; +} + + +

libev

+ +Home:[http://libev.schmorp.de/] + +看名称就能猜到它跟 libevent 很像。实际上,你可以把 libev 视为 libevent 的竞争性替代品。 + +[http://www.gevent.org/ gevent] 官方博客的[http://blog.gevent.org/2011/04/28/libev-and-libevent/ 一篇文章]对比了这俩库的优缺点。 + +

libuv

+Home:[https://github.com/libuv/libuv] + +Links:[https://en.wikipedia.org/wiki/Libuv Wikipedia] + +它提供了跨平台的异步 I/O 机制。主要是为了提供给 [https://en.wikipedia.org/wiki/Node.js Node.js] 使用。 + +除了支持网络通讯,还支持:线程池、Windows 命名管道、Unix domain sockets、文件系统事件通知 ...... + +

Dlib

+ +Docs:[http://dlib.net/network.html] + +Dlib 前面已经介绍过。它针对网络通讯,提供了比较高的抽象层。 + +---- -= 8 数据库 = += 9 数据库 = -== 8.1 开源数据库 == +== 9.1 开源数据库 ==

MySQL

Home:[https://www.mysql.com/] -Wikipedia:[https://en.wikipedia.org/wiki/MySQL 英文]、[https://zh.wikipedia.org/wiki/MySQL 中文] +Links:[https://en.wikipedia.org/wiki/MySQL Wikipedia] [https://zh.wikipedia.org/wiki/MySQL 维基百科] 名气最大的开源数据库,诞生于1995年,采用 C 和 C++ 语言开发。如今隶属于 Oracle 公司。 -=== PostgreSQL === +

PostgreSQL

Home:[http://postgresql.org/] -Wikipedia:[https://en.wikipedia.org/wiki/PostgreSQL 英文]、[https://zh.wikipedia.org/wiki/PostgreSQL 中文] +Links:[https://en.wikipedia.org/wiki/PostgreSQL Wikipedia] [https://zh.wikipedia.org/wiki/PostgreSQL 维基百科] 名气仅次于 MySQL 的开源数据库,诞生于1996年。采用 C 语言开发。 -=== SQLite === +

SQLite

Home:[http://sqlite.org/] -Wikipedia:[https://en.wikipedia.org/wiki/SQLite 英文]、[https://zh.wikipedia.org/wiki/SQLite 中文] +Links:[https://en.wikipedia.org/wiki/SQLite Wikipedia] [https://zh.wikipedia.org/wiki/SQLite 维基百科] -SQLite 是一个很优秀的文件型数据库,非常轻量级,支持各种作系统平台。采用 C 语言开发。 +它是一个很优秀的嵌入式(进程内)数据库,非常轻量级,支持各种作系统平台。采用 C 语言开发。 俺前几年写过一篇博文推荐它(在“[http://program-think.blogspot.com/2009/04/how-to-use-sqlite.html 这里]”)。 @@ -1387,26 +2004,79 @@ SQLite 是一个很优秀的文件型数据库,非常轻量级,支持各种 Home:[https://www.mongodb.org/] -Wikipedia:[https://en.wikipedia.org/wiki/MongoDB 英文] +Links:[https://en.wikipedia.org/wiki/MongoDB Wikipedia] + +这是近几年兴起的 NoSQL 数据库的一员。它本身是基于 C++ 和 C 开发的。 + +

Redis

+ +Home:[http://redis.io/] + +Links:[https://zh.wikipedia.org/wiki/Redis 维基百科] [https://en.wikipedia.org/wiki/Redis Wikipedia] + +诞生于2009年,是目前(2014~2015)最流行的键值存储数据库,基于 C 语言开发。 + +以性能高而著称,很多大型网站用到它(Twitter、GitHub、Flickr、Instagram、百度、新浪、腾讯、搜狐) + +

Berkeley DB(BDB)

+ +Home:[http://www.oracle.com/us/products/database/berkeley-db/] + +Links:[https://en.wikipedia.org/wiki/Berkeley_DB Wikipedia] [https://zh.wikipedia.org/wiki/Berkeley_DB 维基百科] + +诞生于1994年,是一个很老牌的嵌入式(进程内)数据库,提供“键值存储”的功能,基于 C 语言开发。 + +开发 BDB 的公司于2006年被 Oracle 收购。 + +很多开源项目用到它。甚至 MySQL 也包含了一个基于 BDB 的存储后端。 + +

LevelDB

+ +Home:[https://github.com/google/leveldb] + +Links:[https://en.wikipedia.org/wiki/LevelDB Wikipedia] [https://zh.wikipedia.org/wiki/LevelDB 维基百科] + +它是 Google 基于 C++ 开发的 NoSQL 数据库,提供“键值存储”的功能。 + +号称速度很快,内置数据压缩(基于 [https://en.wikipedia.org/wiki/Snappy_(software) Snappy] 库)。 + +比特币项目用到它。Facebook 基于它开发出 RocksDB 数据库。 + +

Firebird

+ +Home:[http://www.firebirdsql.org/] + +Links:[https://en.wikipedia.org/wiki/Firebird_%28database_server%29 Wikipedia] [https://zh.wikipedia.org/wiki/Firebird_(%E6%95%B0%E6%8D%AE%E5%BA%93) 维基百科] + +它是2000年的时候,从 [https://en.wikipedia.org/wiki/Borland Borland] 公司的 InterBase 数据库派生出来的。 + +基于 C++ 开发,支持多种操作系统平台。 -MongoDB 是近几年兴起的 NoSQL 数据库的一员。它本身是基于 C++ 和 C 开发的。 +关于它有个插曲:Firefox 浏览器曾经用过“Firebird”这个名称,因为跟 Firebird 数据库同名,后来才改用 Firefox 这个名称。 +

ScyllaDB

-== 8.2 数据库 API 的封装库 == +Home:[http://www.scylladb.com/] -=== 8.2.1 综合性的封装库 === +这是2015年新兴的 NoSQL 数据库,相当于是用 C++ 重写了(Java 开发的)Cassandra。 + +号称性能提高10倍,并且延迟极低。 + +== 9.2 数据库 API 的封装库 == + +=== 9.2.1 综合性的封装库 ===

OTL

Home:[http://otl.sourceforge.net/] -Wikipedia:[https://en.wikipedia.org/wiki/Oracle_Template_Library 英文] +Links:[https://en.wikipedia.org/wiki/Oracle_Template_Library Wikipedia] 原生支持的数据库:Oracle、SQL Server、DB2、Informix、TimesTen, MAX/DB;另支持 ODBC。 它的特色是:全部代码都在一个头文件中。 -代码示例 +代码示例——操作 Oracle 数据库 #include #include @@ -1446,7 +2116,7 @@ int main() } -=== 8.2.2 MySQL 封装库 === +=== 9.2.2 MySQL 封装库 ===

MySQL Connector C++

@@ -1454,7 +2124,7 @@ Home:[http://dev.mysql.com/doc/connector-cpp/en/] 这是 MySQL 官方提供的 C++ 封装。 -代码示例 +代码示例——执行 SQL 语句 sql::mysql::MySQL_Driver* driver = sql::mysql::MySQL_Driver::get_mysql_driver_instance(); sql::Connection* conn = driver->connect("tcp://127.0.0.1:3306", "user", "password"); @@ -1471,13 +2141,52 @@ delete conn; conn = NULL; +

MySQL++

+ +Home:[http://www.tangentsoft.net/mysql%2B%2B/] + +这是个老牌的库,诞生于1998年,提供了 MySQL API 的 C++ 封装。 + +代码示例——执行 SQL 语句 + +#include +#include + +void query(db_name, server_name, user, password) +{ + using namespace std; + + mysqlpp::Connection conn(false); + if(!conn.connect(db_name, server_name, user, password)) + { + cerr << "DB connection failed: " << conn.error() << endl; + return; + } + + mysqlpp::Query query = conn.query("select item from table1"); + mysqlpp::StoreQueryResult sqr = query.store() + if(!sqr) + { + cerr << "Failed to get item list: " << query.error() << endl; + return; + } + + mysqlpp::StoreQueryResult::const_iterator iter; + for(iter=sqr.begin(); iter!=sqr.end(); ++iter) + { + mysqlpp::Row row = *iter; + cout << '\t' << row[0] << endl; + } +} + +

POCO::Data::MySQL

Docs:[http://pocoproject.org/docs/package-MySQL.MySQL.html] POCO 前面已经介绍过。它提供了 MySQL 的封装类 -=== 8.2.3 PostgreSQL 封装库 === +=== 9.2.3 PostgreSQL 封装库 ===

libpq

@@ -1510,7 +2219,7 @@ void update(const std::string& name) } int employee_id = r[0][0].as(); - std::cout << "Updating employee #" << employee_id << std::endl; + std::cout << "Updating employee #" << employee_id << std::endl; txn.exec( "UPDATE EMPLOYEE SET salary = salary + 1 " @@ -1521,7 +2230,7 @@ void update(const std::string& name) } -=== 8.2.4 Oracle 封装库 === +=== 9.2.4 Oracle 封装库 ===

OCILIB

@@ -1535,6 +2244,7 @@ Home:[http://vrogier.github.io/ocilib/] #include using namespace ocilib; + int main() { try @@ -1560,15 +2270,15 @@ int main() } -=== 8.2.5 DB2 封装库 === +=== 9.2.5 DB2 封装库 === -=== 8.2.6 SQLite 封装库 === +=== 9.2.6 SQLite 封装库 ===

官方的 C API

Docs:[http://sqlite.org/c3ref/intro.html] -由于 sqlite 本身就是用 C 语言开发的,因此它直接提供了基于 C 的 API 接口。 +SQLite 前面已经介绍过。由于 SQLite 本身就是用 C 语言开发的,因此它直接提供了基于 C 的 API 接口。 代码示例 @@ -1621,19 +2331,93 @@ Docs:[http://pocoproject.org/docs/package-SQLite.SQLite.html] POCO 前面已经介绍过。它提供了 sqlite 的封装类 -=== 8.2.7 MongoDB 封装库 === +=== 9.2.7 Redis 封装库 === + +

Hiredis

+ +Home:[https://github.com/redis/hiredis] + +这是 Redis 官方提供的 C 客户端,很轻量级,支持“异步 API”。 + +代码示例——结合 libev 进行异步调用 + +#include +#include +#include +#include + +#include +#include +#include + +void getCallback(redisAsyncContext* context, void* r, void* privdata) +{ + redisReply* reply = r; + if(reply == NULL) + { + return; + } + printf("argv[%s]: %s\n", (char*)privdata, reply->str); + redisAsyncDisconnect(context); /* Disconnect after receiv reply */ +} + +void connectCallback(const redisAsyncContext* context, int status) +{ + if(status != REDIS_OK) + { + printf("Error: %s\n", context->errstr); + return; + } + printf("Connected...\n"); +} + +void disconnectCallback(const redisAsyncContext* context, int status) +{ + if(status != REDIS_OK) + { + printf("Error: %s\n", context->errstr); + return; + } + printf("Disconnected...\n"); +} + +int main(int argc, char* argv[]) +{ + signal(SIGPIPE, SIG_IGN); + + redisAsyncContext* context = redisAsyncConnect("127.0.0.1", 6379); + if(context->err) + { + printf("Error: %s\n", context->errstr); + return 1; /* Let *context leak for now... */ + } + + redisLibevAttach(EV_DEFAULT_ context); + redisAsyncSetConnectCallback(context, connectCallback); + redisAsyncSetDisconnectCallback(context, disconnectCallback); + redisAsyncCommand(context, NULL, NULL, + "SET key %b", argv[argc-1], strlen(argv[argc-1])); + redisAsyncCommand(context, getCallback, (char*)"end-1", "GET key"); + ev_loop(EV_DEFAULT_ 0); + return 0; +} + + +=== 9.2.8 MongoDB 封装库 ===

官方的 C API

Docs:[https://api.mongodb.org/c/current/] +MongoDB 前面已经介绍过。这是其官方提供的 API。 + 代码示例 #include #include #include -int main(int argc, char* argv[]) +int main() { mongoc_init(); @@ -1667,14 +2451,13 @@ Docs:[http://pocoproject.org/docs/package-MongoDB.MongoDB.html] POCO 前面已经介绍过。它提供了 MongoDB 的封装类 - -== 8.3 ODBC 相关 == +== 9.3 ODBC 相关 ==

unixODBC

Home:[http://www.unixodbc.org/] -Wikipedia:[https://en.wikipedia.org/wiki/UnixODBC 英文] +Links:[https://en.wikipedia.org/wiki/UnixODBC Wikipedia] 诞生于1999年,实现了全套的 ODBC 架构,包括:驱动管理器、相关的 GUI 界面和命令行界面。支持多种操作系统。 @@ -1690,14 +2473,13 @@ Docs:[http://pocoproject.org/docs/package-ODBC.ODBC.html] POCO 前面已经介绍过。它提供了操作 ODBC 的封装类。 - -== 8.4 ORM(Object-Relational Mapping) == +== 9.4 ORM(Object-Relational Mapping) ==

ODB

Home:[http://www.codesynthesis.com/products/odb] -Wikipedia:[https://en.wikipedia.org/wiki/ODB_%28C%2B%2B%29 英文] +Links:[https://en.wikipedia.org/wiki/ODB_%28C%2B%2B%29 Wikipedia] 它的特色是:可以根据 C++ 类定义自动生成数据库的表结构。 @@ -1705,9 +2487,9 @@ Wikipedia:[https://en.wikipedia.org/wiki/ODB_%28C%2B%2B%29 英文] 代码示例——声明一个可持久化的类 -// 通过预处理语句“#pragma”来进行某些定制 +// 通过预处理语句“#pragma”来进行某些定制 -#pragma db object table("people") +#pragma db object table("people") class person { public: @@ -1716,14 +2498,14 @@ public: private: friend class odb::access; person(); - - #pragma db id auto + + #pragma db id auto unsigned long id_; - + string first_; string last_; - - #pragma type("INT UNSIGNED") + + #pragma type("INT UNSIGNED") unsigned short age_; }; @@ -1740,23 +2522,27 @@ for(result::iterator i(r.begin()); i!=r.end(); ++i) { cout << "Hello, " << i->first() << endl; } - + trans.commit(); +

hiberlite

----- +Home:[https://github.com/paulftw/hiberlite] +专门提供给 Sqlite 的 ORM 封装库。基于 C++ 开发,其 API 采用类似 Boost.Serialization 的风格。 -= 9 Web 相关 = +---- -== 9.1 HTTP Server == += 10 Web = -

Apache Server

+== 10.1 HTTP Server == + +

Apache HTTP Server

Home:[https://httpd.apache.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Apache_HTTP_Server 英文]、[https://zh.wikipedia.org/wiki/Apache_HTTP_Server 中文] +Links:[https://en.wikipedia.org/wiki/Apache_HTTP_Server Wikipedia] [https://zh.wikipedia.org/wiki/Apache_HTTP_Server 维基百科] 大名鼎鼎的 Apache,诞生于1995年,采用 C 和 C++ 开发。长期作为 Web Server 市场份额的老大。 @@ -1764,7 +2550,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Apache_HTTP_Server 英文]、[https:/ Home:[http://nginx.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Nginx 英文]、[https://zh.wikipedia.org/wiki/Nginx 中文] +Links:[https://en.wikipedia.org/wiki/Nginx Wikipedia] [https://zh.wikipedia.org/wiki/Nginx 维基百科] Web Server 的后起之秀,诞生于2002年,采用 C 语言开发。其市场份额如今排名第二。 @@ -1780,8 +2566,7 @@ Docs:[http://dlib.net/network.html#server_http] Dlib 前面已经介绍过。它提供了一个简单的 HTTP Server 的类(server_http)。 - -== 9.2 HTTP Client == +== 10.2 HTTP Client ==

cURL & libcurl

@@ -1793,17 +2578,17 @@ libcurl 前面已经介绍过。它提供了【完整的】HTTP 协议支持。 #include #include - + int main() { curl_global_init(CURL_GLOBAL_ALL); - + CURL* curl = curl_easy_init(); if(curl) { curl_easy_setopt(curl, CURLOPT_URL, "http://post.example.com/foo.cgi"); curl_easy_setopt(curl, CURLOPT_POSTFIELDS, "name=daniel&project=curl"); - + CURLcode res = curl_easy_perform(curl); if(res != CURLE_OK) // Check for errors { @@ -1824,14 +2609,35 @@ Docs:[http://pocoproject.org/docs/package-Net.HTTPClient.html] POCO 前面已经介绍过。它提供了 HTTP Client 的封装类。 +

cpr

+ +Home:[https://github.com/whoshuu/cpr] + +类似 Python 的 [http://docs.python-requests.org/ Requests 库],以【优雅的语法】实现 HTTP 请求。 + +代码示例——HTTP GET + +#include + +int main() +{ + auto r = cpr::Get(cpr::Url{"https://api.github.com/repos/whoshuu/cpr/contributors"}, + cpr::Authentication{"user", "pass"}, + cpr::Parameters{{"anon", "true"}, {"key", "value"}}); + r.status_code; // 200 + r.header["content-type"]; // application/json; charset=utf-8 + r.text; // JSON text string + return 0; +} + -== 9.3 浏览器引擎 == +== 10.3 浏览器引擎 ==

WebKit

Home:[https://www.webkit.org/] -Wikipedia:[https://en.wikipedia.org/wiki/WebKit 英文]、[https://zh.wikipedia.org/wiki/WebKit 中文] +Links:[https://en.wikipedia.org/wiki/WebKit Wikipedia] [https://zh.wikipedia.org/wiki/WebKit 维基百科] 它是很多浏览器使用的渲染引擎,基于 C++ 开发。 @@ -1839,48 +2645,61 @@ Wikipedia:[https://en.wikipedia.org/wiki/WebKit 英文]、[https://zh.wikipedi Home:[https://developer.mozilla.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Gecko_(software) 英文]、[https://zh.wikipedia.org/wiki/Gecko 中文] +Links:[https://en.wikipedia.org/wiki/Gecko_(software) Wikipedia] [https://zh.wikipedia.org/wiki/Gecko 维基百科] 它是 Firefox 的渲染引擎,基于 C++ 开发,由 Mozilla 社区维护。 - -== 9.4 浏览器整合 == +== 10.4 浏览器整合 ==

CEF(Chromium Embedded Framework)

Home:[https://bitbucket.org/chromiumembedded/cef] -Wikipedia:[https://en.wikipedia.org/wiki/Chromium_Embedded_Framework 英文] +Links:[https://en.wikipedia.org/wiki/Chromium_Embedded_Framework Wikipedia] 如其名,它提供了嵌入 Chrome 浏览器的框架。采用 C++ 开发。好几个商业公司(Google、Adobe、Facebook、Evernote...)的产品用到它。 以下是其它开源项目针对 CEF 的扩展,提供了其它编程语言的绑定。 * dotNet - [https://github.com/chillitom/CefSharp] + * dotNet (CEF1) - [https://bitbucket.org/fddima/cefglue] + * dotNet/Mono (CEF3) - [https://bitbucket.org/xilium/xilium.cefglue] + * dotNet (CEF3) - [https://bitbucket.org/chromiumfx/chromiumfx] + * Java - [https://bitbucket.org/chromiumembedded/java-cef] + * Go - [https://github.com/CzarekTomczak/cef2go] + * Delphi (CEF3) - [https://github.com/hgourvest/dcef3]

PhantomJS

Home:[http://phantomjs.org/] -Wikipedia:[https://en.wikipedia.org/wiki/PhantomJS 英文] +Links:[https://en.wikipedia.org/wiki/PhantomJS Wikipedia] 2011年才诞生的。基于 C++ 开发,整合了 WebKit。 它本身没有提供 GUI 界面。但是提供了 JavaScript 的 API,让你可以操纵 WebKit 引擎。可以利用它进行 Web 界面的单元测试。 +== 10.5 (其它) == ----- +

WebSocket++

+ +Home:[http://www.zaphoyd.com/websocketpp/] + +顾名思义,它提供了 [https://en.wikipedia.org/wiki/WebSocket WebSocket] 的 C++ 封装,基于 Boost Asio 构建。 +支持多种操作系统平台,支持 TLS、proxy、IPv6。 -= 10 信息安全 = +---- + += 11 信息安全 = -== 10.1 密码学 == +== 11.1 密码学 ==

Crypto++

@@ -1904,7 +2723,7 @@ SHA256().CalculateDigest(abDigest, pbData, nDataLen); Home:[https://www.openssl.org/] -Wikipedia:[https://en.wikipedia.org/wiki/OpenSSL 英文]、[https://zh.wikipedia.org/wiki/OpenSSL 中文] +Links:[https://en.wikipedia.org/wiki/OpenSSL Wikipedia] [https://zh.wikipedia.org/wiki/OpenSSL 维基百科] OpenSSL 基于 C 语言开发,在加密领域那可是大名鼎鼎。大部分常用的加密算法(对称、非对称)和散列算法,它都支持。 @@ -1914,7 +2733,7 @@ OpenSSL 基于 C 语言开发,在加密领域那可是大名鼎鼎。大部分 Home:[http://www.libressl.org/] -Wikipedia:[https://en.wikipedia.org/wiki/LibreSSL 英文]、[https://zh.wikipedia.org/wiki/LibreSSL 中文] +Links:[https://en.wikipedia.org/wiki/LibreSSL Wikipedia] [https://zh.wikipedia.org/wiki/LibreSSL 维基百科] OpenSSL 爆出“心脏滴血漏洞”之后,OpenBSD 社区的程序员复制了 OpenSSL 版本 1.0.1g 的代码,然后另起炉灶。 @@ -1924,25 +2743,83 @@ LibreSSL 的主要目标是“安全性”,其维护人员删除了原 OpenSSL Home:[http://gnutls.org/] -Wikipedia:[https://en.wikipedia.org/wiki/GnuTLS 英文] +Links:[https://en.wikipedia.org/wiki/GnuTLS Wikipedia] 采用 C 语言开发,名气也挺大。如其名,主要提供 TLS/SSL 的相关功能。 +

NaCl

+ +Home:[http://nacl.cr.yp.to/] + +Links:[https://en.wikipedia.org/wiki/NaCl_%28software%29 Wikipedia] + +这个名称是“Networking and Cryptography library”的缩写。 + +它采用 C 语言开发,另有其它编程语言(Python、Ruby、PHP)的 API 绑定。 + +它的作者同时也是 [https://en.wikipedia.org/wiki/Qmail qmail] 和 [https://en.wikipedia.org/wiki/Curve25519 Curve25519] 的作者。 + +

libsodium

+ +Home:[https://github.com/jedisct1/libsodium] + +它派生自 NaCl,提供了跟 NaCl 兼容的 API。支持的操作系统平台更多。 + +shadowsocks 和 dnscrypt-proxy 用到它。 + +

Keyczar

+ +Home:[https://github.com/google/keyczar] + +这是 Google 提供的加密库,同时提供 C++、Java、Python 三种语言的实现。 + +它提供了比较高层的 API, 使用者无需关心太多的细节。 + +代码示例——加密/解密文本 + +#include +#include +#include +#include + +void test(const std::string& key_location) +{ + keyczar::Keyczar* crypter = keyczar::Crypter::Read(key_location); + if(!crypter) + { + return; + } + + std::string plain = "Secret message"; + std::cout << "Plain text: " << plain << std::endl; + + std::string cipher; + if(crypter->Encrypt(plain, &cipher)) + { + std::cout << "Cipher text (Base64w): " << cipher << std::endl; + std::string decrypted; + if(crypter->Decrypt(cipher, &decrypted)) + { + assert(plain == decrypted); + } + } + delete crypter; +} + +

POCO::Crypto

Docs:[http://pocoproject.org/docs/Poco.Crypto.html] POCO 前面已经介绍过。它提供了常见的加密算法和哈希算法。 - ---- += 12 处理文件格式 = -= 11 文件格式 = - -== 11.1 结构化数据格式 == +== 12.1 结构化数据格式 == -=== 11.1.1 CSV === +=== 12.1.1 CSV === [https://en.wikipedia.org/wiki/Comma-separated_values CSV] 是一种历史悠久的结构化数据存储格式。其效果类似于一张数据库二维表。 @@ -1952,7 +2829,7 @@ Docs:[http://boost.org/libs/tokenizer] Boost 前面已经介绍过。这是 Boost 的其中一个子库,用来灵活地切割字符串。使用它,可以帮你提取 CSV 的行和列。 -=== 11.1.2 JSON === +=== 12.1.2 JSON === JSON 格式源自 JavaScript,如今在 Web 开发中广为应用。 @@ -2004,7 +2881,9 @@ Home:[https://github.com/miloyip/rapidjson] Home:[https://github.com/open-source-parsers/jsoncpp] -=== 11.1.3 YAML === +如其名,这是个 C++ 的 JSON 封装库。 + +=== 12.1.3 YAML === [https://en.wikipedia.org/wiki/YAML YAML] 是一种类似于 json 的结构化数据格式。它在确保可读性的基础上,提供了超越 json 的灵活性和扩展性。 @@ -2020,10 +2899,9 @@ Home:[http://pyyaml.org/wiki/LibYAML] C 语言实现的 YAML 解析器。 +== 12.2 压缩文件 & 打包文件 == -== 11.2 压缩文件 / 打包文件 == - -=== 11.2.1 综合性的库 === +=== 12.2.1 综合性的库 ===

libarchive

@@ -2031,7 +2909,9 @@ Home:[http://www.libarchive.org/] C 语言实现,支持的格式: -可创建/解开:zip、tar、7z、cpio、ar、xar;可解开:gzip、bzip2、xz、lzma、rpm、lz4、lzop +可读写的格式:zip、gzip、bzip2、xz、lzma、tar、ISO、cpio、ar、pax、mtree; + +只读的格式:7z、rar、cab、rpm、lzh、lzop、raw、xar

LZMA SDK

@@ -2041,7 +2921,25 @@ Home:[http://www.7-zip.org/sdk.html] 支持的格式:7z、LZMA、LZMA2、XZ -=== 11.2.2 处理 zip === +

PhysicsFS

+ +Home:[http://icculus.org/physfs/] + +Links:[https://en.wikipedia.org/wiki/PhysicsFS Wikipedia] + +针对不同的压缩/归档格式,提供了类似 VFS 的抽象封装层。主要用于游戏开发中。 + +支持的格式:zip、7z、GRP、PAK、HOG、MVL、WAD... + +

zopfli

+ +Home:[https://github.com/google/zopfli] + +这是由 Google 开发的 C 库,提供对 zip 和 gzip 格式的压缩(不提供解压)。 + +压缩的速度比较慢,但是可以得到更高的压缩率。 + +=== 12.2.2 zip === [https://en.wikipedia.org/wiki/Zip_%28file_format%29 格式说明] @@ -2049,9 +2947,17 @@ Home:[http://www.7-zip.org/sdk.html] Home:[http://www.nih.at/libzip/] -Wikipedia:[https://en.wikipedia.org/wiki/Libzip 英文] +Links:[https://en.wikipedia.org/wiki/Libzip Wikipedia] + +用 C 语言开发的库,基于 zlib 库。 + +

Poco::Zip

+ +Docs:[http://pocoproject.org/docs/Poco.Zip.html] -=== 11.2.3 处理 bzip2(bz2) === +POCO 前面已经介绍过。它提供了若干封装类,用于 zip 格式的压缩和解压。 + +=== 12.2.3 bzip2(bz2) === [https://en.wikipedia.org/wiki/Bzip2 格式说明] @@ -2061,23 +2967,25 @@ Home:[http://bzip.org/] 这是 bzip2 官方提供的库,C 语言实现。 -=== 11.2.4 处理 gzip(gz) === +=== 12.2.4 gzip(gz) ===

zlib

Home:[http://zlib.net/] -Wikipedia:[https://en.wikipedia.org/wiki/Zlib 英文]、[https://zh.wikipedia.org/wiki/Zlib 中文] +Links:[https://en.wikipedia.org/wiki/Zlib Wikipedia] [https://zh.wikipedia.org/wiki/Zlib 维基百科] -C 语言实现,诞生于1995年,被大量的开源项目使用。 +C 语言实现,诞生于1995年,被大量的开源项目使用(OpenSSL、OpenSSH、Apache、PostgreSQL、Git、libpng......)。 -=== 11.2.5 处理 tar === +=== 12.2.5 tar ===

libtar

Home:[http://www.feep.net/libtar/] -=== 11.2.6 处理 rar === +基于 C 语言开发,可以对 tar 格式添加内容或读取内容。 + +=== 12.2.6 rar ===

unrarlib

@@ -2085,16 +2993,51 @@ Home:[http://www.unrarlib.org/] 该项目的开发已经停止。只支持对 RAR2 格式的解压缩。 +=== 12.2.7 snappy === + +

snappy

+ +Home:[https://google.github.io/snappy/] + +由 Google 开发的压缩格式,特点是非常快(不论是压缩还是解压);但是压缩率不如 gzip。 + +起先被用于 Google 内部的 BigTable,如今被用于多种 NoSQL 数据库(比如:Cassandra、Hadoop、LevelDB、MongoDB、RocksDB...) + +支持多种语言的绑定(C#、Common Lisp、Erlang、Go、Haskell、Lua、Java、Node.js、Perl、PHP、Python、R、Ruby、Smalltalk) + +=== 12.2.8 Brotli === + +

Brotli

+ +Home:[https://github.com/google/brotli] + +Links:[https://en.wikipedia.org/wiki/Brotli Wikipedia] + +由 Google 开发的压缩格式,压缩率很高(据说高于 LZMA 和 bz2)。 + +该算法很新,是2015年9月才发布的。 + +=== 12.2.9 LZFSE === + +

LZFSE

+ +Home:[https://github.com/lzfse/lzfse] + +Links:[https://zh.wikipedia.org/wiki/LZFSE 维基百科] -== 11.3 标记语言 == +由苹果开发的压缩格式。苹果称它的压缩率与“ZLib level 5”相似,但速度快2至3倍。 -=== 11.3.1 XML === +该算法是前不久(2016年7月)才开源出来的。 + +== 12.3 标记语言 == + +=== 12.3.1 XML ===

Expat

Home:[http://www.libexpat.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Expat_(library) 英文] +Links:[https://en.wikipedia.org/wiki/Expat_(library) Wikipedia] 基于 C 语言实现,诞生于1998年。很多知名的开源项目(Apache Server、Firefox、Python、PHP、Perl)用到它。 @@ -2102,7 +3045,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Expat_(library) 英文] Home:[http://xmlsoft.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Libxml2 英文] +Links:[https://en.wikipedia.org/wiki/Libxml2 Wikipedia] 基于 C 语言实现,诞生于1999年。提供了多种语言(C++、Python、Ruby、Common Lisp、PHP、Perl)的 API 绑定。 @@ -2124,16 +3067,15 @@ Home:[http://libxmlplusplus.sourceforge.net/] 如其名,它是针对前面提到的 libxml2 的 C++ 封装。 -=== 11.3.2 HTML === +=== 12.3.2 HTML ===

htmlcxx

Home:[http://htmlcxx.sourceforge.net/] -支持 HTML 和 CSS 的解析。 - +如其名,是基于 C++ 开发的。支持 HTML 和 CSS 的解析。 -== 11.4 PDF == +== 12.4 PDF ==

PoDoFo

@@ -2143,11 +3085,23 @@ Home:[http://podofo.sourceforge.net/] 它既支持 PDF 文件的生成,也支持 PDF 内容的提取。它同时还提供[http://podofo.sourceforge.net/tools.html 一堆命令行的小工具],用来操作 PDF 文件。 +

Poppler

+ +Home:[https://poppler.freedesktop.org/] + +Links:[https://en.wikipedia.org/wiki/Poppler_%28software%29 Wikipedia] + +派生自 Xpdf 3.0 的开源库,用于渲染 PDF 的内容。很多开源的 PDF 阅读软件用到它。 + +在开源界,它第一个【完整】实现了 ISO 32000-1(PDF 的 ISO 标准)。 + +它内置了若干命令行工具(poppler-utils),可以用来进行 PDF 的内容提取和格式转换。 +

LibHaru

Home:[http://libharu.org/] -Wikipedia:[https://en.wikipedia.org/wiki/LibHaru 英文] +Links:[https://en.wikipedia.org/wiki/LibHaru Wikipedia] 它是基于 C 语言开发的跨平台库,可以用来生成 PDF 文件格式。 @@ -2180,8 +3134,7 @@ HPDF_SaveToFile(doc, "test.pdf"); HPDF_Free(doc); - -== 11.5 MS Office 文档 == +== 12.5 MS Office 文档 ==

wvWare

@@ -2191,8 +3144,7 @@ Home:[http://wvware.sourceforge.net/] AbiWord 和 KWord 用到它。 - -== 11.6 RTF == +== 12.6 RTF ==

LibRTF

@@ -2200,8 +3152,7 @@ Home:[http://sourceforge.net/projects/librtf/] C 语言实现的库,可以解析 RTF 文件格式。 - -== 11.7 CHM == +== 12.7 CHM ==

CHMLIB

@@ -2217,32 +3168,54 @@ Home:[http://www.mare.ee/indrek/libchmxx/] 它就是基于 CHMLIB 的 C++ 封装库。 - ---- += 13 图像 = -= 12 图像 = - -== 12.1 图像处理 == +== 13.1 图像处理 ==

ImageMagick

Home:[http://imagemagick.org/] -Wikipedia:[https://en.wikipedia.org/wiki/ImageMagick 英文]、[https://zh.wikipedia.org/wiki/ImageMagick 中文] +Links:[https://en.wikipedia.org/wiki/ImageMagick Wikipedia] [https://zh.wikipedia.org/wiki/ImageMagick 维基百科] ImageMagick 可说是最强大的开源图片处理工具集,采用 C 语言编写。诞生于1990年,其开发至今依然非常活跃。支持非常多的操作系统平台。 它提供许多编程语言的 API,对于 C++ 是 [http://www.imagemagick.org/Magick++/ Magick++],对于 C 是 [http://imagemagick.org/script/magick-wand.php MagickWand] +

Boost.GIL(Generic Image Library)

+ +Docs:[http://boost.org/libs/gil] + +Boost 前面已经介绍过。这是 Boost 的其中一个子库,实现了图像处理功能。 + +代码示例——调整图像尺寸 + +#include +#include +#include +#include +#include + +using namespace boost::gil; + +rgb8_image_t img; +jpeg_read_image("input.jpg", img); + +// Scale the image to 100x100 pixels using bilinear resampling +rgb8_image_t square(100, 100); +resize_view(const_view(img), view(square), bilinear_sampler()); +jpeg_write_view("output.jpg", const_view(square)); + +

Dlib

Docs:[http://dlib.net/imaging.html] Dlib 前面已经介绍过。它提供了常见的图像处理功能(旋转、剪切、拉伸、过滤)。 - -== 12.2 图像格式转换 == +== 13.2 图像格式转换 ==

ImageMagick

@@ -2250,37 +3223,63 @@ ImageMagick 前面已经介绍过。它支持非常多的图片格式([http:// 在支持的格式中,它可以实现其中几十种格式的相互转换。 - -== 12.3 图像渲染 == +== 13.3 图像渲染 ==

Cairo

Home:[http://cairographics.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Cairo_%28graphics%29 英文]、[https://zh.wikipedia.org/wiki/Cairo_(%E7%B9%AA%E5%9C%96) 中文] +Links:[https://en.wikipedia.org/wiki/Cairo_%28graphics%29 Wikipedia] [https://zh.wikipedia.org/wiki/Cairo_(%E7%B9%AA%E5%9C%96) 维基百科] -它提供了矢量图像的渲染功能。支持多种后端输出(包括:Win32 GDI、OpenGL、Xlib、XCB、PDF、PNG、SVG......)。 +它提供了矢量图像的渲染功能。支持多种后端输出(Win32 GDI、OpenGL、Xlib、XCB、PDF、PNG、SVG ......)。 基于 C 语言开发,提供多种语言绑定(C++、Java、C#、Python、Ruby、Perl、Scheme、Smalltalk)。 -

Cairo

+

cairomm

Home:[http://cairographics.org/cairomm/] 这是针对 Cairo 的 C++ 封装库。 ----- +

Skia

+ +Home:[https://github.com/google/skia] + +Links:[https://en.wikipedia.org/wiki/Skia_Graphics_Engine Wikipedia] [https://zh.wikipedia.org/wiki/Skia_Graphics_Library 维基百科] + +它是 Google 基于 C++ 开发的图像渲染库。支持多种后端输出(rasterization、OpenGL、PDF、SVG、SWF ......)。 + +原先由 Skia 公司开发,后来该公司被 Google 收购。被用于 Android、Chrome、Chrome OS、Firefox 等知名开源项目。 + +

PBRT(Physically Based Rendering Toolkit)

+ +Home:[http://pbrt.org/] + +基于光线追踪的物理渲染系统,采用 C++ 开发。 + +== 13.4 计算机视觉 == +

OpenCV

-= 13 多媒体 = +Home:[http://opencv.org/] -== 13.1 多媒体框架 == +Links:[https://en.wikipedia.org/wiki/OpenCV Wikipedia] [https://zh.wikipedia.org/wiki/OpenCV 维基百科] + +它是一个跨平台的计算机视觉库,由 Intel 发起并参与开发。开发语言是 C 和 C++。 + +提供其它编程语言(Python、Java、MATLAB/OCTAVE ...)的 API 绑定。 + +---- + += 14 多媒体 = + +== 14.1 多媒体框架 ==

FFmpeg

Home:[http://ffmpeg.org/] -Wikipedia:[https://en.wikipedia.org/wiki/FFmpeg 英文]、[https://zh.wikipedia.org/wiki/FFmpeg 中文] +Links:[https://en.wikipedia.org/wiki/FFmpeg Wikipedia] [https://zh.wikipedia.org/wiki/FFmpeg 维基百科] 名气非常大的开源多媒体框架,基于 C 和汇编开发,支持多种操作系统。 @@ -2300,12 +3299,11 @@ Wikipedia:[https://en.wikipedia.org/wiki/FFmpeg 英文]、[https://zh.wikipedi Home:[http://libav.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Libav 英文] +Links:[https://en.wikipedia.org/wiki/Libav Wikipedia] 它是2011年从 FFmpeg 派生出来的。基于 C 语言开发,支持多种操作系统。 - -== 13.2 视频库 == +== 14.2 视频库 ==

libavcodec

@@ -2315,14 +3313,13 @@ Home:[http://ffmpeg.org/] 由于 Libav 从 FFmpeg 分裂出来,Libav 下也带有一个同名的库。 - -== 13.3 音频库 == +== 14.3 音频库 ==

PortMedia & PortAudio

Home:[http://www.portaudio.com/] -Wikipedia:[https://en.wikipedia.org/wiki/PortAudio 英文] +Links:[https://en.wikipedia.org/wiki/PortAudio Wikipedia] PortAudio 是 PortMedia 的组成部分,提供了音频的播放和录制功能。支持多种底层 API(ALSA、DirectSound、WASAPI、ASIO...) @@ -2330,22 +3327,19 @@ PortAudio 是 PortMedia 的组成部分,提供了音频的播放和录制功 Home:[http://www.openal.org/] -Wikipedia:[https://en.wikipedia.org/wiki/OpenAL 英文]、[https://zh.wikipedia.org/wiki/OpenAL 中文] +Links:[https://en.wikipedia.org/wiki/OpenAL Wikipedia] [https://zh.wikipedia.org/wiki/OpenAL 维基百科] C 语言开发的 3D 音效库,跨平台。最初由 Loki Software 开发。Loki 倒闭以后,这个项目由开源社区继续维护。 - - ---- += 15 游戏 = -= 14 游戏开发 = - -== 14.1 综合性的游戏引擎 == +== 15.1 综合性的游戏引擎 ==

id Tech 系列

-Wikipedia:[https://en.wikipedia.org/wiki/Id_Tech 英文] +Links:[https://en.wikipedia.org/wiki/Id_Tech Wikipedia] 这个系列来自于大名鼎鼎的 [https://en.wikipedia.org/wiki/Id_Software id Software 公司],由同样大名鼎鼎约翰·卡马克打造。 @@ -2354,16 +3348,20 @@ Wikipedia:[https://en.wikipedia.org/wiki/Id_Tech 英文] 原先基于 C 和 汇编开发,从 id Tech 4 开始改用 C++ 开发。 * id Tech 1——俗称:Doom 引擎 + * id Tech 2(Quake)——俗称:Quake 引擎 + * id Tech 2(Quake II)——俗称:Quake II 引擎 + * id Tech 3——俗称:Quake III 引擎 + * id Tech 4——俗称:Doom 3 引擎

Crystal Space

Home:[http://www.crystalspace3d.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Crystal_Space 英文] +Links:[https://en.wikipedia.org/wiki/Crystal_Space Wikipedia] 以 C++ 编写,功能包括:2D 和 3D 渲染、音效、AI... 它的物理引擎基于 ODE 和 Bullet @@ -2371,7 +3369,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Crystal_Space 英文] Home:[http://www.blender.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Game_Blender 英文]、[https://zh.wikipedia.org/wiki/Game_Blender 中文] +Links:[https://en.wikipedia.org/wiki/Game_Blender Wikipedia] [https://zh.wikipedia.org/wiki/Game_Blender 维基百科] 它是 [https://en.wikipedia.org/wiki/Blender_%28software%29 Blender] 的组成部分,以 C++ 编写,使用 Python 脚本扩展。功能包括:3D 渲染、碰撞检测、角色编辑器、音效、网络通讯、AI、... @@ -2379,18 +3377,17 @@ Wikipedia:[https://en.wikipedia.org/wiki/Game_Blender 英文]、[https://zh.wi Home:[http://www.panda3d.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Panda3D 英文] +Links:[https://en.wikipedia.org/wiki/Panda3D Wikipedia] 以 C++ 编写,用 Python 脚本扩展。虽然它的名字有“3D”,但它不仅仅是 3D 引擎,还包括了其它功能(碰撞检测、音效、关卡编辑器...)。 - -== 14.2 3D 渲染引擎 == +== 15.2 3D 渲染引擎 ==

OGRE

Home:[http://www.ogre3d.org/] -Wikipedia:[https://en.wikipedia.org/wiki/OGRE 英文]、[https://zh.wikipedia.org/wiki/OGRE 中文] +Links:[https://en.wikipedia.org/wiki/OGRE Wikipedia] [https://zh.wikipedia.org/wiki/OGRE 维基百科] 著名的 3D 渲染引擎,C++ 开发,诞生于2005年。支持很多操作系统(包括两大手机操作系统)。很多商业游戏用到它。 @@ -2400,18 +3397,17 @@ Wikipedia:[https://en.wikipedia.org/wiki/OGRE 英文]、[https://zh.wikipedia. Home:[http://mesa3d.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Mesa_%28computer_graphics%29 英文]、[https://zh.wikipedia.org/wiki/Mesa_3D 中文] +Links:[https://en.wikipedia.org/wiki/Mesa_%28computer_graphics%29 Wikipedia] [https://zh.wikipedia.org/wiki/Mesa_3D 维基百科] 使用 C 语言开发,它是针对 OpenGL 规范的【纯软件】实现(大部分 OpenGL 的实现都用到了显卡硬件)。 - -== 14.3 物理引擎 == +== 15.3 物理引擎 ==

Bullet

Home:[http://www.bulletphysics.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Bullet_%28software%29 英文]、[https://zh.wikipedia.org/wiki/Bullet 中文] +Links:[https://en.wikipedia.org/wiki/Bullet_%28software%29 Wikipedia] [https://zh.wikipedia.org/wiki/Bullet 维基百科] 采用 C 和 C++ 开发。电影《2012》用到它,游戏“侠盗猎车手”、“荒野大镖客”用到它。 @@ -2419,7 +3415,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Bullet_%28software%29 英文]、[http Home:[http://www.box2d.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Box2D 英文]、[https://zh.wikipedia.org/wiki/Box2D 中文] +Links:[https://en.wikipedia.org/wiki/Box2D Wikipedia] [https://zh.wikipedia.org/wiki/Box2D 维基百科] 基于 C++ 开发的2维物理引擎。“愤怒的小鸟”用到它。 @@ -2427,7 +3423,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Box2D 英文]、[https://zh.wikipedia Home:[http://www.ode.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Open_Dynamics_Engine 英文]、[https://zh.wikipedia.org/wiki/Open_Dynamics_Engine 中文] +Links:[https://en.wikipedia.org/wiki/Open_Dynamics_Engine Wikipedia] [https://zh.wikipedia.org/wiki/Open_Dynamics_Engine 维基百科] 诞生于2001年,采用 C 和 C++ 开发。 @@ -2435,21 +3431,21 @@ Wikipedia:[https://en.wikipedia.org/wiki/Open_Dynamics_Engine 英文]、[https Home:[http://www.newtondynamics.com/] -Wikipedia:[https://en.wikipedia.org/wiki/Newton_Game_Dynamics 英文] +Links:[https://en.wikipedia.org/wiki/Newton_Game_Dynamics Wikipedia] +基于 C++ 开发。 ---- += 16 数值运算 & 科学计算 = -= 15 数值运算 & 科学计算 = - -== 15.1 综合性的库 == +== 16.1 综合性的库 ==

GSL(GNU Scientific Library)

Home:[https://www.gnu.org/software/gsl/] -Wikipedia:[https://en.wikipedia.org/wiki/GNU_Scientific_Library 英文] +Links:[https://en.wikipedia.org/wiki/GNU_Scientific_Library Wikipedia] 由 GNU 官方提供,包括:复数、多项式、矩阵、线性代数、特征向量、快速傅里叶变换、统计、模拟退火...... @@ -2457,14 +3453,13 @@ Wikipedia:[https://en.wikipedia.org/wiki/GNU_Scientific_Library 英文] #include #include - + double x = 5.0; double y = gsl_sf_bessel_J0(x); printf("J0(%g) = %.18e\n", x, y); - -== 15.2 有理数 == +== 16.2 有理数 ==

Boost.Rational

@@ -2472,14 +3467,13 @@ Docs:[http://boost.org/libs/rational] Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“有理数”的功能。 - -== 15.3 高精度数值运算 == +== 16.3 高精度数值运算 ==

GMP(GNU Multiple Precision)

Home:[https://gmplib.org/] -Wikipedia:[https://en.wikipedia.org/wiki/GNU_Multiple_Precision_Arithmetic_Library 英文]、[https://zh.wikipedia.org/wiki/GNU%E5%A4%9A%E9%87%8D%E7%B2%BE%E5%BA%A6%E8%BF%90%E7%AE%97%E5%BA%93 中文] +Links:[https://en.wikipedia.org/wiki/GNU_Multiple_Precision_Arithmetic_Library Wikipedia] [https://zh.wikipedia.org/wiki/GNU%E5%A4%9A%E9%87%8D%E7%B2%BE%E5%BA%A6%E8%BF%90%E7%AE%97%E5%BA%93 维基百科] 基于 C 语言的高精度数值运算库,诞生于1991年,非常老牌。 @@ -2496,7 +3490,7 @@ mpz_init(result); mpz_mul(result, x, y); gmp_printf("%Zd\n", result); - + /* free used memory */ mpz_clear(x); mpz_clear(y); @@ -2509,8 +3503,7 @@ Docs:[http://boost.org/libs/multiprecision] Boost 前面已经介绍过。这是 Boost 的其中一个子库,实现了高精度数值运算。它还提供了针对 GMP 的数据类型的封装。 - -== 15.4 矩阵 == +== 16.4 矩阵 ==

Boost.uBLAS.Matrix

@@ -2539,8 +3532,7 @@ Docs:[http://dlib.net/linear_algebra.html#matrix] Dlib 前面已经介绍过。它提供了一个矩阵类。 - -== 15.5 线性代数 == +== 16.5 线性代数 ==

Boost.uBLAS

@@ -2554,8 +3546,10 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,实现了 BLA #include #include #include - + +using namespace std; using namespace boost::numeric::ublas; + vector v(2); v(0) = 1; v(1) = 2; @@ -2564,14 +3558,14 @@ m(0,0) = 0; m(0,1) = 1; m(1,0) = 2; m(1,1) = 3; vector v2 = prod(m, v); -std::cout << v2 << std::endl; +cout << v2 << endl;

Blitz++

Home:[http://blitz.sourceforge.net/] -Wikipedia:[https://en.wikipedia.org/wiki/Blitz%2B%2B 英文] +Links:[https://en.wikipedia.org/wiki/Blitz%2B%2B Wikipedia] 它是基于 C++ 实现的。其特色是:采用“模板元编程”的技术进行编译时计算,从而优化了性能。 @@ -2579,7 +3573,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Blitz%2B%2B 英文] Home:[http://arma.sourceforge.net/] -Wikipedia:[https://en.wikipedia.org/wiki/Armadillo_%28C%2B%2B_library%29 英文] +Links:[https://en.wikipedia.org/wiki/Armadillo_%28C%2B%2B_library%29 Wikipedia] 类似 Blitz++,Armadillo 也用了“模板元编程”的技术。 @@ -2607,30 +3601,27 @@ cout << "Least squares solution:" << endl << solve(m,v) << endl; Docs:[http://dlib.net/linear_algebra.html] -Dlib 前面已经介绍过。 - +Dlib 前面已经介绍过。它提供了线性代数相关的封装类。 ---- += 17 跨语言编程 = -= 16 跨语言编程 = - -== 16.1 整合多种语言的库 == +== 17.1 整合多种语言的库 ==

SWIG

Home:[http://swig.org/] -Wikipedia:[https://en.wikipedia.org/wiki/SWIG 英文] +Links:[https://en.wikipedia.org/wiki/SWIG Wikipedia] 这是一个很老牌的、有名气的工具,它可以把多种语言(Java、Python、C#、Ruby、PHP、Perl、Lua、Go ......)整合到 C/C++ 中。 整合之后,你的 C/C++ 程序就可以享受到其它这些语言的特性啦,非常爽! +== 17.2 整合单一语言的库 == -== 16.2 整合单一语言的库 == - -=== 16.2.1 整合 Python 语言 === +=== 17.2.1 整合 Python 语言 ===

Boost.Python

@@ -2643,7 +3634,7 @@ Boost 前面已经介绍过。这是 Boost 的其中一个子库,实现了 C++ // 这是一个标准的 C 函数 const char* greet() { - return "Hello, world"; + return "Hello, world"; } // 使用如下代码对上述函数进行包装 @@ -2659,20 +3650,144 @@ BOOST_PYTHON_MODULE(hello_ext) // print(hello_ext.greet()) +

Cython

----- +Home:[http://cython.org/] + +Links:[https://en.wikipedia.org/wiki/Cython Wikipedia] + +Cython 提供了一种机制(编译器)编译 Python 代码为【原生代码】。编译后的原生代码是个 Python 的 module(扩展名是 pyd 或 so),可以在常规的 Python 环境中用 import 语句加载。如此一来,既得到了类似 C/C++ 的高性能,又保留了 Python 语法的简介性。 + +另外,它也提供了把 C/C++ 代码编译为 Python 模块的机制。 +=== 17.2.2 整合 JavaScript 语言 === +

V8

+Home:[https://github.com/v8/v8] -= 17 (其它) = +Links:[https://en.wikipedia.org/wiki/Chrome_V8 Wikipedia] + +这就是大名鼎鼎的 V8 引擎,Google 公司开发,C++ 编写,被用于 Chrome 浏览器。 + +既然用于 Chrome 浏览器,显然【完整地】支持了 JS 语言的规范(ECMA-262)。 + +它既可以独立运行,也可以嵌入到 C++ 程序中。 + +代码示例——Hello world + +#include +#include +#include +#include +#include + +int main(int argc, char* argv[]) +{ + // Initialize V8. + v8::V8::InitializeICUDefaultLocation(argv[0]); + v8::V8::InitializeExternalStartupData(argv[0]); + std::unique_ptr platform = v8::platform::NewDefaultPlatform(); + v8::V8::InitializePlatform(platform.get()); + v8::V8::Initialize(); + + // Create a new Isolate and make it the current one. + v8::Isolate::CreateParams create_params; + create_params.array_buffer_allocator = v8::ArrayBuffer::Allocator::NewDefaultAllocator(); + v8::Isolate* isolate = v8::Isolate::New(create_params); + + { + v8::Isolate::Scope isolate_scope(isolate); + // Create a stack-allocated handle scope. + v8::HandleScope handle_scope(isolate); + // Create a new context. + v8::Local context = v8::Context::New(isolate); + // Enter the context for compiling and running the hello world script. + v8::Context::Scope context_scope(context); + // Create a string containing the JavaScript source code. + v8::Local source = + v8::String::NewFromUtf8(isolate, "'Hello World!'", + v8::NewStringType::kNormal).ToLocalChecked(); + // Compile the source code. + v8::Local script = v8::Script::Compile(context, source).ToLocalChecked(); + // Run the script to get the result. + v8::Local result = script->Run(context).ToLocalChecked(); + // Convert the result to an UTF8 string and print it. + v8::String::Utf8Value utf8(isolate, result); + printf("%s\n", *utf8); + } + + // Dispose the isolate and tear down V8. + isolate->Dispose(); + v8::V8::Dispose(); + v8::V8::ShutdownPlatform(); + delete create_params.array_buffer_allocator; + return 0; +} + + +

nbind

+ +Home:[https://github.com/charto/nbind] + +把 C++ 代码编译为 JS 的 package。编译方式支持“原生二进制”或“asm.js”。 + +编译需要依赖 Node.js,运行环境支持 Node.js 或浏览器。 + +代码示例——C++ 代码 + +#include +#include + +struct Greeter +{ + static void sayHello(std::string name) + { + std::cout << "Hello, " << name << "\n"; + } +}; + +// 建立绑定 +#include + +NBIND_CLASS(Greeter) +{ + method(sayHello); +} + + +代码示例——node.js 环境调用代码 + +var nbind = require("nbind"); +var lib = nbind.init().lib; +lib.Greeter.sayHello("you"); + + +代码示例——浏览器环境调用代码 + + + + + +---- + += 18 (其它) = 一些不方便归类的,暂时放到这里。 -== 17.1 词法分析 & 语法分析 == +== 18.1 词法分析 & 语法分析 ==

Boost.Spirit

Docs:[http://boost.org/libs/spirit] Boost 前面已经介绍过。这是 Boost 的其中一个子库,提供了“基于 EBNF 的解析器框架”。 + diff --git a/libs/python.wiki b/libs/python.wiki index b244ab8..5dd27e0 100644 --- a/libs/python.wiki +++ b/libs/python.wiki @@ -8,12 +8,10 @@ 本页面列出的各种 Python 库/模块,如果注明了官网的网址,说明这个库是第三方的;否则就是 Python 语言内置的标准库。 -如果你发现本页面的开源库有错漏之处,有 GitHub 帐号的同学,可以[https://github.com/programthink/opensource/issues 给俺发 issue];没帐号的同学,可以去[http://program-think.blogspot.com/ 俺博客]留言。 - +如果你发现本页面的开源库有错漏之处,非常欢迎给俺提供反馈——有 GitHub 帐号的同学,可以[https://github.com/programthink/opensource/issues 给俺发 issue];没帐号的同学,可以去[https://program-think.blogspot.com/ 俺博客]留言。 ---- - = 1 算法 = == 1.1 字符串 == @@ -22,7 +20,9 @@

re

-正则表达式的标准库,提供基于正则的匹配和替换。 +【标准库】 + +提供基于正则的匹配和替换。 === 1.1.2 字符集 === @@ -44,10 +44,19 @@ print(chardet.detect(bytes))

StringIO & cStringIO

+【标准库】 + 以读写文件的方式来操作字符串(有点类似于内存文件)。 cStringIO 是 C 语言实现的,性能更高;而 StringIO 是 Python 实现的,提供 Unicode 兼容性。 +

difflib

+ +【标准库】 + +可以对两个字符串进行“按行”比较,其功能类似于命令行的 diff。 + +另外还支持“最佳匹配”功能——对给定的字符串 s 和字符串列表 l,在 l 里面找到最接近 s 的字符串。 == 1.2 编码 & 解码 == @@ -57,7 +66,9 @@ cStringIO 是 C 语言实现的,性能更高;而 StringIO 是 Python 实现

base64

-标准库,提供 Base16、Base32、Base64 格式的编码和解码。 +【标准库】 + +提供 Base16、Base32、Base64 格式的编码和解码。 === 1.2.2 UUencode === @@ -65,7 +76,9 @@ cStringIO 是 C 语言实现的,性能更高;而 StringIO 是 Python 实现

uu

-标准库,提供 UUencode 格式的编码和解码。 +【标准库】 + +提供 UUencode 格式的编码和解码。 === 1.2.3 BinHex === @@ -73,17 +86,22 @@ cStringIO 是 C 语言实现的,性能更高;而 StringIO 是 Python 实现

binhex

-标准库,提供 BinHex 格式的编码和解码。 +【标准库】 +提供 BinHex 格式的编码和解码。 == 1.3 数学类 ==

math

+【标准库】 + 顾名思义,这个标准库封装了常用的数学函数(开方、指数、对数、三角函数......)。

random

+【标准库】 + 顾名思义,这个标准库是用来进行随机数生成滴。 代码示例——生成 0-100 的随机数 @@ -95,33 +113,44 @@ random.randint(0, 100)

fractions

-这个标准库封装了跟有理数(分数)相关的运算 +【标准库】 +封装了跟有理数(分数)相关的运算 ----- +== 1.4 容器 == + +

pygtrie

+Home:[https://github.com/google/pytrie] + +这是 Google 实现的 [https://zh.wikipedia.org/wiki/Trie trie](前缀树/字典树)封装库。 + +---- = 2 跨语言编程 = Python 可以很容易地跟其它编程语言整合。整合之后,就可以在 Python 代码中使用其它编程语言的函数、模块、库,非常爽! - -== 2.1 整合 C / C++ 语言 == +== 2.1 整合 C & C++ ==

ctypes

ctypes 在 Python 2.5 版本加入到标准库中。 -通过它,你可以很方便地调用 C/C++ 动态库导出的函数,可以在 Python 中使用各种 C/C++ 的数据类型(比如指针)。 +通过它,你可以很方便地调用 C/C++ 动态库导出的函数,可以在 Python 中使用各种 C/C++ 的数据类型(包括“指针”和“引用”)。 代码示例——调用 Linux/Unix 系统的标准 C 函数,获取当前时间 from ctypes import * + libc = CDLL("libc.so.6") time = libc.time(None) + -# 调用 Windows 系统 API,弹出消息提示框 +代码示例——调用 Windows 系统的 API,弹出消息提示框 + from ctypes import c_int, WINFUNCTYPE, windll from ctypes.wintypes import HWND, LPCSTR, UINT + prototype = WINFUNCTYPE(c_int, HWND, LPCSTR, LPCSTR, UINT) paramflags = (1, "hwnd", 0), (1, "text", "Hi"), (1, "caption", None), (1, "flags", 0) MessageBox = prototype(("MessageBoxA", windll.user32), paramflags) @@ -132,9 +161,9 @@ MessageBox(text="Hello, world", flags=2) Home:[http://swig.org/] -Wikipedia:[https://en.wikipedia.org/wiki/SWIG 英文] +Links:[https://en.wikipedia.org/wiki/SWIG Wikipedia] -这是一个很老牌的、有名气的工具,它可以把多种语言(Java、Python、C#、Ruby、PHP、Perl、Lua、Go、等)整合到 C/C++ 中。 +这是一个很老牌的、有名气的工具,它可以把多种语言(Java、Python、C#、Ruby、PHP、Perl、Lua、Go ...)整合到 C/C++ 中。

Cython

@@ -150,9 +179,9 @@ Home:[http://cython.org/] Home:[http://www.jython.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Jython 英文]、[https://zh.wikipedia.org/wiki/Jython 中文] +Links:[https://en.wikipedia.org/wiki/Jython Wikipedia] [https://zh.wikipedia.org/wiki/Jython 维基百科] -通过 Jython 可以让 Python 代码运行在 JVM 上,并且可以调用其它的 JVM 语言的代码(比如 Java、Scale) +通过 Jython 可以让 Python 代码运行在 JVM 上,并且可以调用其它的 JVM 语言的代码(比如 Java、Scala) == 2.3 整合 dotNet 平台 == @@ -160,11 +189,21 @@ Wikipedia:[https://en.wikipedia.org/wiki/Jython 英文]、[https://zh.wikipedi Home:[http://ironpython.net/] -Wikipedia:[https://en.wikipedia.org/wiki/IronPython 英文]、[https://zh.wikipedia.org/wiki/IronPython 中文] +Links:[https://en.wikipedia.org/wiki/IronPython Wikipedia] [https://zh.wikipedia.org/wiki/IronPython 维基百科] + +通过 IronPython 可以让 Python 代码运行在 dotNET 平台上,并且可以调用其它的 dotNET 语言的代码(C#、F#、VB.Net ...) + +== 2.4 整合 Go == + +

gopy

-通过 IronPython 可以让 Python 代码运行在 dotNET 平台上,并且可以调用其它的 dotNET 语言的代码(比如 C# F#) +Home:[https://github.com/go-python/gopy] -== 2.4 整合 Objective-C 语言 == +gopy 可以把 Go 源代码编译为 Python 的一个 module。 + +它提供了两种方式(命令行、Python 库)来实现:Go 源码编译为 Python 模块。 + +== 2.5 整合 Objective-C ==

PyObjC

@@ -172,21 +211,23 @@ Home:[http://pyobjc.sourceforge.net/] 这是用 Python 封装 Mac OS X 上的 Objective-C 库。 - ---- += 3 操作系统 = -= 3 操作系统相关 = +== 3.1 文件和目录操作 ==

os

-这是一个非常基本的标准库,提供了常见的操作系统相关操作。 +【标准库】 -== 3.1 文件和目录操作 == +这是非常基本的标准库,提供了常见的操作系统相关功能,很多功能是针对文件系统。

shutil

-相对于 os 标准库,shutil 标准库提供了一些比较高级的文件和目录操作(目录递归复制、目录递归删除、目录压缩打包、等) +【标准库】 + +相对于 os 而言,shutil 提供了一些比较高级的文件和目录操作(目录递归复制、目录递归删除、目录压缩打包...) 代码示例——递归删除某个目录 @@ -196,19 +237,22 @@ shutil.rmtree(xxxx)

glob

-这个标准库用于查找文件(支持通配符) +【标准库】 + +用于查找文件,【支持通配符】(* 和 ?) 代码示例——获取当前目录所有 txt 文件 import glob - for file in glob.glob("./*.txt") : print(file)

fnmatch

-这个标准库用于匹配文件名(支持通配符) +【标准库】 + +用于匹配文件名(支持通配符,类似上面的 glob) 代码示例——列出当前目录所有 txt 文件 @@ -221,22 +265,125 @@ for file in os.listdir(".") :

tempfile

-使用这个标准库,可以安全地生成临时文件或临时目录。 +【标准库】 -== 3.2 本地进程间通信(IPC) == +使用它可以安全地生成临时文件或临时目录。 -

subprocess & multiprocessing

+ -用于进程管理的标准库,可以启动子进程,通过标准输入输出跟子进程交互。 +== 3.2 线程 == -其中 multiprocessing 是 2.6 版本加入到标准库的。 +

threading

-

signal

+【标准库】 + +提供了比较高层的线程封装 API。它本身包含了线程同步/互斥的机制。 + +代码示例——基于“函数”的线程 + +import threading +import time -用于进程信号处理的标准库。 +def my_thread() : + print("Thread started!") + time.sleep(3) + print("Thread finished!") + +threading.Thread(target=my_thread).start() + + +代码示例——基于“类”的线程 + +import threading +import time +from __future__ import print_function + +class MyThread(threading.Thread) : + def run(self) : + print("{} started!".format(self.getName())) + time.sleep(3) + print("{} finished!".format(self.getName())) + +if __name__ == "__main__" : + for n in range(10) : + mythread = MyThread(name = "Thread-{}".format(n + 1)) + mythread.start() + time.sleep(1) + + +== 3.3 进程 == + +

subprocess

+ +【标准库】 + +用于进程管理,可以启动子进程,通过标准输入输出跟子进程交互。 + +代码示例——启动命令行进程,并获取该进程的标准输出 + +import subprocess +output = subprocess.check_output(["dir"]) # 获取当前目录的内容 +output = subprocess.check_output(["netstat", "-an"]) # 获取当前网络链接 + + +

multiprocessing

+ +【标准库】 + +它是 2.6 版本加入到标准库的,其 API 接口的风格类似于 threading 模块。 + +它本身包含了进程同步/互斥的机制。 + +代码示例——利用其 Lock 机制,确保多个子进程的标准输出不会混杂(每次只有一个进程调用 print)。 + +from multiprocessing import Process, Lock + +def f(lock, n) : + lock.acquire() + print("hello world %d" % n) + lock.release() + +if __name__ == "__main__" : + lock = Lock() + for num in range(10): + Process(target=f, args=(lock, num)).start() + + +

sh

+ +Home:[https://github.com/amoffat/sh] + +这个项目可以用来取代标准库中的 subprocess;同时兼容 Python2 和 Python3。 + +使用它可以写出比 subprocess 更简洁、更优雅的代码。 + +代码示例——获取命令输出 + +from sh import ifconfig +print(ifconfig("wlan0")) + + +代码示例——命令行参数 + +from sh import curl +# 传统风格 +curl("https://program-think.blogspot.com/", "-o", "test.html", "--silent") +# 命名参数风格 +curl("https://program-think.blogspot.com/", o="test.html", silent=True) + + +代码示例——管道 + +from sh import ls, wc +print(wc(ls("/etc", "-1"), "-l")) + + +== 3.4 本地进程间通信(IPC) ==

mmap

+【标准库】 + 提供了内存映射文件的支持。 代码示例——利用 mmap 在父子进程间交换数据 @@ -248,27 +395,123 @@ map = mmap.mmap(-1, 13) map.write("Hello, world") pid = os.fork() -if pid == 0: # 子进程 +if pid == 0 : # 子进程 map.seek(0) print(map.readline()) map.close() -== 3.3 Windows 系统相关 == +

signal

-

PyWin32

+【标准库】 -Home:[http://python.net/crew/mhammond/win32/] +用于进程信号处理的标准库(主要用于 Linux & UNIX 系统)。 -这个第三方库封装了 Windows API 及 COM API。通过它可以方便地用 Python 进行 Windows 编程(调用 COM 组件、编写 Windows 服务、等)。 +== 3.5 操作硬件 == + +

keyboard

+ +Home:[https://github.com/boppreh/keyboard] + +顾名思义,这个库让你可以进行各种键盘相关的操作,包括:模拟按键、键盘钩子(hook),按键记录及重放。 + +支持复杂的组合键。纯 python 代码代码,同时支持 Windows 和 Linux。 + +代码示例 + +import keyboard + +# 模拟按键。 +keyboard.press_and_release("shift+s, space") + +# 模拟按键,并执行相应代码。 +keyboard.add_hotkey("page up, page down", lambda: keyboard.write("xxxx")) + +# 等待特定按键,然后继续执行。 +keyboard.wait("esc") + +# 记录按键,直到用户按了 ESC;然后以3倍速重放刚才记录的按键。 +recorded = keyboard.record(until="esc") +keyboard.play(recorded, speed_factor=3) + + +== 3.6 获取系统信息 == + +

sys

+ +【标准库】 + +这个模块可供访问由解释器使用或维护的变量和与解释器进行交互的函数。 + +代码示例 + +sys.argv # 命令行参数 List,第一个元素是程序本身路径 +sys.exit(0) # 退出程序,正常退出时用 0 表示退出码 +sys.version # 获取 Python 解释程序的版本信息 + + +

platform

+ +【标准库】 + +这个模块提供了很多用于获取操作系统的信息的功能。 + +代码示例 + +import platform + +platform.platform() # 获取操作系统名称及版本号,例如:"Windows-7-6.1.7601-SP1" +platform.version() # 获取操作系统版本号,例如:"6.1.7601" +platform.architecture() # 获取操作系统的架构,例如:("32bit", "WindowsPE") + + +

psutil

+ +Home:[https://github.com/giampaolo/psutil] -== 3.4 Linux & Unix 系统相关 == +psutil(Python system and process utilities)是一个跨平台的进程管理和系统工具库,可以处理”CPU、内存、磁盘、网络、用户“等信息。 + +主要用于系统资源的监控,分析,以及对进程进行一定的管理。 + +代码示例 + +import psutil + +psutil.cpu_count() # 获取 CPU 数量 +psutil.cpu_freq() # 获取 CPU 频率 + +psutil.virtual_memory() # 获取内存信息 +psutil.swap_memory() # 获取交换分区(换页文件)信息 + +psutil.disk_partitions() # 获取分区信息 +psutil.disk_usage('/') # 获取某分区的使用情况 + +psutil.users() # 获取用户信息 + +p = psutil.Process(pid) # 根据给定的 pid 获得进程对象 +p.name() # 进程名 +p.exe() # 可执行程序的全路径 +p.cwd() # 进程的当前目录 +p.cmdline() # 启动进程的命令行参数 + + +== 3.7 Linux & Unix 系统相关 ==

syslog

-通过这个标准库,可以很方便地跟 POSIX 的 syslog 服务进行交互。 +【标准库】 + +通过它可以很方便地跟 POSIX 的 syslog 服务进行交互。 + +== 3.8 Windows 系统相关 == + +

PyWin32

+ +Home:[http://python.net/crew/mhammond/win32/] + +这个第三方库封装了 Windows API 及 COM API。通过它可以方便地用 Python 进行 Windows 编程(调用 COM 组件、编写 Windows 服务、等)。 -== 3.5 程序打包 == +== 3.9 程序打包 ==

PyInstaller

@@ -282,7 +525,7 @@ PyInstaller 可以把你的 Python 代码制作成独立运行的程序(不依 Home:[http://www.py2exe.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Py2exe 英文] +Links:[https://en.wikipedia.org/wiki/Py2exe Wikipedia] py2exe 的功能类似 PyInstaller,但只支持 Windows 平台。 @@ -298,18 +541,16 @@ Home:[https://pypi.python.org/pypi/setuptools] 这套工具可以帮助你进行第三方库的管理(下载、编译、安装、升级、卸载) - ---- += 4 Web = -= 4 Web 开发 = - -如今 Web 开发很火,俺把 Web 相关的单独分一类。 - -== 4.1 HTTP 协议 == +== 4.1 HTTP Client ==

httplib & httplib2 & http.request & urllib.parse

+【标准库】 + 这几个库可以进行各种 HTTP 客户端请求(GET、POST、等)。 Python2 的模块名是 httplib 和 httplib2;到 Python3,模块名改为 http.request 和 urllib.parse @@ -322,11 +563,33 @@ page = handle.read() handle.close() +

Requests

+ +Home:[http://www.python-requests.org/] + +这是一个用起来很优雅的库,如其名,封装了 HTTP 请求的功能。 + +代码示例 + +>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass')) +>>> r.status_code +200 +>>> r.headers['content-type'] +'application/json; charset=utf8' +>>> r.encoding +'utf-8' +>>> r.text +u'{"type":"User"...' +>>> r.json() +{u'private_gists': 419, u'total_private_repos': 77, ...} + -== 4.2 Web Server == +== 4.2 HTTP Server ==

SimpleHTTPServer & http.server

+【标准库】 + 提供轻量级 HTTP Server 的标准库。 Python2 的模块名叫 SimpleHTTPServer;到 Python3 模块名改为 http.server @@ -336,23 +599,21 @@ Python2 的模块名叫 SimpleHTTPServer;到 Python3 模块名改为 http.serv import SocketServer import SimpleHTTPServer -PORT = 8000 +PORT = 8080 Handler = SimpleHTTPServer.SimpleHTTPRequestHandler httpd = SocketServer.TCPServer(("", PORT), Handler) print("serving at port %d" % PORT) httpd.serve_forever() - == 4.3 Web 开发框架 == (Python 的 Web 框架数不胜数,俺只挑选几个代表性的) -

Django

Home:[https://www.djangoproject.com/] -Wikipedia:[https://en.wikipedia.org/wiki/Django_(web_framework) 英文]、[https://zh.wikipedia.org/wiki/Django 中文] +Links:[https://en.wikipedia.org/wiki/Django_(web_framework) Wikipedia] [https://zh.wikipedia.org/wiki/Django 维基百科] 在 Python 社区,Django 是目前最有影响力的 Web 开发框架。该框架很重型,内置了 Web 服务端开发常用的组件(比如:ORM、用户管理)。 @@ -364,10 +625,87 @@ Django 应用范围很广,比如 Google 的 Web 开发平台 GAE 就支持它 Home:[http://www.turbogears.org/] -Wikipedia:[https://en.wikipedia.org/wiki/TurboGears 英文]、[https://zh.wikipedia.org/wiki/TurboGears 中文] +Links:[https://en.wikipedia.org/wiki/TurboGears Wikipedia] [https://zh.wikipedia.org/wiki/TurboGears 维基百科] 又一个重型的 Web 开发框架,名气仅次于 Django。 +它跟 Django 一样,都是“Full-Stack Frameworks”。 + +

CherryPy

+ +Home:[http://www.cherrypy.org/] + +Links:[https://en.wikipedia.org/wiki/CherryPy Wikipedia] + +轻量级的 Web 框架。某些 Web 框架(比如前面提到的 TurboGears)使用它作为底层。 + +代码示例——Hello world + +import cherrypy + +class HelloWorld(object) : + def index(self) : + return "Hello World!" + index.exposed = True + +cherrypy.quickstart(HelloWorld()) + + +

web.py

+ +Home:[http://webpy.org/] + +与前两个(Django、TurboGears)不同,这是一个轻量级的框架。甚至被称为“It's the anti-framework framework.” + +其作者是大名鼎鼎的黑客 [https://en.wikipedia.org/wiki/Aaron_Swartz Aaron Swartz]。(俺在[http://program-think.blogspot.nl/2013/01/weekly-share-37.html 某篇博文]中悼念过他)。 + +当年 Aaron Swartz 用 web.py 来搭建同样大名鼎鼎的网站 [https://en.wikipedia.org/wiki/Reddit reddit](该网站是 Web 2.0 的标杆)。 + +代码示例——Hello world + +import web + +urls = ( + "/", "index" +) + +class index : + def GET(self) : + return "Hello, world!" + +if __name__ == "__main__" : + app = web.application(urls, globals()) + app.run() + + +

Flask

+ +Home:[http://flask.pocoo.org/] + +Links:[https://zh.wikipedia.org/wiki/Flask 维基百科] + +轻量级 Web 应用框架。基于 Werkzeug WSGI 工具箱和 Jinja2 模板引擎。 + +代码示例——Hello world + +from flask import Flask +app = Flask(__name__) + +app.route("/") +def hello_world() : + return “Hello World!" + +if __name__ == "__main__" : + app.run() + + +

Tornado

+ +Home:[http://www.tornadoweb.org/] + +Links:[https://zh.wikipedia.org/wiki/Tornado 维基百科] + +同样也是轻量级的 Web 框架,类似 Web.py。提供异步非阻塞 IO 的处理方式使其拥有较为出色的抗负载能力。 == 4.4 Web前端 & JS整合 == @@ -389,6 +727,8 @@ Home:[https://github.com/chrivers/pyjaco]

webbrowser

+【标准库】 + 操纵当前系统的默认浏览器,访问指定 URL 的页面。 代码示例——用默认浏览器打开 Google 主页 @@ -409,15 +749,15 @@ import PyV8 ctxt1 = PyV8.JSContext() ctxt1.enter() -ctxt1.eval("1+2") # 对 JS 表达式求值 +ctxt1.eval("1+2") # 对 JS 表达式求值 -class Global(PyV8.JSClass) : # 定义一个兼容 JS 的类 +class Global(PyV8.JSClass) : # 定义一个兼容 JS 的类 def hello(self) : print("Hello, world") -ctxt2 = PyV8.JSContext(Global()) # 创建一个 JS 上下文,传入 Global 类的对象 +ctxt2 = PyV8.JSContext(Global()) # 创建一个 JS 上下文,传入 Global 类的对象 ctxt2.enter() -ctxt2.eval("hello()") # 调用 hello() 函数 +ctxt2.eval("hello()") # 调用 hello() 函数

PyWebKitGtk

@@ -428,21 +768,99 @@ Home:[https://github.com/jmalonzo/pywebkitgtk] PyWebKitGtk 则提供了对 WebKitGtk 的 Python 封装。 +== 4.6 WebSocket == ----- +(关于 WebSocket 的介绍,可以参见维基百科的“[https://zh.wikipedia.org/wiki/WebSocket 这个链接]”) +

pywebsocket

+Home:[https://github.com/google/pywebsocket] -= 5 网络 = +这是 Google 提供的 WebSocket【服务端】。 + +该项目包含一个可独立运行的 server 以及一个 Apache 扩展模块(mod_pywebsocket)。 + +

AutobahnPython

+ +Home:[https://github.com/crossbario/autobahn-python] -== 5.1 标准协议 == +这是 [http://crossbar.io/autobahn Autobahn] 项目的子项目,同时提供了 WebSocket 的“服务端 & 客户端”。 -=== 5.1.1 链路层 & 网络层 === +它兼容 Python2 和 Python3,另外还兼容 PyPy 和 Jython。 + +网络方面,它可以跟“asyncio 标准库”以及“[https://en.wikipedia.org/wiki/Twisted_%28software%29 Twisted]”整合。 + +除了实现 WebSocket 协议,它还完整实现了 WAMP(Web Application Messaging Protocol)。 + +代码示例——Echo Server + +from autobahn.twisted.websocket import WebSocketServerProtocol + +class MyServerProtocol(WebSocketServerProtocol) : + def onConnect(self, request) : + print("Client connecting: {}".format(request.peer)) + + def onOpen(self) : + print("WebSocket connection open.") + + def onMessage(self, payload, isBinary) : + if isBinary : + print("Binary message received: {} bytes".format(len(payload))) + else: + print("Text message received: {}".format(payload.decode("utf8"))) + self.sendMessage(payload, isBinary) + + def onClose(self, wasClean, code, reason) : + print("WebSocket connection closed: {}".format(reason)) + + +

ws4py

+ +Home:[https://github.com/Lawouach/WebSocket-for-Python] + +此项目同时提供了 WebSocket 的“服务端 & 客户端”;并同时兼容 Python2 和 Python3。 + +其【服务端】可以跟“CherryPy、gevent、wsgiref、asyncio”整合;其【客户端】可以跟“Tornado、gevent”整合。 + +== 4.7 (其它) == + +

selenium

+ +Home:[http://www.seleniumhq.org/] + +selenium 是一个非常优秀的框架,用于爬虫和 Web 自动化测试。 + +代码示例——模拟登录 + +from selenium import webdriver + +driver = webdriver.Chrome() +driver.get("http://192.168.1.1") +driver.find_element_by_xpath('//*[@id="lgPwd"]').send_keys("123456") +driver.find_element_by_xpath('//*[@id="loginSub"]').click() +driver.quit() + + +

scrapy

+ +Home:[https://scrapy.org/] + +Links:[https://en.wikipedia.org/wiki/Scrapy Wikipedia] + +Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 + +可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 + +---- + += 5 网络 = + +== 5.1 链路层 & 网络层 ==

Scapy

Home:[http://www.secdev.org/projects/scapy/] -Wikipedia:[https://en.wikipedia.org/wiki/Scapy 英文] +Links:[https://en.wikipedia.org/wiki/Scapy Wikipedia] 这是一个底层的网络库,可以在不同协议层次构造网络数据包(包括链路层、网络层、传输层),还支持 Sniffer 抓包。 @@ -450,78 +868,233 @@ Wikipedia:[https://en.wikipedia.org/wiki/Scapy 英文] 代码示例 -# 传统的 ping 扫描(网络层) +# 传统的 ping 扫描(网络层) ans,unans = sr(IP(dst="192.168.1.1-254")/ICMP()) # 局域网内的 ARP 扫描(链路层) ans,unans = srp(Ether(dst="ff:ff:ff:ff:ff:ff")/ARP(pdst="192.168.1.0/24"), timeout=2) -=== 5.1.2 传输层 === +== 5.2 传输层 ==

socket

Python 标准库很早就提供了对 socket 编程的支持。 -这个标准库是对伯克利套接字进行简单的封装,其 API 基本上跟 BSD SOCKET 一一对应。 +这个标准库是对伯克利套接字进行简单的封装,其 API 基本上跟 BSD SOCKET 一一对应。 + +

asyncore

+ +这个标准库提供了异步 SOCKET 的支持。 + +

asynchat

+ +这个标准库基于上述的 asyncore,提供更高层的 API,简化异步通讯编程。 + +== 5.3 标准的应用层 == + +=== 5.3.1 综合性的库 === + +

PycURL

+ +Home:[http://pycurl.sourceforge.net/] + +[https://en.wikipedia.org/wiki/Curl cURL] 是一个功能很强的网络库/网络工具,支持 N 多应用层协议。俺在前几年写过一篇博文推荐它(在“[https://program-think.blogspot.com/2009/03/opensource-review-curl-library.html 这里]”)。 + +看名称就能猜到——PycURL 是 cURL 的 Python 封装。 + +代码示例——发起 HTTP GET 请求 + +import pycurl +try : + from io import BytesIO +except ImportError : + from StringIO import StringIO as BytesIO + +buffer = BytesIO() +curl = pycurl.Curl() +curl.setopt(curl.URL, "http://pycurl.sourceforge.net/") +curl.setopt(curl.WRITEDATA, buffer) +curl.perform() +curl.close() +body = buffer.getvalue() + + +=== 5.3.2 HTTP === + +(关于“HTTP 协议”,请参见另一个大类:“Web”) + +=== 5.3.3 文件传输 === + +

ftplib

+ +【标准库】 + +封装 FTP(File Transfer Protocol)协议 + +代码示例——列出 FTP 服务器上某目录的内容 + +from ftplib import FTP + +ftp = FTP("ftp.debian.org") # 连接服务器(如果不指定端口号,则用默认端口号 21) +ftp.login() # 登录(如果不指定用户名和密码,则用匿名登录) +ftp.cwd("debian") # 切换到 "debian" 目录 +ftp.retrlines("LIST") # 列出当前目录的内容 +ftp.quit() + + +

pysftp

+ +Home:[https://bitbucket.org/dundeemt/pysftp] + +封装 [https://en.wikipedia.org/wiki/SSH_File_Transfer_Protocol SFTP] 协议,依赖于 ssh.py + +代码示例——简单的上传/下载 + +import pysftp + +with pysftp.Connection("hostxxx", username="userxxx", password="xxxxxx") as sftp : + with sftp.cd("public") # 服务端当前目录切换到 public + sftp.put("/my/local/filename") # 上传某个本地文件到服务端的 public 目录 + sftp.get_r("myfiles", "/local") # 递归复制某个服务端的目录到本地 + + +=== 5.3.4 电子邮件 === + +

smtplib

+ +【标准库】 + +封装 SMTP(Simple Mail Transfer Protocol)协议 + +

imaplib

+ +【标准库】 + +封装 IMAP(Internet Message Access Protocol)协议 + +

poplib

+ +【标准库】 + +封装 POP3(Post Office Protocol v3)协议 + +

yagmail

+ +Home:[https://github.com/kootenpv/yagmail] + +一个非常简单易用的用来发送邮件的第三方库。 + +代码示例 + +import yagmail + +yag = yagmail.SMTP("my_gmail_username", "my_gmail_password") +contents = ["This is the body, and here is just text http://somedomain/image.png", + "You can find an audio file attached.', '/local/path/song.mp3"] +yag.send("to@someone.com", "subject", contents) + + +=== 5.3.5 即时通讯 === + +

jabber.py

+ +Home:[http://jabberpy.sourceforge.net/] + +Jabber(又称 XMPP)是IM(即时通信)协议的标准。这是用 Python 封装的第三方库。 + +

irclib

+ +Home:[https://bitbucket.org/jaraco/irc] + +IRC 是 Internet Relay Chat 的缩写。这是用 Python 封装的第三方库。 + +

pyTelegramBotAPI

+ +Home:[https://github.com/eternnoir/pyTelegramBotAPI] + +一个简单、易用的 [https://core.telegram.org/bots TelegramBot] 封装。 + +

Telethon

+ +Home:[https://github.com/LonamiWebs/Telethon] + +纯 Python3 的 [https://telegram.org/ Telegram] 客户端封装。 + +=== 5.3.6 远程控制 === -

asyncore

+

telnetlib

-这个标准库提供了异步 SOCKET 的支持。 +【标准库】 -

asynchat

+封装 telnet 协议 -这个标准库基于上述的 asyncore,提供更高层的 API,简化异步通讯编程。 +代码示例——使用 telnet 登录到某个主机并执行简单命令 + +import telnetlib +import getpass -=== 5.1.3 应用层 === +host = raw_input("Enter remote host: ") +user = raw_input("Enter your remote account: ") +password = getpass.getpass() -

ftplib

+tn = telnetlib.Telnet(host) -封装 FTP 协议(文件传输)的标准库 +tn.read_until("login: ") +tn.write(user + "\n") -

smtplib

+if password : + tn.read_until("Password: ") + tn.write(password + "\n") -封装 SMTP 协议(邮件发送)的标准库 +tn.write("ls\n") +tn.write("exit\n") -

imaplib

+print tn.read_all() + -封装 IMAP 协议(邮件接收)的标准库 +

rdpy

-

poplib

+Home:[https://github.com/citronneur/rdpy] -封装 POP3 协议(邮件接收)的标准库 +纯 Python 实现的 RDP([https://en.wikipedia.org/wiki/Remote_Desktop_Protocol 微软远程桌面协议])和 VNC([https://en.wikipedia.org/wiki/Virtual_Network_Computing Virtual Network Computing])客户端,依赖于 Twisted 库 -

PycURL

+

paramiko

-Home:[http://pycurl.sourceforge.net/] +Home:[http://www.paramiko.org/] -[https://en.wikipedia.org/wiki/Curl cURL] 是一个功能很强的网络库/网络工具,支持 N 多应用层协议。pycurl 提供了 Python 的封装。 +paramiko 是用 python 语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接。 -关于 cURL,俺前几年写过一篇博文推荐它(在“[http://program-think.blogspot.com/2009/03/opensource-review-curl-library.html 这里]”)。 +除了 SSH 协议之外,paramiko 还支持SFTP。 -

jabber.py

+代码示例 + +import paramiko -Home:[http://jabberpy.sourceforge.net/] +ssh = paramiko.SSHClient() +ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) +ssh.connect("IP", port, "username", "password") + -Jabber(又称 XMPP)是IM(即时通信)协议的标准。这是用 Python 封装的第三方库。 +=== 5.3.7 (其它) === -

irclib

+

urlparse

-Home:[https://bitbucket.org/jaraco/irc] +【标准库】 -IRC 是 Internet Relay Chat 的缩写。这是用 Python 封装的第三方库。 +用于解析 URL,提取各个部分的内容。从 Python 2.5 版本开始加入到标准库中,从 Python 2.7 开始支持包含 IPv6 的 URL -== 5.2 自定义协议 == +== 5.4 自定义的应用层 ==

Protocol Buffers

Home:[https://developers.google.com/protocol-buffers/] -Wikipedia:[https://en.wikipedia.org/wiki/Protocol_Buffers 英文] +Links:[https://en.wikipedia.org/wiki/Protocol_Buffers Wikipedia] 这是 Google 开发的一个跨语言的库,用于网络传输业务数据时的“编码/解码”。 -其优点是:跨多种语言、高性能、向前兼容、向后兼容。俺前几年写过一篇博文推荐 protobuf(在“[http://program-think.blogspot.com/2009/05/opensource-review-protocol-buffers.html 这里]”)。 +其优点是:跨多种语言、高性能、向前兼容、向后兼容。俺前几年写过一篇博文推荐 protobuf(在“[https://program-think.blogspot.com/2009/05/opensource-review-protocol-buffers.html 这里]”)。 作为 Protocol Buffers 的发明者,Google 默认实现了三种编程语言(C++、Java、Python)对它的支持。 @@ -529,7 +1102,7 @@ Wikipedia:[https://en.wikipedia.org/wiki/Protocol_Buffers 英文] Home:[https://thrift.apache.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Apache_Thrift 英文] +Links:[https://en.wikipedia.org/wiki/Apache_Thrift Wikipedia] 来自于 Apache 社区,提供了一种跨语言的通讯机制。 @@ -537,18 +1110,17 @@ Wikipedia:[https://en.wikipedia.org/wiki/Apache_Thrift 英文] (在这个方面,它有点类似于 Google 的 Protocol Buffers) - -== 5.3 网络开发框架 == +== 5.5 网络库、框架、中间件 ==

Twisted

Home:[http://twistedmatrix.com/] -Wikipedia:[https://en.wikipedia.org/wiki/Twisted_%28software%29 英文] +Links:[https://en.wikipedia.org/wiki/Twisted_%28software%29 Wikipedia] 这是一个基于 Python 网络通讯开发框架,诞生于2002年,名气很大。 -它的某些设计类似于 C++ 的 [https://en.wikipedia.org/wiki/Adaptive_Communication_Environment ACE] 框架。除了能用来进行传输层(TCP UDP)的开发,还提供了若干应用层协议(HTTP、XMPP、SSH、IRC、等)的支持。 +它的某些设计类似于 C++ 的 [https://en.wikipedia.org/wiki/Adaptive_Communication_Environment ACE] 框架。除了能用来进行传输层(TCP UDP)的开发,还提供了若干应用层协议(HTTP、XMPP、SSH、IRC ...)的支持。 代码示例——实现一个简单的 Echo 服务,监听在 12345 端口 @@ -566,9 +1138,78 @@ reactor.listenTCP(12345, EchoFactory()) reactor.run() +

gevent

----- +Home:[http://www.gevent.org/] + +这是一个基于[https://zh.wikipedia.org/wiki/%E5%8D%8F%E7%A8%8B 协程]的网络库,原先其底层依赖于 libevent,后来改为 libev。 + +很多开源项目用到了 gevent,具体参见 [https://github.com/gevent/gevent/wiki/Projects gevent 官方的 wiki]。 + +代码示例——并发执行网络请求 + +from gevent import socket +import gevent + +hosts = ["google.com", "github.com", "program-think.blogspot.com"] +jobs = [gevent.spawn(socket.gethostbyname, host) for host in hosts] +gevent.joinall(jobs, timeout=2) +print([job.value for job in jobs]) + + +

PyZMQ

+ +Home:[https://github.com/zeromq/pyzmq] +这是 ZMQ(ZeroMQ)的 Python 封装库。同时支持 Python2 和 Python3。 + +PyZMQ 2.2 之后的版本同时支持 ZMQ 的 3.x 和 4.x 版本。 + +

nanomsg-python

+ +Home:[https://github.com/tonysimpson/nanomsg-python] + +这是 nanomsg 的 Python 封装库。同时支持 Python2 和 Python3。 + +代码示例——Hello world + +from __future__ import print_function +from nanomsg import Socket, PAIR, PUB + +s1 = Socket(PAIR) +s2 = Socket(PAIR) +s1.bind("inproc://test") +s2.connect("inproc://test") +s1.send(b"hello world") +print(s2.recv()) +s1.close() +s2.close() + + +== 5.6 云计算 == + +

Apache Libcloud

+ +Home:[https://libcloud.apache.org/] + +如今云提供商越来越多。这个库提供了统一的 API 让你访问各大知名云提供商提供的各种服务。 + +代码示例——创建 DNS 记录 + +from libcloud.dns.types import Provider, RecordType +from libcloud.dns.providers import get_driver + +cls = get_driver(Provider.ZERIGO) +driver = cls("email", "api key") + +zones = driver.list_zones() +zone = [zone for zone in zones if zone.domain == "mydomain.com"][0] + +record = zone.create_record(name="www", type=RecordType.A, data="127.0.0.1") +print(record) + + +---- = 6 数据库 = @@ -589,6 +1230,7 @@ pyODBC 封装了 ODBC API,通过它可以访问各种数据库(只要有 ODB 代码示例——查询某个 ODBC 数据源的某个表 import pyodbc + conn = pyodbc.connect("DSN=xxx;PWD=password") cursor = conn.cursor() cursor.execute("SELECT field1 FROM table1") @@ -613,18 +1255,17 @@ Home:[http://ceodbc.sourceforge.net/]

Jython

-Jython 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Jdbc JDBC] 操作数据库。 +Jython 前面已经介绍过。有了它,你可以基于 [https://en.wikipedia.org/wiki/Jdbc JDBC] 操作数据库。 === 6.1.3 ADO & ADO.NET ===

PyWin32

-PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/ActiveX_Data_Objects ADO] 操作数据库。 +PyWin32 前面已经介绍过。有了它,你可以基于 [https://en.wikipedia.org/wiki/ActiveX_Data_Objects ADO] 操作数据库。

IronPython

-IronPython 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/ADO.NET ADO.NET] 操作数据库。 - +IronPython 前面已经介绍过。有了它,你可以基于 [https://en.wikipedia.org/wiki/ADO.NET ADO.NET] 操作数据库。 == 6.2 特定数据库 == @@ -639,6 +1280,7 @@ Home:[http://mysql-python.sourceforge.net/] 代码示例——查询某个 MySQL 数据库的某个表 import MySQLdb + conn = MySQLdb.connect(db="test", passwd="password") cursor = conn.cursor() cursor.execute("SELECT field1 FROM table1") @@ -661,7 +1303,7 @@ Home:[http://initd.org/psycopg/] 操作 PostgreSQL 的第三方库。 -

psycopg

+

PyGreSQL

Home:[http://www.pygresql.org/] @@ -691,19 +1333,20 @@ Home:[https://pypi.python.org/pypi/ibm_db] 操作 DB2 的第三方库。 - === 6.2.6 SQLite ===

sqlite3

+【标准库】 + sqlite3 从 Python 2.5 版本开始加入到标准库中。通过它,你可以很方便地操作 SQLite 数据库。 -[https://en.wikipedia.org/wiki/SQLite SQLite] 是一个很优秀的轻量级数据库,俺前几年写过一篇博文推荐它(在“[http://program-think.blogspot.com/2009/04/how-to-use-sqlite.html 这里]”)。 +[https://en.wikipedia.org/wiki/SQLite SQLite] 是一个很优秀的轻量级数据库,俺前几年写过一篇博文推荐它(在“[https://program-think.blogspot.com/2009/04/how-to-use-sqlite.html 这里]”)。 代码示例——创建一个内存数据库,建表并插入记录 import sqlite3 -conn = sqlite3.connect(":memory:") +conn = sqlite3.connect(":memory:") # ":memory:" 表示这是一个内存数据库 cursor = conn.cursor() cursor.execute("CREATE TABLE person (name text, age int)") cursor.execute("INSERT INTO stocks VALUES ('TOM',20)") @@ -711,7 +1354,66 @@ conn.commit() conn.close() -=== 6.2.7 Berkeley DB === +=== 6.2.7 MongoDB === + +

PyMongo

+ +Docs:[https://docs.mongodb.com/ecosystem/drivers/python/] + +这是 MongoDB 官方提供的 Python 驱动。 + +=== 6.2.8 Apache HBase === + +

HappyBase

+ +Home:[https://github.com/wbolster/happybase] + +操作 HBase 的 Python 库,基于 [https://en.wikipedia.org/wiki/Apache_Thrift Thrift] 连接到 HBase。 + +代码示例——简单的存取操作 + +import happybase +connection = happybase.Connection("hostname") +table = connection.table("table-name") +table.put(b"row-key", {b"test1": b"data1", b"test2": b"data2"}) +row = table.row(b"row-key") +print(row[b"test1"]) + + +=== 6.2.9 Redis === + +

redis-py

+ +Home:[https://github.com/andymccurdy/redis-py] + +操作 Redis 的第三方 Python 客户端。 + +代码示例——简单的存取操作 + +import redis +r = redis.StrictRedis(host="localhost", port=6379, db=0) +r.set("foo", "bar") +print(r.get("foo")) + + +=== 6.2.10 LevelDB === + +

Plyvel

+ +Home:[https://github.com/wbolster/plyvel] + +操作 LevelDB 的 Python 库,速度快,同时兼容 Python2 和 Python3。 + +代码示例——简单的存取操作 + +import plyvel +db = plyvel.DB("/tmp/testdb/", create_if_missing=True) +db.put(b"key", b"value") +print(db.get(b"key")) +db.close() + + +=== 6.2.11 Berkeley DB ===

PyBSDDB

@@ -725,7 +1427,7 @@ Home:[http://www.jcea.es/programacion/pybsddb.htm] Home:[http://www.sqlalchemy.org/] -Wikipedia:[https://en.wikipedia.org/wiki/SQLAlchemy 英文]、[https://zh.wikipedia.org/wiki/SQLAlchemy 中文] +Links:[https://en.wikipedia.org/wiki/SQLAlchemy Wikipedia] [https://zh.wikipedia.org/wiki/SQLAlchemy 维基百科] SQLAlchemy 支持的数据库有:MySQL、PostgreSQL、Sqlite、Oracle、MS SQL Server、Firebird、Sybase SQL Server、Informix、等。 @@ -752,19 +1454,19 @@ class Movie(Base) : def __repr__(self) : return "Movie(%r, %r, %r)" % (self.title, self.year, self.director) - + class Director(Base) : __tablename__ = "directors" - + id = Column(Integer, primary_key=True) name = Column(String(50), nullable=False, unique=True) - + def __init__(self, name=None) : self.name = name - + def __repr__(self) : return "Director(%r)" % (self.name) - + Base.metadata.create_all(create_engine("dbms://user:pwd@host/dbname")) @@ -772,7 +1474,7 @@ Base.metadata.create_all(create_engine("dbms://user:pwd@host/dbname")) Home:[http://sqlobject.org/] -Wikipedia:[https://en.wikipedia.org/wiki/SQLObject 英文] +Links:[https://en.wikipedia.org/wiki/SQLObject Wikipedia] SQLObject 支持的数据库有:MySQL、PostgreSQL、Sqlite、MS SQL Server、Firebird、Sybase SQL Server、SAP DB、等。 @@ -788,11 +1490,41 @@ class Person(SQLObject) : Person.createTable() +

Peewee

----- +Home:[http://www.peewee-orm.com/] +一个轻量级的 ORM,支持 SQLite、MySQL 和 PostgreSQL,通过插件机制支持更多数据库。 -= 7 桌面 GUI 开发 = +同时支持 Python2 和 Python3。 + +代码示例——通过对象的方式创建表 + +from peewee import * + +db = SqliteDatabase("test.db") + +class Person(Model) : + name = CharField() + birthday = DateField() + is_relative = BooleanField() + class Meta : + database = db # This model uses the "test.db". + +class Pet(Model) : + owner = ForeignKeyField(Person, related_name="pets") + name = CharField() + animal_type = CharField() + class Meta : + database = db # This model uses the "test.db". + +db.connect() +db.create_tables([Person, Pet]) + + +---- + += 7 GUI = == 7.1 GUI 框架 == @@ -800,7 +1532,9 @@ Person.createTable() [https://en.wikipedia.org/wiki/Tk_(framework) Tk] 是一个跨平台的界面组件库。 -

Tkinter / tkinter

+

Tkinter & tkinter

+ +【标准库】 这是 Python 内置的标准库,封装了 Tcl/Tk 界面库。 @@ -820,12 +1554,11 @@ if __name__ == "__main__" : === 7.1.2 基于 wxWidgets === [https://en.wikipedia.org/wiki/WxWidgets wxWidgets] 是 C++ 开发的跨平台框架(不仅包括 GUI,还有其它功能)。 -

wxPython

Home:[http://www.wxpython.org/] -Wikipedia:[https://en.wikipedia.org/wiki/WxPython 英文]、[https://zh.wikipedia.org/wiki/WxPython 中文] +Links:[https://en.wikipedia.org/wiki/WxPython Wikipedia] [https://zh.wikipedia.org/wiki/WxPython 维基百科] 在所有的 wxWidgets 的 Python 封装库中,这个是名气最大的。 @@ -859,14 +1592,13 @@ Home:[http://pythoncard.sourceforge.net/] === 7.1.3 基于 GTK+ === [https://en.wikipedia.org/wiki/GTK%2B GTK+] 全称是(GIMP Toolkit),由 C 开发的跨平台界面组件库。 -

PyGTK

Home:[http://www.pygtk.org/] -Wikipedia:[https://en.wikipedia.org/wiki/PyGTK 英文] +Links:[https://en.wikipedia.org/wiki/PyGTK Wikipedia] -这是 Python 对 GTK 的封装。 +它是 Python 对 GTK+2 的封装。 代码示例——用 PyGTK 写 Hello world @@ -907,6 +1639,33 @@ if __name__ == "__main__" : hello.main() +

PyGObject(PyGI)

+ +Home:[https://live.gnome.org/PyGObject] + +它是 Python 对 GTK+3 的封装。PyGTK 的官网也推荐它。 + +代码示例——用 PyGObject 写 Hello world + +from gi.repository import Gtk + +class MyWindow(Gtk.Window): + def __init__(self): + Gtk.Window.__init__(self, title="Hello World") + + self.button = Gtk.Button(label="Click Here") + self.button.connect("clicked", self.on_button_clicked) + self.add(self.button) + + def on_button_clicked(self, widget): + print("Hello, world!") + +win = MyWindow() +win.connect("delete-event", Gtk.main_quit) +win.show_all() +Gtk.main() + + === 7.1.4 基于 Qt === [https://en.wikipedia.org/wiki/Qt_(toolkit) Qt] 是 C++ 开发的跨平台框架(不仅包括 GUI,还有其它功能)。 @@ -915,7 +1674,7 @@ if __name__ == "__main__" : Home:[http://www.riverbankcomputing.com/software/pyqt/] -Wikipedia:[https://en.wikipedia.org/wiki/PyQt]、[https://zh.wikipedia.org/wiki/PyQt 中文] +Links:[https://en.wikipedia.org/wiki/PyQt Wikipedia] [https://zh.wikipedia.org/wiki/PyQt 维基百科] 这是 Python 对 Qt 的封装。 @@ -943,7 +1702,6 @@ Home:[http://www.pyside.org/] === 7.1.5 基于 FLTK === [https://en.wikipedia.org/wiki/FLTK FLTK] 全称是(Fast Light Tool Kit),由 C++ 开发的跨平台、轻量级界面组件库。 -

PyFLTK

Home:[http://pyfltk.sourceforge.net/] @@ -994,13 +1752,13 @@ Home:[http://ocemp.sourceforge.net/gui.html] 基于 PyGame 的一个跨平台 GUI 库(PyGame 下面会提到)。 -== 7.2 图表/报表 == +== 7.2 图表 & 报表 ==

matplotlib

Home:[http://matplotlib.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Matplotlib 英文] +Links:[https://en.wikipedia.org/wiki/Matplotlib Wikipedia] 这是一个有名的图形库,主要用来绘制数学相关的图形。 @@ -1030,21 +1788,29 @@ Home:[http://code.enthought.com/chaco/] 这是一个商业公司维护的库,主要提供2维图表。效果图在“[http://docs.enthought.com/chaco/user_manual/annotated_examples.html 这里]”。 +

Plotly

----- +Home:[https://plot.ly/] + +plotly 是现代平台的敏捷商业智能和数据科学库。 + +它作为一款开源的绘图库,可以应用于 Python、R、MATLAB、Excel、JavaScript、jupyter 等多种语言。 +---- = 8 信息安全 = -== 8.1 密码学 == +== 8.1 密码学 ==

hashlib

+【标准库】 + 在 Python 2.5 版本加入到标准库中。通过它,你可以很方便地计算各种散列值。 它支持的哈希算法有:MD5 SHA1 SHA224 SHA256 SHA384 SHA512 -关于散列算法,俺写过一篇扫盲(在“[http://program-think.blogspot.com/2013/02/file-integrity-check.html 这里]”)。 +关于散列算法,俺写过一篇扫盲(在“[https://program-think.blogspot.com/2013/02/file-integrity-check.html 这里]”)。 代码示例——计算字符串的 SHA1 散列值 @@ -1064,9 +1830,46 @@ Home:[http://pyopenssl.sourceforge.net/] [https://en.wikipedia.org/wiki/OpenSSL OpenSSL] 在加密领域可是大名鼎鼎。这个库使用 Python 对 OpenSSL 进行很薄的封装。 +

Keyczar

----- +Home:[https://github.com/google/keyczar] + +这是 Google 提供的加密库,同时提供 C++、Java、Python 三种语言的实现。 + +它提供了比较高层的 API, 使用者无需关心太多的细节。 + +

passlib

+ +Home:[https://bitbucket.org/ecollins/passlib/] + +passlib 是一个久经考验的非常成熟的跨平台的散列函数库,它所提供的功能包括随机盐密码的生成与验证,两步验证等。 +代码示例——验证随机盐密码 + +>>> # import the hash algorithm +>>> from passlib.hash import pbkdf2_sha256 + +>>> # generate new salt, and hash a password +>>> hash = pbkdf2_sha256.hash("toomanysecrets") +>>> hash +'$pbkdf2-sha256$29000$N2YMIWQsBWBMae09x1jrPQ$1t8iyB2A.WF/Z5JZv.lfCIhXXN33N23OSgQYThBYRfk' + +>>> # verifying the password +>>> pbkdf2_sha256.verify("toomanysecrets", hash) +True +>>> pbkdf2_sha256.verify("joshua", hash) +False + + +== 8.2 访问控制 == + +

oauth2client

+ +Home:[https://github.com/google/oauth2client] + +这是 Google 提供的 OAuth 客户端,支持 OAuth 2.0 规范。 + +---- = 9 处理文件格式 = @@ -1075,18 +1878,20 @@ Home:[http://pyopenssl.sourceforge.net/] === 9.1.1 CSV === [https://en.wikipedia.org/wiki/Comma-separated_values CSV] 是一种历史悠久的结构化数据存储格式。其效果类似于一张数据库二维表。 -

csv

-标准库,提供 CSV 格式文件的读写。 +【标准库】 + +提供 CSV 格式文件的读写,可以手动指定行列分隔符。 === 9.1.2 JSON === JSON 格式源自 JavaScript,如今在 Web 开发中广为应用。 -

json

-标准库,提供 JSON 格式的编码和解码。 +【标准库】 + +提供 JSON 格式的编码和解码。 代码示例——编码/解码 JSON 字符串 @@ -1094,55 +1899,63 @@ import json json.dumps(["foo", {"bar": ("baz", None, 1.0, 2)}]) # JSON 编码 -# 得到如下字符串 +# 得到如下【字符串】 # """["foo", {"bar": ["baz", null, 1.0, 2]}]""" json.loads("""["foo", {"bar":["baz", null, 1.0, 2]}]""") # JSON 解码 -# 得到如下对象 +# 得到如下【对象】 # [u"foo", {u"bar": [u"baz", None, 1.0, 2]}] === 9.1.3 YAML === [https://en.wikipedia.org/wiki/YAML YAML] 是一种类似于 json 的结构化数据格式。它在确保可读性的基础上,提供了超越 json 的灵活性和扩展性。 -

PyYAML

Home:[http://pyyaml.org/] pyyaml 提供了 Python 对 YAML 的封装。 - -== 9.2 压缩文件 / 打包文件 == +== 9.2 压缩文件 & 打包文件 == === 9.2.1 zip ===

zipfile

-处理 zip 格式的标准库。 +【标准库】 + +提供对 zip 格式的读写。 === 9.2.2 bzip2(bz2) ===

bz2

-处理 bzip2 格式的标准库。 +【标准库】 + +提供对 bzip2 格式的读写。 === 9.2.3 gzip(gz) ===

gzip

-处理 gzip 格式的标准库。 +【标准库】 + +提供对 gzip 格式的读写。

zlib

-处理 gzip 格式的标准库。 +【标准库】 + +提供对 zlib 格式的读写。 === 9.2.4 tar ===

tarfile

-处理 tar 格式的标准库。 +【标准库】 + +提供对 tar 格式的读写。 === 9.2.5 7zip(7z) === @@ -1164,8 +1977,9 @@ Home:[http://rarfile.berlios.de/]

msilib

-处理 msi 格式的标准库,从 Python 2.5 版本开始提供。 +【标准库】 +提供对 msi 格式的读写,从 Python 2.5 版本开始加入标准库。 == 9.3 标记语言 == @@ -1173,11 +1987,15 @@ Home:[http://rarfile.berlios.de/]

xml.dom & xml.miniDom & xml.etree.ElementTree

-用 DOM(Document Object Model)方式处理 XML 文件的标准库。 +【标准库】 + +用 DOM(Document Object Model)方式处理 XML 文件。

xml.sax & xml.parsers.expat

-用 SAX(Simple API for XML)方式处理 XML 文件的标准库。 +【标准库】 + +用 SAX(Simple API for XML)方式处理 XML 文件。

lxml

@@ -1191,52 +2009,21 @@ Home:[http://lxml.de/]

HTMLParser

-以回调方式解析 HTML/XHTML 文件内容的标准库。 - - -== 9.4 图片 == - -

Python Imaging Library(PIL)

- -Home:[http://www.pythonware.com/products/pil/] - -Wikipedia:[https://en.wikipedia.org/wiki/Python_Imaging_Library 英文] - -这是一个很有名气的 Python 图像处理库,支持常见图像文件格式(BMP、JPG、GIF、PNG、等)。 - -它可以对图像进行各种常见的处理(格式转换、旋转、缩放、剪切、等)。 - -代码示例——旋转某图片并显示 - -from PIL import Image -im = Image.open("xxx.jpg") -im = im.rotate(90) -im.show() - +【标准库】 -

Wand

+以回调方式解析 HTML/XHTML 文件内容。 -Home:[http://docs.wand-py.org/] +

beautifulsoup

-它通过前面提到 ctypes 实现了对 [https://en.wikipedia.org/wiki/ImageMagick ImageMagick] 的封装(ImageMagick 是最强大的开源图片处理工具集)。 +Home:[https://www.crummy.com/software/BeautifulSoup/] -代码示例 - -from wand.image import Image -from wand.display import display +Links:[https://zh.wikipedia.org/zh-cn/Beautiful_Soup 维基百科] -with Image(filename="mona-lisa.png") as img : - print(img.size) - for r in 1, 2, 3 : - with img.clone() as i : - i.resize(int(i.width * r * 0.25), int(i.height * r * 0.25)) - i.rotate(90 * r) - i.save(filename="mona-lisa-{0}.png".format(r)) - display(i) - +Beautiful Soup 可以从 HTML 或 XML 文件中提取数据。 +它是写”爬虫“的利器,通常与 requests 或 selenium 配合。 -== 9.5 PDF == +== 9.4 PDF ==

pyfpdf

@@ -1257,13 +2044,13 @@ pdf.cell(40, 10, "Hello, World") pdf.output("test.pdf", "F") +代码示例——支持写入 HTML 语法(目前支持几种常见的 HTML tag) -# 支持写入 HTML 语法。目前支持几种常见的 HTML tag from pyfpdf import FPDF, HTMLMixin class MyFPDF(FPDF, HTMLMixin) : pass - + pdf = MyFPDF() pdf.add_page() pdf.write_html(html) @@ -1272,11 +2059,11 @@ pdf.output("test.pdf", "F")

pyPdf & PyPDF2

-Home:[http://pybrary.net/pyPdf/] & [http://knowah.github.com/PyPDF2/] +Home:[http://knowah.github.com/PyPDF2/] -pyPdf 目前已经不继续升级维护了。PyPDF2 是 pyPdf 的 fork 并继续增加新功能。 +pyPdf 目前已经不继续升级维护了。PyPDF2 是从 pyPdf 派生出来的,并继续增加新功能。 -除了可以提取文件属性,还可以切分/合并文档,加密/解密文档。 +它除了可以提取文件属性,还可以切分/合并文档,加密/解密文档。

PDFMiner

@@ -1284,16 +2071,25 @@ Home:[http://www.unixuser.org/~euske/python/pdfminer/] 它可以提取 PDF 文件属性以及每页的文本,支持把内容输出为 HTML 格式。 +== 9.5 MS Office 文档 == + +=== 9.5.1 Word(doc、docx) === + +

python-docx

-== 9.6 MS Office 文档 == +Home:[https://github.com/python-openxml/python-docx] -=== 9.6.1 Word(doc、docx) === +纯 python 实现的 docx 操作库,能够处理 docx 中的“文本、图片、样式”。 + +同时支持 Python2 和 Python3。

PyWin32

-PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Component_Object_Model COM] 操作 Office 文档,包括 Word(本地需要安装 Office)。 +PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Component_Object_Model COM] 操作 Office 文档,包括 Word。 + +(本地需要安装 Office) -=== 9.6.2 Excel(xls、xlsx) === +=== 9.5.2 Excel(xls、xlsx) ===

pyExcelerator

@@ -1303,9 +2099,11 @@ Home:[http://sourceforge.net/projects/pyexcelerator/]

PyWin32

-PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Component_Object_Model COM] 操作 Office 文档,包括 Excel(本地需要安装 Office)。 +PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Component_Object_Model COM] 操作 Office 文档,包括 Excel。 -=== 9.6.3 Power Point(ppt、pptx) === +(本地需要安装 Office) + +=== 9.5.3 Power Point(ppt、pptx) ===

python-pptx

@@ -1315,10 +2113,11 @@ Home:[https://github.com/scanny/python-pptx]

PyWin32

-PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Component_Object_Model COM] 操作 Office 文档,包括 Excel(本地需要安装 Office)。 +PyWin32 前面已经介绍过。它可以基于 [https://en.wikipedia.org/wiki/Component_Object_Model COM] 操作 Office 文档,包括 Power Point。 +(本地需要安装 Office) -== 9.7 RTF == +== 9.6 RTF ==

PyRTF

@@ -1326,8 +2125,7 @@ Home:[http://pyrtf.sourceforge.net/] 它可以用来处理 RTF(富文本格式)文档。 - -== 9.8 CHM == +== 9.7 CHM ==

PyCHM

@@ -1335,49 +2133,186 @@ Home:[http://gnochm.sourceforge.net/pychm.html] 这是基于 [http://www.jedrea.com/chmlib/ chmlib] 的 Python 封装库。可以提取 CHM 文件的属性以及每个页面的内容。 - ---- += 10 图像 = + +== 10.1 图像处理 == + +

Python Imaging Library(PIL)

+ +Home:[http://www.pythonware.com/products/pil/] + +Links:[https://en.wikipedia.org/wiki/Python_Imaging_Library Wikipedia] + +这是一个很有名气的 Python 图像处理库,支持常见图像文件格式(BMP、JPG、GIF、PNG ...)。 + +它可以对图像进行各种常见的处理(旋转、缩放、剪切 ...)。 + +代码示例——为某个目录下所有 JPEG 创建缩略图 + +import os, glob +from PIL import Image + +size = 128, 128 +for file in glob.glob("*.jpg"): + name, ext = os.path.splitext(file) + img = Image.open(file) + img.thumbnail(size) + img.save(name+".thumbnail", "JPEG") + + +代码示例——旋转某图片并显示 + +from PIL import Image + +img = Image.open("xxx.jpg") +img = img.rotate(90) +img.show() + + +

Wand

+ +Home:[http://docs.wand-py.org/] + +它通过前面提到 ctypes 实现了对 [https://en.wikipedia.org/wiki/ImageMagick ImageMagick] 的封装(ImageMagick 是最强大的开源图片处理工具集)。 + +代码示例——旋转并缩放某图片 + +from wand.image import Image +from wand.display import display + +with Image(filename="mona-lisa.png") as img : + print(img.size) + for r in 1, 2, 3 : + with img.clone() as new_img : + new_img.resize(int(new_img.width/2), int(new_img.height/2)) + new_img.rotate(90 * r) + new_img.save(filename="mona-lisa-{0}.png".format(r)) + display(new_img) + + +

Pillow

+ +Home:[http://python-pillow.org/] + +你可以把它视作“轻量级的 PIL”。 + +它的目标是比 PIL 更容易使用,并尽可能与 PIL 的 API 兼容。 + +

PyGraphviz

+ +Home:[https://github.com/pygraphviz/pygraphviz] + +[https://en.wikipedia.org/wiki/Graphviz Graphviz] 是一个功能很强大的关系图【自动】生成工具,具体介绍可以参见俺的博文(在“[https://program-think.blogspot.com/2016/02/opensource-review-graphviz.html 这里]”) + +这个库如其名所示,提供了 Python 对 Graphviz 的封装(基于 SWIG)。 + +

Graphviz

+ +Home:[https://github.com/xflr6/graphviz] + +这个库与上一个类似,也提供了 Graphviz 的 Python 的封装。 + +这两个库都在 GitHub 上。(可能是因为出现较晚)这个库的 Star 和 Fork 数都不如上一个,不过俺感觉文档比较全。 + +代码示例——创建一个 DOT 图并加入若干节点和连线 + +from graphviz import Digraph + +dot = Digraph(comment='The Round Table') +# 添加节点 +dot.node('A', 'King Arthur') +dot.node('B', 'Sir Bedevere the Wise') +dot.node('L', 'Sir Lancelot the Brave') +# 添加连线 +dot.edges(['AB', 'AL']) +dot.edge('B', 'L', constraint='false') + + +== 10.2 图像格式转换 == + +

Python Imaging Library(PIL)

+ +PIL 前面已经介绍过。它支持常见图像文件格式(BMP、JPG、GIF、PNG ...)之间的相互转换。 + +

Wand

+ +Wand 前面已经介绍过。由于它是针对 [https://en.wikipedia.org/wiki/ImageMagick ImageMagick] 的封装。只要 ImageMagick 能转换的格式,它也可以转换。 + +== 10.3 图像渲染 == + +

Pycairo

+ +Home:[http://cairographics.org/pycairo/] -= 10 游戏开发 = +[https://en.wikipedia.org/wiki/Cairo_%28graphics%29 Cairo] 是一个图像渲染引擎,提供了矢量图像的渲染功能。支持多种后端输出(包括:Win32 GDI、OpenGL、Xlib、XCB、PDF、PNG、SVG......)。 + +Pycairo 是 Cairo 官方提供 Python 封装。 + += 11 游戏 = + +== 11.1 综合性的游戏引擎 ==

PyGame

Home:[http://www.pygame.org/] -Wikipedia:[https://en.wikipedia.org/wiki/Pygame 英文]、[https://zh.wikipedia.org/wiki/Pygame 中文] +Links:[https://en.wikipedia.org/wiki/Pygame Wikipedia] [https://zh.wikipedia.org/wiki/Pygame 维基百科] + +这是名气很大的跨平台游戏引擎,构建于 [https://zh.wikipedia.org/wiki/SDL SDL](Simple DirectMedia Layer)之上。 + +它起先是用来替代终止开发的 pySDL,包含了图像和音频的库。 + +

Cocos2d

+ +Home:[http://cocos2d.org/] + +它是一个开源的 2D 游戏框架,最初使用 Python 编写的。后来该框架已经被移植到了多种语言和平台上。 -跨平台的 Python 第三方库,用来辅助游戏开发的,名气非常大。 +其功能包括了:GUI 组件、音效、物理引擎、脚本语言绑定、场景编辑器 ... + +很多手机游戏是基于 Cocos2d 的衍生框架开发的。 + +

Blender Game Engine

+ +Home:[http://www.blender.org/] + +Links:[https://en.wikipedia.org/wiki/Game_Blender Wikipedia] [https://zh.wikipedia.org/wiki/Game_Blender 维基百科] + +它是 [https://en.wikipedia.org/wiki/Blender_%28software%29 Blender] 的组成部分,虽然是以 C++ 编写,但内置了 Python 脚本的扩展。 + +其功能包括:3D 渲染、碰撞检测、角色编辑器、音效、网络通讯、AI ... + +== 11.2 3D 渲染引擎 ==

PyOpenGL

Home:[http://pyopengl.sourceforge.net/] -封装 [https://en.wikipedia.org/wiki/OpenGL OpenGL] 的 Python 第三方库。 +封装 [https://en.wikipedia.org/wiki/OpenGL OpenGL] 的 Python 库。

Python-Ogre

Home:[http://www.python-ogre.org/] -封装 [https://en.wikipedia.org/wiki/OGRE OGRE](3D 渲染引擎)的 Python 第三方库。 - +封装 [https://en.wikipedia.org/wiki/OGRE OGRE] 的 Python 库。 ---- - -= 11 数值计算 / 科学计算 = += 12 数值计算 & 科学计算 =

NumPy

Home:[http://www.numpy.org/] -Wikipedia:[https://en.wikipedia.org/wiki/NumPy 英文]、[https://zh.wikipedia.org/wiki/NumPy 中文] +Links:[https://en.wikipedia.org/wiki/NumPy Wikipedia] [https://zh.wikipedia.org/wiki/NumPy 维基百科] 它提供了功能强大、性能很高的数值数组,可以用来进行各种数值计算(包括矩阵运算)。 代码示例 -# 以下是传统 Python 写法,冗长且速度较慢 +# 以下是传统 Python 写法,冗长且速度较慢 a = range(10000000) b = range(10000000) c = [] @@ -1395,15 +2330,25 @@ c = a + b Home:[http://www.scipy.org/] -Wikipedia:[https://en.wikipedia.org/wiki/SciPy 英文]、[https://zh.wikipedia.org/wiki/SciPy 中文] +Links:[https://en.wikipedia.org/wiki/SciPy Wikipedia] [https://zh.wikipedia.org/wiki/SciPy 维基百科] -SciPy 依赖 NumPy 提供的多维数组。相比 NumPy,SciPy 提供了更高层的数学运算模块(统计、线性代数、积分、常微分方程求解、傅立叶变换、信号处理、等),被广泛用于科研和工程领域。 +它依赖 NumPy 提供的多维数组。相比 NumPy,它提供了更高层的数学运算模块(统计、线性代数、积分、常微分方程求解、傅立叶变换、信号处理 ...)。 +它被广泛用于科研和工程领域。 ----- +

SymPy

+ +Home:[http://sympy.org/] + +Links:[https://en.wikipedia.org/wiki/SymPy Wikipedia] [https://zh.wikipedia.org/wiki/SymPy 维基百科] +它是用来做符号计算的,其目标是成为一个全功能的“计算机代数系统”。 -= 12 其它 = +它支持的功能包括:符号计算、高精度计算、模式匹配、绘图、解方程、微积分、组合数学、离散数学、几何学、概率与统计 ...... + +---- + += 13 (其它) = 一些不方便归类的,暂时放到这里。 @@ -1411,8 +2356,9 @@ SciPy 依赖 NumPy 提供的多维数组。相比 NumPy,SciPy 提供了更高 Home:[http://www.pypy.org/] -Wikipedia:[https://en.wikipedia.org/wiki/PyPy 英文]、[https://zh.wikipedia.org/wiki/PyPy 中文] +Links:[https://en.wikipedia.org/wiki/PyPy Wikipedia] [https://zh.wikipedia.org/wiki/PyPy 维基百科] 它是一个用 Python 写的 Python 解释器(有点绕口令)。 PyPy 支持 JIT(Just-in-time compilation)和沙箱技术,可做到【比 CPython 更快的运行速度】。 +