极性
Polars

原始链接: https://pola.rs/

Polars 简介:数据整理的革命性工具 在当今快速发展的商业环境中,公司需要快速、准确地访问数据。 这就是 Polars 的用武之地——一种可以轻松执行复杂数据操作的工具。 Polars 建立在三个关键原则之上:速度、简单性和完全开源。 借助 Polars,由于其多线程查询引擎,用户可以获得闪电般的速度。 该引擎完全采用 Rust 构建,专为性能而设计,具有令人难以置信的并行处理能力,与 Pandas 等流行替代品相比,性能提高了 50 倍。 Polars 还支持多种输入和输出文件格式,简化了与数据环境中其他工具的集成。 但真正让 Polars 脱颖而出的不仅仅是其原始速度和效率。 相反,这就是 Polars 为数据整理而设计的简单性。 事实上,Polars 使用与 Python 或 Rust 等传统编程语言完全相同的语法,这意味着您不需要任何额外的培训或专业知识即可上手。 只需选择最适合您的编程语言——Python、Rust 或 JavaScript——然后立即开始处理数据。 Polars 的真正与众不同之处在于,它强调让任何有需要的人都能使用这项技术。 作为蓬勃发展的开源社区的一部分,欢迎任何人加入,甚至贡献自己的想法和建议。 无需支付任何费用,每一次贡献都有助于推动该项目进一步发展。 看看最近的一些基准测试,Polars 打破了标准行业范围 TPC-H 测试套件的先前记录,就可以清楚为什么如此多的企业已经转向 Polars。 If you want to get your hands on this revolutionary new tool that promises improved data processing speeds along with greatly reduced costs, head over to the website today. 对于那些对推动 Polars 卓越性能的具体技术细节感到好奇的人,让我们更详细地探讨它们。 其核心在于一个独特的查询优化系统,该系统在设计执行计划以实现最佳资源使用时会仔细考虑每个任务。 与传统方法不同,Polars 让每个单独的查询通过完全并行处理复杂的任务,几乎不会增加延迟。 结合每次操作的低开销

我们主要使用直接的 pandas API,偶尔使用 SQL 函数(主要是 DataFrame 形状的关系表之间的 JOIN)。 然而,整个过程中也大量使用了“其他”包,例如“datetime”、“matplotlib”、“scipy”等。
相关文章

原文

01

Easy
to use

Write your queries the way they were intended. Polars, internally, will determine the most efficient way to execute using its query optimiser.

02

Embarrassingly
Parallel

Complete your queries faster! Polars fully utilises the power of your machine by dividing the workload among the available CPU cores without any additional configuration, nor serialization overhead.

03

Apache
Arrow

Polars utilises the Apache Arrow memory model allowing you to easily integrate with existing tools in the data landscape. It supports zero-copy data sharing for efficient collaboration.

04

Close to
the metal

Polars is written from the ground up, designed close to the machine and without external dependencies. This allows for full control of the ecosystem (API, memory & execution).

05

Written
in Rust

The core of Polars is written in Rust, one of the fastest growing programming languages in the world. Rust allows for high performance with fine grained control over memory.

06

Out
of core

Want to process large data sets that are bigger than your memory? Our streaming API allows you to process your results efficiently skipping the need to keep all the data in memory.

联系我们 contact @ memedata.com