Awkward与RDataFrame互转

Ianna Osborne; Jim Pivarski

Awkward与RDataFrame互转

高能物理 - 实验 2023-02-21 v1 天体物理仪器与方法计算与语言数据分析、统计与概率

作者: Ianna Osborne , Jim Pivarski

摘要

Awkward Arrays与RDataFrame提供了两种截然不同的大规模计算方式。通过增加两者间零拷贝转换的能力，用户可兼得二者之长。它使用户在分析中混合不同包与语言时获得更好灵活性。在Awkward Array第2版中，ak.to_rdataframe函数将Awkward Array呈现为RDataFrame源的一种视图。该视图按需生成且数据不被拷贝。列读取器基于视图的运行时类型生成。这些读取器被传入一个由ROOT::RDF::RDataSource派生的生成源。ak.from_rdataframe函数将所选列转换为原生Awkward Array。本文讨论了利用JIT技术的实现细节。给出了通过RDataFrame高层接口分析存于Awkward Array中数据的示例，展示了若干列定义、应用C++编写的用户自定义过滤器、以及将列式数据绘图或提取为Awkward Array的示例。文中亦讨论了当前局限与未来计划。

关键词

Awkward Array RDataFrame 零拷贝转换 JIT 列式数据 ROOT

引用

@article{arxiv.2302.09860,
  title  = {Awkward to RDataFrame and back},
  author = {Ianna Osborne and Jim Pivarski},
  journal= {arXiv preprint arXiv:2302.09860},
  year   = {2023}
}

备注

5 pages, 3 figures

Awkward与RDataFrame互转

摘要

关键词

引用

备注

相关论文