ICIJ 利用 Neo4j 图技术赋能调查记者

国际调查记者联盟 (ICIJ) 旨在揭露不法行为并促成积极变革，汇集了全球数百名调查记者和媒体组织，以解开复杂的腐败网络。

ICIJ 的调查工具和专业记者跨境协作，使新闻机构能够对抗海量虚假信息，并揭露一些世界上最大的新闻事件。无论是合作揭露服务于富人的影子金融体系的隐匿信息，还是揭露通过破坏生态系统获利的公司，亦或是曝光其他滥用职权的行为，ICIJ 始终忠于其使命，即通过确保人们了解正在发生的事情来促进积极变革。

在近300名经验丰富的记者团队与媒体机构合作时，技术在支持该组织方面发挥着关键作用。“任何记者面临的主要挑战之一是筛选海量信息以发现真相并揭露谎言，”ICIJ 首席技术官 Pierre Romera Zhang 说。“即使一个故事最初看起来是地方性的，也可能跨越国界并涉及数千个复杂的互动。这就是 Neo4j 至关重要的地方。”

ICIJ 因帮助揭露真相而闻名。该组织获得了新闻界多项最负盛名的奖项，其中包括凭借《巴拿马文件》获得的普利策解释性报道奖，《巴拿马文件》揭露了离岸公司背后巨大的金融腐败，并利用 Neo4j 图数据库识别隐藏模式并在数据中取得突破。

Romera Zhang 说：“大多数记者没有接受过数据科学家培训，新闻机构也没有建立管理大量不连贯信息的体系——然而，这正是当今发现和讲述原创、重要故事所需要的。”

用技术变革新闻业

建立在包括 Neo4j 在内的开源工具基础上的安全文档分析平台 Datashare 是 ICIJ 主要全球调查的核心。现在，Datashare 依赖 Neo4j 图数据库技术，经过优化后可以横向扩展并快速访问来自多个系统的数据，以揭示使用关系数据库等常见技术以前难以甚至不可能发现的关系。

该解决方案汇集了 ICIJ 十年来的调查专业知识，使记者能够从海量数据集中提取洞察。Romera Zhang 解释说：“该平台为记者创造了公平的竞争环境，他们现在可以使用传统上在其他行业中使用的强大数据和分析工具。”

一项调查可能涉及数千万份文档，这使得记者几乎不可能手动建立联系。在 Datashare 出现之前，记者可能需要花费数月甚至数年时间筛选复杂的信息网络，以连接跨国的人员和实体。

ICIJ 在巴拿马文件上的工作涉及处理1190万条记录中的2.9 TB信息。Romera Zhang 说：“借助 Neo4j 图技术，我们建立了活动和实体之间的联系，否则这些联系就会被错过。”“那时我们就有了 Datashare 的想法，为记者提供一个强大的工具来揭露腐败。”

在与巴拿马文件的其他记者合作时，ICIJ 团队通过使用 Apache Solr 和 Tika 提取文档元数据，并将数据导出到 Neo4j 图数据库，成功地绘制了人、政府和公司之间的联系。

作为 Datashare 的基础，Neo4j 通过在数据库结构中嵌入关系，使节点之间的遍历连接变得快速。使用传统关系数据库时，记者和数据分析师必须使用低效的外键来推断数据连接。

Romera Zhang 说：“关系数据库无法有效分析记者遇到的大规模、密集互联数据集中的关系。”“使用 Neo4j，创建关系图（即本体）很容易，无论主题如何。图为记者提供了清晰的现实视图，因此他们可以核实信息并使调查保持正轨。”

Datashare 于 2019 年成为 ICIJ 内部分析大量数据的平台，始于《罗安达泄密事件》。该报道揭示了数十年不受控制的贪婪如何使一个石油和钻石资源丰富的非洲国家陷入贫困。记者们使用 Datashare 分析短信、电子邮件、PDF 和其他记录，以重建关键人物之间重要会议和对话的时间线，从而揭示“他们知道什么以及何时知道”背后的真相。

Datashare 是市场上为数不多的数据工具之一，能够摄取代表 Microsoft Outlook 整个邮箱的大型复杂 .pst 文件（有时可达数千兆字节），并立即生成可搜索的结果。

锁定‘确凿证据’

ICIJ 继续将 Datashare 与 Neo4j 图技术结合使用，以穿透虚假信息，在急需真相的地方揭示真相。

该组织对非法获取的艺术品和文物进行的调查，促成了与著名博物馆和收藏家达成协议，将古代雕像和雕塑归还给尼泊尔、柬埔寨和泰国。ICIJ 的“Deforestation Inc.”调查揭露了在所谓认证可持续性的幌子下发生的森林破坏和人权侵犯行为。

该联盟的“植入物文件”调查揭示了全球卫生当局未能保护数百万患者免受未经充分测试的医疗设备伤害。此后，超过260万人查阅了ICIJ的离岸泄密数据库，以探索世界领导人、政客、其家人及其他相关人员之间的联系。

2020年，ICIJ 与100多家媒体合作伙伴合作发布了《FinCEN 文件》。这项工作揭示了全球和美国的银行如何发起交易以转移超过2万亿美元并逃避反洗钱规定。美国立法者采取行动并通过了《企业透明度法案》，以阻止非法资金的流动并提高公司所有者的问责制。

拓展获取渠道，提供有力报道选项

Romera Zhang 和他的团队正在推出 Datashare 即服务，以便媒体合作伙伴可以索引大量文件，而无需内部计算资源。该团队还在开发一个沙盒环境，允许记者直接在 Datashare 平台内对数据集运行他们偏好的 AI 算法，使分析更加便捷。

ICIJ 为 Datashare 创建了一个新的 Neo4j 插件，使记者使用该工具更加容易。该插件在设计时考虑了 ICIJ 的调查需求，简化了图数据库的创建过程，因此非技术记者无需掌握 Neo4j 的图查询语言 Cypher。该插件允许用户访问图统计信息，并使用 Neo4j 的可视化工具Neo4J Bloom探索节点之间的连接。

Romera Zhang 说：“Neo4j 是市场上最重要的图数据库，我们对这家公司及其技术充满信心。”“这是我们民主化数据访问和分析的一个主要优势，这样调查记者就能讲述更多改变世界的故事。”

联系我们

想知道图驱动的解决方案能为您的业务带来哪些洞察？ 联系我们，我们将与您取得联系。