硅谷最神秘独角兽Palantir是如何工作的？

本文转载自微信公众号：线性资本(ID：LinearCapital)，“线性资本 (Linear Capital) 正在努力成为最好的应用性数据智能基金 (Applied-Data-Intelligence)。目前已投资地平线机器人、Rokid、同盾、神策等超过50个优秀团队。

这是我们DaaS系列的第二篇(上一篇为DaaS入门指南)，这次我们来介绍一家神秘的硅谷独角兽Palantir。Palantir，她是美国情报机构的宠儿，也是激进隐私保护人士的梦魇。正是基于她的种数据分析能力，有人把她成为现实版的“Big Brother”。

Palantir的基本要点就是收集大量数据，帮助非科技用户发现关键联系，并最终找到复杂问题的答案。“那家帮助找到本拉登的公司”、“帮助多家银行追回了前纳斯达克主席Bernie Madoff所隐藏起来的数十亿美元巨款”等均是她在这个世界的传奇故事。

让我们走进这家公司，详细了解下大数据B2B是怎么改变这个世界的。

2004年，被誉为硅谷投资教父的Peter Thiel(Paypal创始人兼Facebook早期投资人，并著有《从0到1》)和他在斯坦福大学的老同学Alex Karp，以及Joe Lonsdale、Stephen Cohen、Nathan Gettings共同创立了Palantir。Palantir名字的灵感来自《指环王》，在剧中，这是一个可以穿越时空、看到一切的水晶球，它可以帮助剧中人物和其它水晶球建立联系，从而可以看到附近的图像。

指环王中的"Palantir"

Palantir的基本要点就是收集大量数据，帮助非科技用户发现关键联系，并最终找到复杂问题的答案。该产品源自PayPal，最初用作反欺诈措施，后来把人工算法和强大的引擎(可以同时扫描多个数据库)整合到了几近完美的境界。 Palantir的基本系统像是好莱坞间谍恐怖片里的软件那样，可以同时处理大量数据库，并允许用户通过多种方式快速浏览相关信息。和PayPal模式不同，Palantir还对各种安全问题高度敏感。

由于Palantir的业务和政府相关机构有关，而且时常涉及机密，再加上CEO Alex Karp的低调个性，这家公司在十几年里一直保持着神秘。但我们可以从其中的一些小的合作管中窥豹。如果说谷歌是互联网大数据的霸主(比如谷歌的TensorFlow平台)，那么Palantir的目标就是做未来企业级大数据霸主，也就是做企业和政府领域的Google。

现如今Palanti公司总共拥有两大产品线——Palantir Gotham和Palantir Metropolis，分别应用于国防安全与金融领域(名字来自DC漫画：蝙蝠侠和超人)，籍此形成了16种解决方案，包括反欺诈(Anti Fraud)、网络安全(Cyber Security)、国防安全(Defense)、内部威胁(Insider Threat)、危机应对(Crisis Response)、保险分析(Insurance Analytics)、案例管理(Case Management)、疾病控制(Disease Response)、智能化决策(Intelligence)等。

两个产品线的核心技术是服务客户整理、分析、利用不同来源的结构化和非结构化数据，创造一种人脑智能和计算机智能的共生分析环境及工具，人脑和大数据分析互补，提升客户的智慧和洞察力，从而解决大数据环境下的复杂问题决策。正如其官方主页上的自我定位：“Palantir’s mission is to solve the most important problems for the world’s most important institutions.”

在政府市场，Palantir有两大标签：“那家帮助找到本拉登的公司”和“CIA资助的公司”。Palantir通过与美国各州的警队合作，将遍布在城市及乡镇各处卡口、警车上的摄像头拍下的照片及视频入库存储，与警方的人口数据库、犯罪数据库、DNA数据库等进行深度融合，提取出如车牌号码、人脸、DNA及体态等关键信息，这些信息虽然繁琐且表面看起来关联性不强，但其间却蕴藏着各式各样的关系(强、弱;直接、间接等)，联系之间更是隐藏着深层的信息。因此通过大规模数据可视化交互技术可将数据间有价值的关联关系深度挖掘出来，形成完整的证据链条，为警方节约大量的人力和时间，而且通过间接关联分析，一定程度上能解决线索中断的问题。

通过预测性警务模型分析历史犯罪数据，还能计算出最有可能在警察下一次执勤时发生犯罪活动的地点。2011年，美国海关的一名情报人员在墨西哥被一群毒贩射杀，美国警方随即展开名为Operation Fallen Hero的行动，利用Palantir大数据技术，在浩瀚的人物、地点以及事件等等元素中间建立复杂的关系链，同时融合联邦探员自身掌握的信息，如大毒枭们，及其下线的融资渠道以及运毒路线，通过对与本案相关多源数据关联的可视化展现、交互分析，将分散隐蔽的证据、信息进行有效衔接，同时筛选排除干扰信息，将证据链完整呈现。最终通过资金往来以及人际关系网络分析理清了关键人物以及关键联系，并确定了主要嫌疑犯，逮捕了600多名毒贩和大批毒品武器。

Palantir政府版Gotham分析平台界面

来源：VentureShares 云创谷

在金融领域，Palantir凭借其为政府服务的影响力，在2010年摩根大通成为它的首批非政府客户。后来Palantir帮多家银行追回纳斯达克前主席麦道夫庞氏骗局的数十亿美金，名声大振，其出色的大数据技术获得华尔街金融大鳄们的认可，目前许多银行、保险、对冲基金，包括美国证券交易委员会都在使用Palantir的产品和技术。

其中反欺诈是金融领域的一项关键业务，信用评级、风险管理、关联交易、洗钱、逃税等都涉及此项分析内容。而金融是信息化程度极高的行业，拥有海量的相关数据。Palantir的Metropolis平台可将许多孤立的金融环境数据汇集到统一分析系统，通过时间序列以及关联分析、频繁项分析和知识图谱、社交网络等机器学习技术挖掘出有价值的信息。

Palantir金融版Metropolis分析平台界面

来源：VentureShares 云创谷

Palantir从定制业务入手，深入垂直行业，才能逐渐形成相对标准化的产品，并基于此在真正适合大数据发挥价值的场景上升级端到端的技术解决方案;扎根行业、顺势而为的产品路径决定了其产品兼具通用性考量与行业经验积累，推动了Palantir厚积薄发的成长历程。

Palantir的主要杀手锏是海量异构数据的整合分析，产品落地过程中所使用数据的60%以上都是非结构化数据，但由于缺少自然语言处理、机器学习等人工智能技术的储备，数据分析出身的Palantir使用大量人工来完成非结构化、异构数据的结构化和图谱化整合，以至于项目开发走向重人力的模式，成本和周期压力较大，这成为Palantir规模化扩张的主要瓶颈。而当前从Palantir近两年招聘信息来看，它正大规模招聘人工智能专业人才以弥补这方面的短板。

总之，大数据和AI时代的基础设施，除了互联网界的谷歌、亚马逊等巨头之外，在传统大型企业和政府领域还会有Palantir这样的B2B大数据独角兽。相比于美国，中国信息化的成熟度在过去一直欠佳，直到近期，政府、金融等领域纷纷转向云计算才使得Palantir模式在中国落地成为可能。比如针对互联网企业提供大数据分析产品和解决方案以及针对传统企业提供大数据相关咨询的神策数据、为互联网金融行业提供风险控制与反欺诈的实时数据分析服务的同盾科技、在电商和金融领域提供大数据解决方案的桃树科技、提供大数据商业智能产品的观远数据、预测电商业务数据的超对称(以上均为线性的portfolio，有兴趣可直接与我们联系~)。

让我们拭目以待中国Palantir的到来。