Как запустить graphx с Python / pyspark?

Похоже, привязки python к GraphX ​​задерживаются как минимум до Spark 1.4 1.5 ∞. Он ждет за Java API.

Вы можете отслеживать статус на странице Привязки SPARK-3789 GRAPHX Python для GraphX ​​- ASF JIRA

Вам следует взглянуть на GraphFrames (https://github.com/graphframes/graphframes), который охватывает алгоритмы GraphX под API DataFrames и предоставляет интерфейс Python.

Вот быстрый пример из https://graphframes.github.io/graphframes/docs/_site/quick-start.html с небольшими изменениями, чтобы он работал

первый запуск pyspark с загруженным пакетом graphframes

pyspark --packages graphframes:graphframes:0.1.0-spark1.6

код Python:

from graphframes import *

# Create a Vertex DataFrame with unique ID column "id"
v = sqlContext.createDataFrame([
  ("a", "Alice", 34),
  ("b", "Bob", 36),
  ("c", "Charlie", 30),
], ["id", "name", "age"])

# Create an Edge DataFrame with "src" and "dst" columns
e = sqlContext.createDataFrame([
  ("a", "b", "friend"),
  ("b", "c", "follow"),
  ("c", "b", "follow"),
], ["src", "dst", "relationship"])
# Create a GraphFrame
g = GraphFrame(v, e)

# Query: Get in-degree of each vertex.
g.inDegrees.show()

# Query: Count the number of "follow" connections in the graph.
g.edges.filter("relationship = 'follow'").count()

# Run PageRank algorithm, and show results.
results = g.pageRank(resetProbability=0.01, maxIter=20)
results.vertices.select("id", "pagerank").show()

В GraphX ​​0.9.0 пока нет Python API. Ожидается в следующих выпусках.