Apache Beam ist ein quelloffenes Programmiermodell für die Batch- und Stream-Verarbeitung von Daten. Entwickler definieren eine Pipeline einmal, in Python, Java, Go, TypeScript, Scala, YAML oder SQL, und führen sie auf einer Ausführungs-Engine aus, einem sogenannten Runner, etwa Apache Flink, Apache Spark oder Google Cloud Dataflow. So bleiben Pipelines zwischen Engines portabel, und die Abhängigkeit von einer einzelnen Verarbeitungsplattform sinkt. Beam ist Software, die Sie selbst oder über einen verwalteten Runner betreiben, kein gehosteter Dienst.
Beam wird offen von der Apache Software Foundation entwickelt, einer US-amerikanischen Non-Profit-Organisation (501(c)(3)), deren Projekte die Apache License 2.0 nutzen. Da kein Anbieter einen Beam-Dienst betreibt, hält auch kein Beam-Anbieter Ihre Daten: Wo die Verarbeitung stattfindet, hängt vom gewählten Runner und der Infrastruktur ab. Eine europäische Organisation kann Beam auf eigenen Servern oder bei einem EU-Anbieter betreiben. Wählen Sie Google Cloud Dataflow als Runner, unterliegt die Verarbeitung den Bedingungen und der Rechtsordnung dieses Anbieters.