Apache Spark is een multitalige engine voor data engineering, datawetenschap en machine learning. De engine draait op één machine of op clusters, ook op Kubernetes, en verwerkt data in batches en in real time via dezelfde API. U gebruikt Spark met Python, SQL, Scala, Java of R. Het bevat bibliotheken voor SQL en DataFrames, Spark Connect, streaming, pandas on Spark en machine learning (MLlib). Spark is software die u zelf installeert, bijvoorbeeld via pip of als Docker-container; het is geen gehoste dienst.
Spark is een project van de Apache Software Foundation, een Amerikaanse non-profitorganisatie, en wordt uitgegeven onder de Apache License 2.0. Omdat u Spark zelf beheert, bepaalt u waar rekenkracht en data staan: in een eigen datacenter of bij een Europese cloudaanbieder. Commerciële Spark-diensten van derden vallen onder de jurisdictie van die aanbieders, maar de open broncode houdt een overstap naar eigen beheer mogelijk.