Apache Spark est un moteur multilingue pour l'ingénierie des données, la science des données et l'apprentissage automatique. Il s'exécute sur une seule machine ou sur des clusters, y compris Kubernetes, et traite les données par lots comme en temps réel via la même API. Vous l'utilisez avec Python, SQL, Scala, Java ou R. Il comprend des bibliothèques pour SQL et les DataFrames, Spark Connect, le streaming, pandas on Spark et l'apprentissage automatique (MLlib). Spark est un logiciel que vous installez vous-même, par exemple avec pip ou en conteneur Docker ; ce n'est pas un service hébergé.
Spark est un projet de l'Apache Software Foundation, organisation américaine à but non lucratif, publié sous licence Apache 2.0. Comme vous gérez Spark vous-même, vous décidez où se trouvent calcul et données : dans votre datacenter ou chez un fournisseur cloud européen. Les services Spark commerciaux de tiers relèvent de la juridiction de ces fournisseurs, mais le code source ouvert permet toujours de passer à une exploitation autonome.