APACHE SPARK LÀ GÌ? TỔNG QUAN VỀ APACHE SPARK CHO NGƯỜI MỚI

Trong thời đại big data ngày nay, việc xử lý và phân tích dữ liệu trở thành vị trí quan trọng trong các công ty và tổ chức. Apache Spark ra đời và trở thành công cụ đắc lực, hỗ trợ xử lý big data với tốc độ xử lý nhanh, khả năng mở rộng linh hoạt và đa năng.

Hiện nay, Apache Spark đang được sử dụng rộng rãi trong nhiều lĩnh vực từ kinh doanh, y tế, tài chính, giáo dục đến khoa học và công nghệ. Hãy cùng 200Lab tìm hiểu về Apache Spark trong bài viết bên dưới nhé!

Apache Spark là gì?

Apache Spark là framework mã nguồn mở tính toán cụm được thiết kế để cung cấp tốc độ tính toán, khả năng mở rộng (scalability) và khả năng lập trình cho Big data. Đặc biệt, trong quá trình truyền một luồng dữ liệu liên tục (data streaming) với tốc độ cao, cơ sở dữ liệu đồ thị (graph data), máy học (machine learning) và ứng dụng trí tuệ nhân tạo (AI) .

Apache Spark được phát triển vào năm 2009 tại AMPLab của đại học California, Berkeley sau đó được tặng cho Quỹ phần mềm Apache điều hành đến ngày nay.

Apache Spark được xem là công cụ xử lý dữ liệu nhanh gấp 10 lần so với các công cụ khác. Nó cung cấp một cơ chế tính toán phân tán trên một cụm máy tính (Computer Cluster) với hiệu suất cao hơn so với Apache Hadoop đặc biệt MapReduce, đồng thời hỗ trợ nhiều ngôn ngữ lập trình như Scala, Java, Python,...

Các thành phần của Apache Spark

Apache gồm có các thành phần chính sau đây:

Spark Core

Spark Core là thành phần cốt lõi của Apache Spark, các thành phần khác muốn hoạt động đều cần thông qua Spark Core.

Spark Core cung cấp các chức năng cơ bản để xử lý dữ liệu phân tán (distributed data processing - DDP) bao gồm quản lý bộ nhớ, thiết lập lịch tác vụ và khôi phục lỗi.

Spark SQL

Spark SQL cho phép người dùng truy vấn dữ liệu bằng ngôn ngữ SQL trên các tập dữ liệu lớn. Spark SQL cung cấp một cơ chế để tích hợp với các cơ sở dữ liệu quan hệ như MySQL, Oracle hoặc PostgreSQL và xử lý dữ liệu bằng cách sử dụng các tính năng phân tán của Spark.

Ngoài ra, Spark SQL còn tích hợp tốt với các công cụ ETL và Spark Streaming, điều đó giúp nó trở thành một phần quan trọng trong hệ thống phân tích dữ liệu phân tán và các ứng dụng trực tuyến trong thời gian thực.

Spark Streaming

Spark Streaming là một module cho phép xử lý dữ liệu trực tiếp trong thời gian thực (real-time). Spark Streaming cung cấp một cơ chế xử lý dữ liệu liên tục (stream processing) bằng cách chia nhỏ dữ liệu thành một chuỗi các microbatch nhỏ hơn và xử lý chúng thông qua API Apache Spark.

Bên cạnh đó, nó còn tích hợp với các module khác của Apache Spark như Spark SQL và MLlib. Spark Streaming được sử dụng rộng rãi cho các ứng dụng như phân tích dữ liệu trực tuyến, phát hiện sự cố hệ thống và phân tích dữ liệu giám sát trong thời gian thực.

Spark MLlib (Machine Learning Library)

Spark MLlib là thư viện Machine Learning được tích hợp sẵn trong Apache Spark, cung cấp các thuật toán Machine Learning phổ biến giúp ích trong việc xử lý big data.

MLlib cung cấp các thuật toán Machine Learning phổ biến như: Regression, Classification, Clustering, Collaborative Filtering, Dimensionality Reduction, Feature Extraction and Transformation,...

Spark MLlib cũng tích hợp với các module khác của Apache Spark nhằm đáp ứng nhu cầu phân tích và xử lý dữ liệu lớn.

GraphX

GraphX đi kèm với lựa chọn các thuật toán phân tán để xử lý cấu trúc đồ thị. Để thực hiện các tính toán trên đồ thị, GraphX cung cấp RDD, VertexRDD và EdgeRDD trong đó Vertex (đỉnh) và Edge (cạnh).

Kiến trúc của Apache Spark

Driver Program trong kiến ​​trúc Apache Spark sẽ quản lý, điều khiển quá trình xử lý trên cluster và tạo Spark Context. Spark Context sẽ bao gồm tất cả các chức năng cơ bản.

Spark Driver là một thành phần quan trọng trong kiến trúc của Apache Spark. Nó là chương trình chính của ứng dụng Spark, chạy trên một node trong cluster, quản lý và điều khiển quá trình xử lý trên cluster.

Spark Driver và Spark Context cùng giám sát quá trình thực thi cluster. Spark Driver hoạt động với Cluster Manage để quản lý nhiều công việc khác.

Cluster Manage giúp quản lý và phân phối tài nguyên trên các node của cluster, sau đó sẽ phân phối và giám sát tiến trình xử lý trên các node này để đảm bảo chúng hoạt động hiệu quả.

Bất cứ khi nào cấu trúc dữ liệu bất biến và phân tán (Resilient Distributed Datasets - RDD) được tạo trong Spark Context, thì nó sẽ được phân phối trên nhiều worker nodes và được cached ở đó.

Các worker nodes sẽ thực thi nhiệm vụ được giao bởi Cluster Manager và sau đó đưa nó trở lại Spark Context.

Executors sẽ lên tiến trình chạy trên các node khác trong cluster, được quản lý bởi driver program để thực hiện các nhiệm vụ xử lý dữ liệu. Mỗi Executor có thể chứa nhiều task (công việc) được giao để xử lý.

Các công ty lớn sử dụng Apache Spark

Thông qua một cuộc khảo sát vào năm 2016 thì hiện có hơn 1.000 tổ chức với hơn 365.000 thành viên đang sử dụng Apache Spark. Điều đó đã giúp Apache Spark trở thành một trong những framework xử lý dữ liệu phân tán sử dụng phổ biến nhất.

Dưới đây là một số công ty nổi bật sử dụng Apache Spark

Yelp tạo các mô hình dự đoán (prediction models ) để xác định xem người dùng có tương tác với quảng cáo không. Công ty đã xử lý lượng lớn dữ liệu trên Amazon EMR bằng Apache Spark và điều đó đã giúp tăng doanh thu và tỷ lệ nhấp vào quảng cáo.

Zillow sở hữu và điều hành một trong những trang web bất động sản trực tuyến lớn nhất. Công ty đã sử dụng các thuật toán máy học (machine learning) từ Apache Spark trên Amazon EMR để xử lý các tập dữ liệu lớn trong thời gian thực (real-time) nhằm tính toán Zestimates — một công cụ ước tính định giá nhà cho người mua và người bán.

CrowdStrike cung cấp khả năng bảo vệ điểm cuối để ngăn chặn vi phạm. Họ sử dụng Amazon EMR với Spark để xử lý hàng trăm terabyte dữ liệu sự kiện và đưa dữ liệu đó vào các mô tả hành vi cấp cao hơn trên máy chủ. Từ dữ liệu đó, CrowdStrike có thể tập hợp dữ liệu sự kiện lại với nhau và xác định sự hiện diện của hoạt động độc hại.

Hearst Corporation là một công ty đa ngành, trong đó truyền thông là mảng lớn nhất, với lượng lớn khách hàng xem nội dung mỗi ngày trên web. Đội ngũ biên tập của công ty đã sử dụng Apache Spark Streaming trên Amazon EMR để theo dõi bài viết nào đang hoạt động hiệu quả và chủ đề nào đang thịnh hành theo thời gian thực tế.

Intent Media sử dụng Apache Spark và MLlib để đào tạo và triển khai các mô hình máy học (machine learning) trên quy mô lớn. Điều đó đã giúp các công ty du lịch tối ưu hóa doanh thu trên trang web và ứng dụng của họ.

Ngoài ra cũng còn rất nhiều công ty khác sử dụng Apache Spark

Lời kết

Apache Spark được xem là công cụ đa chức năng, cho phép người dùng xử lý dữ liệu lớn trên các hệ thống phân tán một cách dễ dàng và hiệu quả. Với các tính năng và thành phần hữu ích, Apache Spark đang dần trở thành công cụ phổ biến ứng dụng trong việc xử lý dữ liệu lớn (big data).

Bạn có thể tham khảo thêm những bài viết hữu ích về chủ đề Data như MySQL là gì?, Dữ liệu là gì?, Phân biệt Data Engineet và Data Analyst, MongoDB là gì?, Big data là gì?,... nhé!

Bên cạnh đó, nếu bạn có định hướng trở thành Data Analyst chuyên nghiệp thì bạn có thể tham khảo bộ khóa học toàn diện chuyên nghiệp với combo 4 khóa học trong 1 bootcamp của 200Lab tại đây