1.1 Lập Trình Song Song Là Gì ?

Lập trình song song là một kiểu lập trình mà nhiều tác vụ được thực hiện cùng một lúc trên một hệ thống tập trung. Điều này có nghĩa là một chương trình có thể chạy trên nhiều nhân cùng một lúc, hoặc một tác vụ có thể chia nhỏ thành nhiều phần và mỗi phần được thực hiện song song trên nhiều nhân.

Lập trình song song giúp tăng tốc độ xử lý của chương trình và tối ưu hóa sử dụng tài nguyên hệ thống. Nó cũng giúp giảm thời gian chờ cho người dùng và cải thiện hiệu suất hệ thống.

1.2 Ưu Và Nhược Điểm So Với Lập Trình Tuần Tự

     1.2.1 Ưu điểm của lập trình song song so với lập trình tuần tự:

• Tăng tốc độ xử lý: Lập trình song song cho phép nhiều tác vụ được thực hiện cùng một lúc, giúp tăng tốc độ xử lý.
• Tối ưu hóa sử dụng tài nguyên: Khi chương trình chạy trên nhiều nhân song song, nó có thể tối ưu hóa sử dụng tài nguyên hệ thống và giảm thời gian chờ cho người dùng.
• Cải thiện hiệu suất hệ thống: Lập trình song song có thể giúp cải thiện hiệu suất hệ thống bằng cách sử dụng nhiều nhân cùng một lúc.

     1.2.2 Nhược điểm của lập trình song song so với lập trình tuần tự:

• Khó để kiểm soát: Lập trình song song rất khó để kiểm soát vì nhiều tác vụ đang chạy cùng một lúc và tương tác với nhau.
• Khó debug: Lập trình song song có thể gặp khó khăn trong việc debug vì nhiều tác vụ đang chạy cùng một lúc và tương tác với nhau.
• Nguy cơ race condition: Lập trình song song có thể gặp nguy cơ race condition khi hai hoặc nhiều tác vụ cùng truy cập vào cùng một tài nguyên.
• Tăng phức tạp kỹ thuật: Lập trình song song cần kỹ thuật phức tạp hơn so với lập trình tuần tự.
• Tăng chi phí tài nguyên: Lập trình song song có thể tăng chi phí tài nguyên do việc sử dụng nhiều luồng và tài nguyên hệ thống.
• Khó giải quyết vấn đề về bảo mật: Lập trình song song có thể gặp vấn đề về bảo mật khi nhiều tác vụ đang chạy cùng một lúc và tương tác với nhau.

1.3 Vì sao đôi lúc áp dụng song song lại cho kết quả chậm hơn tuần tự ?

Có thể có một số lý do khiến thời gian thực hiện song song chậm hơn thời gian thực hiện tuần tự. Một số lý do phổ biến là:

• Chi phí hoạt động song song hóa: Việc song song hóa mã thường liên quan đến chi phí bổ sung từ việc phối hợp và đồng bộ hóa nhiều luồng hoặc quy trình. Chi phí hoạt động này có thể làm tăng đáng kể thời gian thực thi và làm cho việc thực thi song song chậm hơn so với thực thi tuần tự.
• Cân bằng tải: Nếu tải không được phân bổ đều giữa các luồng hoặc quy trình của hệ điều hành

1.4 Các kỹ thuật thường dùng để mô hình hóa song song

Đây không phải là đề tài mới nó đã có mặt trên ngôn ngữ Fortran từ những năm 1950 của thế kỷ trước nhưng do nhu cầu về tốc độ xử lý trên các bộ dữ liệu siêu lớn(cở zettabyte) thì một lần nữa song song hóa mô hình lại nóng lên.

Hiện nay có rất nhiều kỹ thuật dùng trong lập trình song song, sau đây là 1 vài kỹ thuật phổ biến:

1. MapReduce: là một kỹ thuật phân tách và gộp dữ liệu cho phép các tác vụ được thực hiện song song trên lượng dữ liệu lớn.
2. Multithreading: cho phép một chương trình chạy trên nhiều luồng cùng một lúc.
3. Multiprocessing: một phương thức hoạt động trong đó hai hoặc nhiều bộ xử lý trong máy tính xử lý đồng thời hai hoặc nhiều phần khác nhau của cùng một phần chương trình.
4. Phân tách dữ liệu: chia dữ liệu thành các phần nhỏ để xử lý song song.
5. Phân bổ nhiệm vụ: chia nhiệm vụ giữa các luồng hoặc nhiều máy tính để thực hiện song song.
6. Chia sẻ tài nguyên: cho phép các luồng hoặc máy tính truy cập và sử dụng chung một tài nguyên dữ liệu.

1.5 Ứng dụng vào thực tế

• Tính toán phức tạp: Có thể được sử dụng để tính toán các bài toán phức tạp, như mô hình hóa môi trường, tính toán trực quan, tính toán mô hình, v.v.
• Xử lý dữ liệu lớn: Lập trình song song có thể được sử dụng để xử lý dữ liệu lớn trong thời gian thực, ví dụ như xử lý dữ liệu tìm kiếm, dữ liệu của mạng xã hội, v.v.
• Đồ họa máy tính: Được sử dụng để xử lý các yêu cầu đồ họa máy tính như chuyển đổi định dạng, xử lý ảnh, v.v.
• Trò chơi máy tính: Sử dụng để tạo ra các trò chơi máy tính, đặc biệt là các trò chơi 3D render các game có đồ họa 4k hoặc 8k.
• Hệ thống mạng: Lập trình song song có thể được sử dụng để xử lý các yêu cầu mạng như xử lý gói tin, quản lý băng thông, tăng tốc độ bắn gói tin và nhận gói tin, v.v.

Tài liệu tham khảo

1. Almasi, GS và A. Gottlieb (1989). Tính toán song song . Nhà xuất bản Benjamin-Cummings, Redwood City, CA.
2. SV Adve et al. (tháng 11 năm 2008). “Nghiên cứu Điện toán Song song tại Illinois: Chương trình nghị sự của UPCRC” Lưu trữ 2008-12-09 tại Wayback Machine (PDF). Parallel@Illinois, Đại học Illinois tại Urbana-Champaign. “Các kỹ thuật chính để mang lại những lợi ích về hiệu suất này – tăng tần số xung nhịp và kiến ​​trúc thông minh hơn nhưng ngày càng phức tạp hơn – hiện đang chạm ngưỡng cái gọi là bức tường năng lượng. Ngành công nghiệp máy tính đã chấp nhận rằng việc tăng hiệu suất trong tương lai phần lớn phải đến từ việc tăng số lượng bộ xử lý (hoặc lõi ) khi chết, thay vì làm cho một lõi chạy nhanh hơn.”
3. Asanovic et al. Cũ [sự khôn ngoan thông thường]: Điện thì miễn phí, nhưng bóng bán dẫn thì đắt. [Trí tuệ thông thường] mới là [rằng] năng lượng đắt tiền, nhưng bóng bán dẫn thì “miễn phí”.
4. Asanovic, Krste et al. (ngày 18 tháng 12 năm 2006). “Bối cảnh nghiên cứu điện toán song song: Góc nhìn từ Berkeley” (PDF). Đại học California, Berkeley. Báo cáo kỹ thuật số UCB/EECS-2006-183. “[sự khôn ngoan thông thường] cũ: Tăng tần số xung nhịp là phương pháp chính để cải thiện hiệu suất của bộ xử lý. [sự khôn ngoan thông thường] mới: Tăng tính song song là phương pháp chính để cải thiện hiệu suất của bộ xử lý… Ngay cả các đại diện của Intel, một công ty thường gắn liền với ‘ tốc độ xung nhịp cao hơn là tốt hơn’, cảnh báo rằng các phương pháp truyền thống để tối đa hóa hiệu suất thông qua tối đa hóa tốc độ xung nhịp đã bị đẩy đến giới hạn của chúng.”
5. Patterson, David A. và John L. Hennessy (1998). Tổ chức và thiết kế máy tính , Phiên bản thứ hai, Nhà xuất bản Morgan Kaufmann, tr. 715. ISBN 1-55860-428-6 .