Làm thế nào các tổ chức có thể tối ưu hóa chi phí AI tạo sinh (GenAI)?
Làm thế nào các tổ chức có thể tối ưu hóa chi phí AI tạo sinh (GenAI)? - Nguồn: Silicon Angle |
Chuyên mục trên Silicon ANGLE của ông Arun Chandrasekaran. Bài viết được đăng vào ngày 4 tháng 8 năm 2024. Blog Chuyển đổi số chuyển ngữ gửi tới quý độc giả.
Các mô hình trí tuệ nhân tạo tạo sinh (Generative AI, hay GenAI) là trung tâm của cuộc cách mạng AI (trí tuệ nhân tạo) ngày nay. Khi các doanh nghiệp mở rộng các sáng kiến Gen AI (AI tạo sinh) của mình, họ nhận ra chi phí phát triển, triển khai và vận hành các mô hình này có thể rất lớn khi các trường hợp sử dụng nhân lên và mở rộng.
Các tổ chức đang chuyển đổi từ thí điểm AI tạo sinh (pilot) sang môi trường sản xuất (production) phải nhận thức rõ ràng về vấn đề chi phí. Việc tạo ra một hệ thống Gen AI sẵn sàng cho toàn tổ chức có thể đắt hơn rất nhiều so với việc chạy thử nghiệm.
Các tổ chức có thể tận dụng năm thực hành tốt nhất sau đây để tối ưu hóa chi phí của Gen AI. Việc triển khai các thực tiễn này cho phép các tổ chức tối đa hóa ROI (lợi tức đầu tư) vào Gen AI của họ và khai thác toàn bộ tiềm năng của nó.
1. Hãy khách quan về độ chính xác của mô hình, hiệu suất và đánh đổi về chi phí
Việc lựa chọn mô hình phù hợp thường liên quan đến việc đánh đổi thích đáng giữa một số yếu tố, trong đó độ chính xác, hiệu suất và chi phí của mô hình là những yếu tố quan trọng nhất. Kích thước của mô hình Gen AI (được đo bằng số lượng tham số đào tạo mô hình của nó) có ảnh hưởng đáng kể đến các số liệu này. Mặc dù các mô hình Gen AI lớn hơn mang lại độ chính xác cao hơn nhưng chúng thường đi kèm với chi phí và độ trễ cao hơn trong phản hồi của mô hình.
Việc lựa chọn mô hình phù hợp phải là một quá trình đánh giá đa chiều. Độ chính xác của mô hình cần được xác thực thông qua một loạt các thước đo độ chính xác như tính trôi chảy, mạch lạc, mức độ liên quan và hiểu biết theo ngữ cảnh. Nếu chọn mô hình Gen AI được phân phối dưới dạng API (giao diện lập trình ứng dụng), hãy nhớ rằng cùng một mô hình có thể được cung cấp bởi nhiều nhà cung cấp. Điều này cho phép các tổ chức chọn nhà cung cấp mang lại mức giá và hiệu suất vượt trội nhưng vẫn đáp ứng được nhu cầu bảo mật và hỗ trợ của tổ chức.
2. Tạo vườn mô hình thúc đẩy lựa chọn và minh bạch hóa giá/hiệu suất của mô hình cho các lập trình viên và người dùng
Một cách tuyệt vời để cho phép thử nghiệm an toàn là tạo một vườn mô hình AI (AI model garden) với nhiều mô hình được cung cấp cho người dùng và các lập trình viên. Vườn mô hình AI có các mô hình có sẵn theo cách tự phục vụ như một phần của danh mục mô hình, được củng cố bởi các nguyên tắc bảo mật và quyền riêng tư cơ bản. Những người áp dụng sớm cung cấp các mô hình Gen AI từ nhiều nhà cung cấp và thường kết hợp các mô hình trong danh mục mô hình. Điều này làm cho cả mô hình AI lớn và nhỏ đều có sẵn, đồng thời đảm bảo tính khả dụng của các mô hình nguồn mở bên cạnh các mô hình nguồn đóng.
Các nhà lãnh đạo công nghệ thông tin nên tạo ra một vườn mô hình AI và cung cấp nhiều mô hình đa dạng để người dùng thử nghiệm một cách an toàn. Làm cho chi phí của mô hình trở nên minh bạch đối với người dùng thông qua các công cụ báo cáo, cho phép họ đưa ra các lựa chọn tiết kiệm hơn mà không gây nguy hiểm cho tính chính xác, hiệu suất và các số liệu lựa chọn khác của họ.
3. Cân bằng chi phí trả trước và chi phí vận hành trong việc nâng cao và tùy chỉnh mô hình
Khi tăng cường và tùy chỉnh các mô hình Gen AI, doanh nghiệp cần cân nhắc chi phí trả trước và chi phí vận hành. Chi phí trả trước được dành riêng cho việc lựa chọn các phương pháp tiếp cận khác nhau, bao gồm việc tăng cường mô hình như kỹ thuật thiết kế prompt (prompt engineering) và tạo tăng cường truy xuất (retrieval-augmented generation) hay viết tắt là RAG, và tùy chỉnh mô hình như tinh chỉnh (fine-tuning) và đào tạo mô hình từ đầu (training a model from scratch) — mỗi phương pháp đều tăng độ phức tạp và chi phí.
Chi phí vận hành có thể được giảm thiểu bằng cách lựa chọn cẩn thận các mô hình cân bằng giữa giá cả/ hiệu suất hoặc thậm chí bằng cách tinh chỉnh hiệu quả mô hình trên một tập dữ liệu cụ thể thông qua điều chỉnh lệnh hoặc tiếp tục đào tạo trước. Điều này rất đáng chú ý vì nó có thể làm giảm nhu cầu về văn bản bổ sung thông qua kỹ thuật prompt hoặc RAG.
Các nhà lãnh đạo CNTT nên cân nhắc việc mở rộng và tùy chỉnh một cách tuần tự, chỉ chuyển sang phương pháp nâng cao hơn nếu phương pháp đơn giản hơn không đáp ứng được chất lượng đầu ra cần thiết. Họ có thể đánh giá các phương pháp tiếp cận khác nhau không chỉ để đạt được chất lượng đầu ra tốt hơn mà còn giảm chi phí vận hành - đặc biệt nếu việc sử dụng mô hình với khối lượng lớn và có thể dự đoán được.
4. Hiểu sự cân bằng của việc tự lưu trữ (on prem)
Các mô hình Gen AI tự lưu trữ (thường tại chỗ - on premises) có vẻ hấp dẫn đối với các doanh nghiệp đang tìm cách tăng cường kiểm soát và bảo mật dữ liệu. Đúng là suy luận mô hình sẽ kết hợp nhiều hơn trong tương lai, được thúc đẩy bởi chi phí, hiệu suất và nhu cầu riêng tư. Tuy nhiên, điều quan trọng là phải nhận thức được những đánh đổi tiềm ẩn vì danh sách các yếu tố thúc đẩy chi phí cho việc tự lưu trữ rất rộng.
Hãy cân nhắc mức độ phức tạp và chi phí trước khi chọn mô hình Gen AI tự lưu trữ. Nếu một tổ chức quyết định tự lưu trữ, tổ chức đó phải đảm bảo có thể cung cấp các mô hình định giá dựa trên chi phí hoạt động (opex-based pricing model) hoặc dịch vụ quản lý (managed services) cho tổ chức đó. Các nhà lãnh đạo CNTT nên đánh giá năng lực đầu tư trước, bảo trì liên tục và kiến thức chuyên môn của tổ chức trước khi chọn tự lưu trữ, cân nhắc rằng chi phí và độ phức tạp có thể tăng cao — đặc biệt là với các mô hình lớn hơn và khối lượng sử dụng cao.
5. Áp dụng thiết kế đầu vào (prompting design) có hướng dẫn để có đầu vào mô hình hiệu quả
Thiết kế đầu vào (prompt design) bao gồm việc tạo ra các gợi ý, hướng dẫn (prompt) một cách hiệu quả những phản hồi mong muốn từ các mô hình Gen AI. Việc tạo ra đầu vào có cấu trúc chặt chẽ rất thiết yếu để đảm bảo kết quả đầu ra chính xác, chất lượng cao. Thiết kế đầu vào rất quan trọng vì nó có ý nghĩa quan trọng đối với tính chính xác và mức độ phù hợp của các phản hồi của mô hình, khả năng thích ứng của mô hình với các nhiệm vụ cụ thể và quan trọng nhất là chi phí điều chỉnh mô hình. Các đầu vào được soạn thảo kỹ lưỡng có thể đảm bảo phản hồi của mô hình ngắn gọn, phù hợp và chính xác, đồng thời nói chung là cách rẻ hơn để điều hướng các mô hình AI.
Khám phá các công cụ thiết kế đầu vào có thể nâng cao chất lượng đầu vào (prompting) và tiết kiệm tiền về lâu dài. Tổng hợp lại những thực tiễn tốt nhất này và khuyến khích phổ biến rộng rãi hơn thông qua các buổi chia sẻ kiến thức.
Các tổ chức nên phân tích và khám phá chi phí Gen AI ẩn bằng nhiều cách tiếp cận khác nhau. Tránh các tùy chỉnh mô hình tốn kém và hiểu được sự cân bằng của các mô hình AI tự lưu trữ. Chi phí tuỳ chỉnh mô hình thấp hơn thông qua các kỹ thuật như thiết kế đầu vào. Tiến hành đánh giá hàng tháng hoặc hàng quý về chi phí Gen AI để đảm bảo tối ưu hóa liên tục và thấm nhuần văn hóa trách nhiệm.
Ông Arun Chandrasekaran là nhà phân tích VP nổi tiếng (distinguished VP analyst ) tại Gartner, nơi ông nghiên cứu các công nghệ và xu hướng mới nổi, với trọng tâm là trí tuệ nhân tạo và điện toán đám mây.
Nguồn tham khảo:
- How organizations can optimize generative AI costs: https://siliconangle.com/2024/08/04/organizations-can-optimize-generative-ai-costs/
- The Top 10 Best Practices to Optimize Generative AI Costs: https://www.gartner.com/en/documents/5491895
- Webinar: The Top 10 Best Practices to Optimize Generative AI Costs: https://www.gartner.com/en/webinar/603989/1342831
Có thể bạn quan tâm?
Các ví dụ chuyển đổi số trong ngành bán lẻ
- Digital Retail: Ngành Bán lẻ trong cơn bão Chuyển đổi số
- Amazon đang thay đổi hoàn toàn ngành bán lẻ?
- Walmart: nhà bán lẻ hàng đầu về đổi mới sáng tạo trong thời đại số
- Thế giới di động chuyển đổi số ngành bán lẻ: trải nghiệm khách hàng là trọng tâm
- Bài học kinh nghiệm từ các hãng bán lẻ đi đầu trong chuyển đổi số
- Starbucks thúc đẩy sáng tạo qua trao quyền nhân viên
Chuỗi bài viết Sẵn sàng cho Trí tuệ Nhân tạo (AI): Điều Lãnh đạo CNTT CIO Cần Biết và Làm.
- Phần 1: Xác định tham vọng AI | Sẵn sàng cho Trí tuệ Nhân tạo: Điều Lãnh đạo CNTT CIO Cần Biết và Làm
- Phần 2: Các phương án triển khai AI | Sẵn sàng cho Trí tuệ Nhân tạo: Điều Lãnh đạo CNTT CIO Cần Biết và Làm
- Phần 3: Xác định các rủi ro của AI | Sẵn sàng cho Trí tuệ Nhân tạo: Điều Lãnh đạo CNTT CIO Cần Biết và Làm
- Có cần bổ nhiệm CAIO (Giám đốc Cấp cao về AI)?
- Giải thích về Các Mô hình Ngôn ngữ Lớn (LLMs) & AI Tạo sinh (GenAI)
- Gartner Dự báo 10 Công nghệ chiến lược hàng đầu năm 2024 và xa hơn
- Xu hướng 6: AI (Artificial Intelligence): Trí tuệ nhân tạo
Chuỗi bài AI Tạo sinh đột phá ngành tài chính (ngân hàng, bảo hiểm): Cơ hội, Thách thức, Bước khởi đầu
A - Ngành ngân hàng (banking)
1 - Giá trị, các cơ hội chính và ứng dụng chủ đạo
3 - Mở rộng quy mô ứng dụng AI Tạo sinh (GenAI)
B - Ngành bảo hiểm
1 - Các cơ hội chính/ Các ứng dụng chủ đạo
2.1. Về GenAI
2.2. Về dữ liệu
Nhận xét