CUDA คือแพลตฟอร์มและสถาปัตยกรรมการประมวลผลของ NVIDIA ที่เปิดทางให้นักพัฒนาใช้ GPU ทำงานคำนวณทั่วไปและ Deep Learning ได้ง่ายขึ้น โดย NVIDIA ยอมลงทุนต่อเนื่องหลายปีแม้ยังไม่สร้างรายได้ จน CUDA กลายเป็นรากฐานสำคัญของ AI Ecosystem

เส้นทาง:

GPU สำหรับ Graphics

↓

General-Purpose Computing

↓

CUDA

↓

Deep Learning

↓

cuDNN

↓

AI Ecosystem

ก่อน CUDA GPU ทำอะไร?

ในช่วงต้นยุค:

2000s

GPU มีหน้าที่หลักคือ:

วาดภาพ + ประมวลผลกราฟิก

หากนักวิจัยต้องการใช้ GPU คำนวณสมการทางวิทยาศาสตร์ ต้องใช้วิธีที่ซับซ้อน เช่น:

Texture + Shader

ทำให้การนำ GPU มาใช้คำนวณทั่วไปเป็นเรื่องยากสำหรับโปรแกรมเมอร์

Brook จุดเริ่มต้นของแนวคิด

ในปี:

2004

Ian Buck

ขณะเป็นนักศึกษาปริญญาเอกที่ Stanford ร่วมสร้าง:

Brook

เพื่อซ่อนความซับซ้อนของการเขียนโปรแกรม GPU

ตามข้อมูลต้นทาง Brook สามารถทำงานได้เร็วกว่า CPU ประมาณ:

7 เท่า

แต่ยังติดข้อจำกัดของ GPU ที่ถูกออกแบบมาเพื่อ Graphics

NVIDIA เริ่มสร้างสถาปัตยกรรมใหม่

NVIDIA เริ่มพัฒนาสถาปัตยกรรมใหม่ตั้งแต่:

2002

โดยออกแบบ GPU ให้มี:

หน่วยประมวลผลจำนวนมาก

ที่สามารถทำงาน:

Parallel Computing

พร้อมกันได้

ในปี:

2003

NVIDIA ดึง:

John Nickolls

เข้ามาดูแลโครงการ

และ Ian Buck ก็เข้าร่วม NVIDIA ในเวลาต่อมา

ทำไม CUDA จึงเลือกใช้ภาษา C?

แทนที่จะบังคับให้นักพัฒนาเรียนภาษาใหม่

ทีมเลือกใช้:

C

เป็นพื้นฐาน

เป้าหมายคือ:

ให้ Programmer เดิมสามารถใช้ GPU ได้

โดยไม่ต้องเปลี่ยนวิธีคิดทั้งหมด

CUDA เปิดตัวในปี 2006

เดือน:

พฤศจิกายน 2006

NVIDIA เปิดตัว:

GeForce 8800

พร้อมสถาปัตยกรรมและแพลตฟอร์ม:

CUDA

นี่คือจุดเปลี่ยนสำคัญที่ทำให้ GPU เริ่มถูกมองว่าเป็น:

Compute Engine

ไม่ใช่เพียง:

Graphics Processor

NVIDIA เดิมพันกับ CUDA แบบหมดหน้าตัก

Jensen Huang ตัดสินใจให้ CUDA อยู่ใน:

GeForce

ทุกตัว

แม้เกมเมอร์ส่วนใหญ่ไม่ได้ร้องขอ

ตามข้อมูลต้นทาง ทำให้ต้นทุนการผลิตชิปเพิ่มขึ้นสูงถึง:

50%

แต่ NVIDIA ยังคงพัฒนาต่อ

แม้ในช่วง:

Financial Crisis 2008

บริษัทเผชิญแรงกดดันด้านธุรกิจและต้องลดจำนวนพนักงาน

10 ปีที่ CUDA ยังไม่ทำเงิน

สิ่งที่น่าทึ่งคือ:

CUDA ไม่ได้สร้างรายได้โดยตรงเป็นเวลาประมาณ 10 ปี

แต่ NVIDIA เลือกลงทุนต่อ

แม้คู่แข่งอย่าง:

จะสนับสนุนมาตรฐานเปิด:

OpenCL

Jensen Huang ยังคงเดินหน้ากับ:

CUDA

CUDA เปลี่ยนเกม AI

ปี:

2009

ทีมวิจัยของ:

Andrew Ng

ที่ Stanford ทดลองนำ Neural Network มารันบน GPU ผ่าน CUDA

งานที่เคยใช้เวลาประมาณ:

หลายสัปดาห์

สามารถลดเหลือ:

ประมาณหนึ่งวัน

ตามข้อมูลต้นทาง

AlexNet คือจุดระเบิดของ Deep Learning

ปี:

2012

Alex Krizhevsky

ร่วมกับทีมของ:

Geoffrey Hinton

ใช้:

GeForce GTX 580 จำนวน 2 ตัว

และ CUDA ในการฝึกโมเดล:

AlexNet

เพื่อแข่งขันใน:

ImageNet

ผลคือโมเดลทำผลงานเหนือคู่แข่งอย่างชัดเจน

และกลายเป็นหนึ่งในจุดเปลี่ยนสำคัญของ:

Deep Learning Revolution

NVIDIA มองเห็นอนาคตของ AI

เมื่อพบว่า:

GPU + CUDA

สามารถเร่ง Deep Learning ได้อย่างมหาศาล

NVIDIA จึงเริ่มเปลี่ยนทิศทางบริษัทจาก:

Graphics Company

ไปสู่:

AI Computing Company

cuDNN สร้างกำแพงให้ CUDA

ในปี:

2014

NVIDIA เปิดตัว:

cuDNN

หรือชุด Library สำหรับ Deep Neural Networks

ทำให้ Framework AI สำคัญต่าง ๆ สามารถทำงานบน NVIDIA GPU ได้ง่ายขึ้น

ระบบนิเวศจึงกลายเป็น:

CUDA

↓

cuDNN

↓

TensorFlow / PyTorch

↓

AI Developers

↓

NVIDIA GPU

CUDA กลายเป็น Moat

เมื่อ Developer เริ่มเขียน:

Code + Libraries + Models

บน CUDA

การเปลี่ยนไปใช้ Hardware อื่นจึงมี:

Switching Cost

สูง

เพราะไม่ได้เปลี่ยนเพียง:

GPU

แต่ต้องเปลี่ยน:

Software Ecosystem

ด้วย

ทำไม CUDA จึงสำคัญกว่า GPU?

GPU คือ:

Hardware

แต่ CUDA คือ:

Software Ecosystem

ความได้เปรียบจึงเกิดจากการรวม:

Hardware

Compiler

Libraries

Developer Tools

Developer Community

เข้าด้วยกัน

บทเรียนธุรกิจจาก CUDA

1. ลงทุนใน Ecosystem ก่อนรายได้

NVIDIA ยอมให้ CUDA ใช้งานฟรีและลงทุนต่อเนื่อง แม้ยังไม่เห็นรายได้โดยตรง

2. Developer Lock-in มีพลังมาก

เมื่อ Developer ลงทุนสร้าง Software บน Platform

การเปลี่ยนระบบจะมีต้นทุนสูง

3. Hardware อย่างเดียวสร้าง Moat ได้ยาก

คู่แข่งสามารถสร้าง:

ชิปที่เร็วขึ้น

ได้

แต่การสร้าง:

Software Ecosystem

ใช้เวลานานกว่ามาก

4. เดิมพันระยะยาวอาจเปลี่ยนบริษัททั้งองค์กร

NVIDIA ไม่ได้รู้ตั้งแต่วันแรกว่า CUDA จะกลายเป็นศูนย์กลาง AI

แต่การลงทุนต่อเนื่องทำให้เมื่อ:

Deep Learning Boom

มาถึง

NVIDIA พร้อมอยู่แล้ว

FAQ

Q1: CUDA คืออะไร?

A: แพลตฟอร์มและสถาปัตยกรรมของ NVIDIA ที่ช่วยให้นักพัฒนาสามารถใช้ GPU สำหรับงานคำนวณทั่วไปและงาน AI ได้

Q2: ใครเป็นผู้สร้าง CUDA?

A: ทีม NVIDIA ที่นำโดย John Nickolls และมี Ian Buck ซึ่งเคยพัฒนา Brook เข้ามามีบทบาทสำคัญ

Q3: CUDA เปิดตัวเมื่อไหร่?

A: NVIDIA เปิดตัว CUDA พร้อม GeForce 8800 ในเดือนพฤศจิกายน 2006

Q4: AlexNet เกี่ยวข้องกับ CUDA อย่างไร?

A: AlexNet ใช้ NVIDIA GPU และ CUDA ในการฝึก Deep Neural Network และประสบความสำเร็จอย่างมากในการแข่งขัน ImageNet ปี 2012

Q5: ทำไม CUDA ถึงเป็นข้อได้เปรียบของ NVIDIA?

A: เพราะ CUDA ไม่ได้เป็นเพียง Software แต่สร้าง Ecosystem ที่ประกอบด้วย Libraries, Tools, Framework และ Developer Community ทำให้เกิด Switching Cost สูง