CUDA คือแพลตฟอร์มและสถาปัตยกรรมการประมวลผลของ NVIDIA ที่เปิดทางให้นักพัฒนาใช้ GPU ทำงานคำนวณทั่วไปและ Deep Learning ได้ง่ายขึ้น โดย NVIDIA ยอมลงทุนต่อเนื่องหลายปีแม้ยังไม่สร้างรายได้ จน CUDA กลายเป็นรากฐานสำคัญของ AI Ecosystem
เส้นทาง:
GPU สำหรับ Graphics
↓
General-Purpose Computing
↓
CUDA
↓
Deep Learning
↓
cuDNN
↓
AI Ecosystem
ก่อน CUDA GPU ทำอะไร?
ในช่วงต้นยุค:
2000s
GPU มีหน้าที่หลักคือ:
วาดภาพ + ประมวลผลกราฟิก
หากนักวิจัยต้องการใช้ GPU คำนวณสมการทางวิทยาศาสตร์ ต้องใช้วิธีที่ซับซ้อน เช่น:
Texture + Shader
ทำให้การนำ GPU มาใช้คำนวณทั่วไปเป็นเรื่องยากสำหรับโปรแกรมเมอร์
Brook จุดเริ่มต้นของแนวคิด
ในปี:
2004
Ian Buck
ขณะเป็นนักศึกษาปริญญาเอกที่ Stanford ร่วมสร้าง:
Brook
เพื่อซ่อนความซับซ้อนของการเขียนโปรแกรม GPU
ตามข้อมูลต้นทาง Brook สามารถทำงานได้เร็วกว่า CPU ประมาณ:
7 เท่า
แต่ยังติดข้อจำกัดของ GPU ที่ถูกออกแบบมาเพื่อ Graphics
NVIDIA เริ่มสร้างสถาปัตยกรรมใหม่
NVIDIA เริ่มพัฒนาสถาปัตยกรรมใหม่ตั้งแต่:
2002
โดยออกแบบ GPU ให้มี:
หน่วยประมวลผลจำนวนมาก
ที่สามารถทำงาน:
Parallel Computing
พร้อมกันได้
ในปี:
2003
NVIDIA ดึง:
John Nickolls
เข้ามาดูแลโครงการ
และ Ian Buck ก็เข้าร่วม NVIDIA ในเวลาต่อมา
ทำไม CUDA จึงเลือกใช้ภาษา C?
แทนที่จะบังคับให้นักพัฒนาเรียนภาษาใหม่
ทีมเลือกใช้:
C
เป็นพื้นฐาน
เป้าหมายคือ:
ให้ Programmer เดิมสามารถใช้ GPU ได้
โดยไม่ต้องเปลี่ยนวิธีคิดทั้งหมด
CUDA เปิดตัวในปี 2006
เดือน:
พฤศจิกายน 2006
NVIDIA เปิดตัว:
GeForce 8800
พร้อมสถาปัตยกรรมและแพลตฟอร์ม:
CUDA
นี่คือจุดเปลี่ยนสำคัญที่ทำให้ GPU เริ่มถูกมองว่าเป็น:
Compute Engine
ไม่ใช่เพียง:
Graphics Processor
NVIDIA เดิมพันกับ CUDA แบบหมดหน้าตัก
Jensen Huang ตัดสินใจให้ CUDA อยู่ใน:
GeForce
ทุกตัว
แม้เกมเมอร์ส่วนใหญ่ไม่ได้ร้องขอ
ตามข้อมูลต้นทาง ทำให้ต้นทุนการผลิตชิปเพิ่มขึ้นสูงถึง:
50%
แต่ NVIDIA ยังคงพัฒนาต่อ
แม้ในช่วง:
Financial Crisis 2008
บริษัทเผชิญแรงกดดันด้านธุรกิจและต้องลดจำนวนพนักงาน
10 ปีที่ CUDA ยังไม่ทำเงิน
สิ่งที่น่าทึ่งคือ:
CUDA ไม่ได้สร้างรายได้โดยตรงเป็นเวลาประมาณ 10 ปี
แต่ NVIDIA เลือกลงทุนต่อ
แม้คู่แข่งอย่าง:
- Apple
- AMD
- Intel
จะสนับสนุนมาตรฐานเปิด:
OpenCL
Jensen Huang ยังคงเดินหน้ากับ:
CUDA
CUDA เปลี่ยนเกม AI
ปี:
2009
ทีมวิจัยของ:
Andrew Ng
ที่ Stanford ทดลองนำ Neural Network มารันบน GPU ผ่าน CUDA
งานที่เคยใช้เวลาประมาณ:
หลายสัปดาห์
สามารถลดเหลือ:
ประมาณหนึ่งวัน
ตามข้อมูลต้นทาง
AlexNet คือจุดระเบิดของ Deep Learning
ปี:
2012
Alex Krizhevsky
ร่วมกับทีมของ:
Geoffrey Hinton
ใช้:
GeForce GTX 580 จำนวน 2 ตัว
และ CUDA ในการฝึกโมเดล:
AlexNet
เพื่อแข่งขันใน:
ImageNet
ผลคือโมเดลทำผลงานเหนือคู่แข่งอย่างชัดเจน
และกลายเป็นหนึ่งในจุดเปลี่ยนสำคัญของ:
Deep Learning Revolution
NVIDIA มองเห็นอนาคตของ AI
เมื่อพบว่า:
GPU + CUDA
สามารถเร่ง Deep Learning ได้อย่างมหาศาล
NVIDIA จึงเริ่มเปลี่ยนทิศทางบริษัทจาก:
Graphics Company
ไปสู่:
AI Computing Company
cuDNN สร้างกำแพงให้ CUDA
ในปี:
2014
NVIDIA เปิดตัว:
cuDNN
หรือชุด Library สำหรับ Deep Neural Networks
ทำให้ Framework AI สำคัญต่าง ๆ สามารถทำงานบน NVIDIA GPU ได้ง่ายขึ้น
ระบบนิเวศจึงกลายเป็น:
CUDA
↓
cuDNN
↓
TensorFlow / PyTorch
↓
AI Developers
↓
NVIDIA GPU
CUDA กลายเป็น Moat
เมื่อ Developer เริ่มเขียน:
Code + Libraries + Models
บน CUDA
การเปลี่ยนไปใช้ Hardware อื่นจึงมี:
Switching Cost
สูง
เพราะไม่ได้เปลี่ยนเพียง:
GPU
แต่ต้องเปลี่ยน:
Software Ecosystem
ด้วย
ทำไม CUDA จึงสำคัญกว่า GPU?
GPU คือ:
Hardware
แต่ CUDA คือ:
Software Ecosystem
ความได้เปรียบจึงเกิดจากการรวม:
Hardware
Compiler
Libraries
Developer Tools
Developer Community
เข้าด้วยกัน
บทเรียนธุรกิจจาก CUDA
1. ลงทุนใน Ecosystem ก่อนรายได้
NVIDIA ยอมให้ CUDA ใช้งานฟรีและลงทุนต่อเนื่อง แม้ยังไม่เห็นรายได้โดยตรง
2. Developer Lock-in มีพลังมาก
เมื่อ Developer ลงทุนสร้าง Software บน Platform
การเปลี่ยนระบบจะมีต้นทุนสูง
3. Hardware อย่างเดียวสร้าง Moat ได้ยาก
คู่แข่งสามารถสร้าง:
ชิปที่เร็วขึ้น
ได้
แต่การสร้าง:
Software Ecosystem
ใช้เวลานานกว่ามาก
4. เดิมพันระยะยาวอาจเปลี่ยนบริษัททั้งองค์กร
NVIDIA ไม่ได้รู้ตั้งแต่วันแรกว่า CUDA จะกลายเป็นศูนย์กลาง AI
แต่การลงทุนต่อเนื่องทำให้เมื่อ:
Deep Learning Boom
มาถึง
NVIDIA พร้อมอยู่แล้ว
FAQ
Q1: CUDA คืออะไร?
A: แพลตฟอร์มและสถาปัตยกรรมของ NVIDIA ที่ช่วยให้นักพัฒนาสามารถใช้ GPU สำหรับงานคำนวณทั่วไปและงาน AI ได้
Q2: ใครเป็นผู้สร้าง CUDA?
A: ทีม NVIDIA ที่นำโดย John Nickolls และมี Ian Buck ซึ่งเคยพัฒนา Brook เข้ามามีบทบาทสำคัญ
Q3: CUDA เปิดตัวเมื่อไหร่?
A: NVIDIA เปิดตัว CUDA พร้อม GeForce 8800 ในเดือนพฤศจิกายน 2006
Q4: AlexNet เกี่ยวข้องกับ CUDA อย่างไร?
A: AlexNet ใช้ NVIDIA GPU และ CUDA ในการฝึก Deep Neural Network และประสบความสำเร็จอย่างมากในการแข่งขัน ImageNet ปี 2012
Q5: ทำไม CUDA ถึงเป็นข้อได้เปรียบของ NVIDIA?
A: เพราะ CUDA ไม่ได้เป็นเพียง Software แต่สร้าง Ecosystem ที่ประกอบด้วย Libraries, Tools, Framework และ Developer Community ทำให้เกิด Switching Cost สูง