딥스피드(DeepSpeed)

딥스피드(DeepSpeed)는 Microsoft 에서 발표한 딥러닝을 위한 기술 패키지(라이브러리) 입니다.

DeepSpeed는 한 번의 클릭으로 ChatGPT와 유사한 모델 교육을 지원하여 모든 규모에서 전례 없는 비용 절감으로 SOTA RLHF 시스템보다 15배 빠른 속도를 제공합니다.

라고 정의 하고 있습니다. (www.deepspeed.ai 참고)

딥스피드는 아래와 같은 혁신적인 요소들로 구성 됩니다.

딥스피드 트레이닝 (DeepSpeed Training)

딥스피드는 큰 규모의 DL(Deep Learning)훈련을 만들어 효과적이고 효율적, 사용성 개선과 DL(Deep Learning)훈련 환경의 재정으로 시스템 향상을 제공합니다.

딥스피드 추론(DeepSpeed Inference)

딥스피드는 높은 성능의 커스텀 추론 커널, 통신 최적화와 이종(heterogeneous) 메모리 기술들을 통합하여 병렬 기술을 혁신하여 대기시간과 비용을 출이고 처리량을 높였습니다.

딥스피드 압축(DeepSpeed Compression)

추론 효율성을 더욱 높이기 위해 DeepSpeed는 연구원과 실무자가 모델을 압축하는 동시에 더 빠른 속도, 더 작은 모델 크기 및 대폭 감소된 압축 비용을 제공할 수 있도록 사용하기 쉽고 유연하게 구성할 수 있는 압축 기술을 제공합니다.

딥스피드 과학(DeepSpeed Science)

인류의 가장 시급한 과제를 해결하려는 Microsoft의 사명에 따라 Microsoft의 DeepSpeed 팀은 DeepSpeed4Science라는 새로운 계획을 시작하여 이 기회에 대응하고 있습니다. 이는 AI 시스템 기술 혁신을 통해 고유한 기능을 구축하여 도메인 전문가가 오늘날 가장 큰 과학 미스터리를 풀 수 있도록 돕는 것을 목표로 합니다.

딥스피드(DeepSpeed) Transformers, Accelerate, Lightning, MosaicML 에 적용 되었습니다.