cuda-convnet の内部：AlexNet のデュアル GPU レイヤーと ImageNet の時代
2012 年の AlexNet のマイルストーンは、低レベルの GPU エンジニアリング（cuda-convnet）と分割されたデュアル GPU アーキテクチャに支えられ、より深く効率的なコンピュータビジョンモデルへの急速な競争を直接引き起こしました。
AI
Tensor Core、Triton、残差ネットワーク、Vision Transformer
2015 年から現在までに、ディープラーニングは手作業で調整された C++ GPU コードと畳み込みネットワークから、ハードウェア加速された行列エンジンと Transformer アーキテクチャへと進化しました。これら 3 つのマイルストーンが、現代の AI モデルの設計とスケーリングの方法を定義しています。
Self-Attention、CUDA カーネル、FlashAttention
現代の Transformer は、Self-Attention の行列演算、Triton のような高レベル GPU コンパイラ、FlashAttention のようなメモリを意識した CUDA カーネルに依存し、膨大なトークンシーケンスをピークのハードウェア速度で処理しています。
CUDAはいかにしてディープラーニングを支えるか
CUDA（Compute Unified Device Architecture）は、NVIDIAの並列コンピューティングプラットフォーム兼プログラミングモデルであり、ディープラーニングフレームワークがGPU上で膨大な数学的計算を実行できるようにします。数百万の独立した演算を数千のGPUコアに同時に分散させることで、CUDAはニューラルネットワークの学習時間を数週間から数時間へと短縮します。 [1] 、 [2] 、 [3]
CUDAの普及：初期のGPU実験からAlexNetのブレイクスルーまで
2006年から2009年にかけて、AI研究者たちはニューラルネットワークにおけるCUDAの圧倒的な性能優位性に気づき始め、決定的な主流へのブレイクスルーは2012年に起こりました。この転換以前、ニューラルネットワークは遅すぎ、計算コストが高すぎて実用的ではないと広く見なされていました。
AlexNet：2012年のブレイクスルーを支えたCUDAエンジニアリング
2012年、AlexNetのブレイクスルーは、CUDA対応GPUと組み合わせた深層ニューラルネットワークが数十年にわたる従来のコンピュータビジョン工学を上回ることを証明しました。ImageNet Large Scale Visual Recognition Challenge（ILSVRC）において、Alex Krizhevsky、Ilya Sutskever、Geoffrey Hintonはトップ5エラー率15.3%を達成し、2位の2
Life360、家族の位置情報サービスを外部AIアシスタントに開放
Life360はFamily Intelligenceプラットフォームを第三者のAIアシスタントに開放し、接続されたエージェントが家族の位置情報サービスに情報を照会できるようにした。同社によるとアクセス提供は先週始まり、会員による連携機能の利用方法から学ぶ方針である。