概要
生成AI技術(大規模言語モデルなど)をエッジデバイスに実装するための基礎理論と実践的 手法を学ぶ。
Raspberry Pi上で軽量モデルを動作させるハンズオンを通して、性能限界・軽量化技術・ クラウドとの分担設計を体感する。 最終的に「エッジAIモデルを組み込んだプロダクト企画書」を作成し、現実的な技術選定 とシステム設計判断の力を養う。
担当者
中島 達夫(早稲田大学)
田淵 大将
大甲 隼土
到達目標
以下の知識やスキルを習得することを目標とする。
‐生成AI(特にLLM)の基本構造とリソース要求を理解する。
‐エッジデバイスで生成AIを動作させる際の性能限界を体感する。
‐モデル軽量化・蒸留・クラウド連携の基礎手法を理解する。
‐エッジAIを活用した現実的なプロダクト企画を立案できる。
準備学習・前提知識
‐Pythonの基本操作(コマンドライン・スクリプト実行レベル)
‐Raspberry Piなど小型デバイスでの基本的操作経験
‐AIモデルの基本概念(機械学習・推論の流れ)
‐Google Colabを利用するためのGoogleアカウント
履修時間
時数:4コマ 時間数:6時間
実施方法
ハイブリッド(Zoom or 対面 ※参加方法は選択可能)
※演習ではRaspberry Piを用いる。受講者は自身の端末または貸与機材を使用。
計画
| 回 | 概要 | 講師 | 実施方法 | 講義形態 |
|---|---|---|---|---|
| 1 | 先端組込み/IoTシステム | 中島 達夫 | Zoom or 対面 | 座学・演習 |
| 2 | 生成AIの仕組みとエッジ実装の現実 (Raspberry Pi上、Google Colab 上でそれぞれSLMを動作させる) |
田淵 大将 大甲 隼土 |
Zoom or 対面 | 座学 ハンズオン |
| 3 | 軽量化・蒸留・分散推論の基礎 | 田淵 大将 大甲 隼土 |
Zoom or 対面 | 座学 ハンズオン |
| 4 | エッジAIプロダクト設計と技術判断 (エッジにてSLMを組み込んだプロダクト) |
田淵 大将 大甲 隼土 |
Zoom or 対面 | 演習 |
機材
全員配布:Raspberry Pi 5(8GB)、センサスターターキット
各自用意:ディスプレイ、キーボード、マウス(いずれもRaspberry Pi 操作用)、USBメモリ(8GB程度で可)
※教室での対面受講者へはディスプレイ、キーボード、マウスを貸出いたします。
ソフトウェア
Python 3.x(標準環境)
llama.cpp / Ollama などの軽量モデル実行環境
任意のテキストエディタ(VSCode推奨)
量子化済みモデルファイル(事前配布予定)
※インストール方法は講義前に別途指示
参考書
‐戸川望、情報処理学会組込みシステム研究会(著)、組込みシステム概論、CQ出版、2008
‐K.C. Wang(著)、Embedded and Real-Time Operating Systems、Springer、2017
‐Timothy Chou(著)、Precision: Principles, Practices and Solutions for the Internet of Things、Lulu.com、2016
‐トランジスタ技術編集部(著)、ラズパイで入門!Linux I/Oプログラミング教科書、CQ出版、2019
評価
提出レポート(100%)
【エッジAIモデルを組み込んだプロダクト企画書】
-技術的理解:軽量化・構成選定の妥当性
-論理性:問題設定と技術提案の一貫性
-実現可能性:制約・リスクの考慮
参考情報
2020年度 K09 iCDスキルマッピング β版
※今後見直しの可能性があります。
