前回のPart 2では、量子化・プルーニング・知識蒸留といったモデル圧縮手法を解説した。本稿では、圧縮済みモデルをFPGA上で実際に動作させるための実装テクニックに踏み込む。HLS（高位合成）ツールを活用したC++記述からRTL生成まで、パイプライン設計とメモリ最適化を組み合わせたエンドツーエンドのデプロイ手順を具体的に紹介する。
HLSによるFPGA実装の基本
VHDL/VerilogによるRTL直書きは開発コストが高いため、近年ではVitis HLSやIntel HLS Compilerといった高位合成ツールが主流になっている。これらのツールはC/C++記述からRTLを自動生成し、#pragma HLS PIPELINEや#pragma HLS UNROLLなどのディレクティブでハードウェアの並列性を制御できる [Source: https://docs.amd.com/r/en-US/ug1399-vitis-hls]。
行列積（GEMM）カーネルを例に取ると、三重ループに対して以下のような最適化が有効である。まず内側ループにPIPELINE II=1を指定することで、イニシエーション・インターバル1クロックの完全パイプラインを実現できる。次にARRAY_PARTITIONディレクティブでBRAMをバンク分割し、同時アクセス数を増やすことで演算器の稼働率を維持する [Source: https://docs.amd.com/r/en-US/ug1399-vitis-hls]。
void gemm(ap_int<8> A[M][K], ap_int<8> B[K][N], ap_int<32> C[M][N]) { #pragma HLS ARRAY_PARTITION variable=A cyclic factor=8 dim=2 #pragma HLS ARRAY_PARTITION variable=B cyclic factor=8 dim=1 for (int i = 0; i < M; i++) { for (int j = 0; j < N; j++) { #pragma HLS PIPELINE II=1 ap_int<32> acc = 0; for (int k = 0; k < K; k++) { acc += A[i][k] * B[k][j]; } C[i][j] = acc; } } } INT8量子化済みの重みを用いることで、FP32比で4倍のデータ密度とDSPブロックの高効率利用が可能になる。
オンチップBRAMを活用したメモリ帯域最適化
FPGAの性能ボトルネックはしばしばオフチップDDR帯域に起因する。大規模言語モデルのエッジ展開では、重みをできる限りオンチップBRAMやURAMに格納することが重要だ。
Xilinx UltraScale+シリーズではBRAMが最大34Mb、URAMが最大270Mb搭載されており、4ビット量子化モデルであれば数百MBクラスのモデルの一部レイヤーをオンチップに収められる可能性がある [Source: https://www.amd.com/en/products/adaptive-socs-and-fpgas/fpga/virtex-ultrascale-plus.html]。
具体的なテクニックとして、(1) 重みの静的配置によるDDRアクセス削減、(2) ダブルバッファリングによる計算とデータ転送のオーバーラップ、(3) タイリング（tiling）による局所性の確保、が挙げられる。タイリングでは行列をサブブロックに分割し、各タイルをBRAMに転送してからDSPで処理するため、DRAM帯域の要求を大幅に抑制できる。
FINNフレームワークによるエンドツーエンドデプロイ
FINN（Fast Inference of Neural Networks）はAMD（旧Xilinx）が開発したオープンソースフレームワークで、量子化ニューラルネットワークをFPGAに自動デプロイする機能を提供する [Source: https://github.com/Xilinx/finn]。BrevitasでPyTorchモデルをQNNに変換し、FINNのコンパイラパイプラインを通じてVivadoで合成可能なHLSコードを生成する流れが標準的だ。
FINNのワークフローは以下のステップで構成される。まずBrevitasによるQAT（量子化認識訓練）でINT2からINT8のモデルを作成する。次にbrevitas.export.export_finn_onnx()でONNXモデルを出力し、FINNコンパイラがONNXグラフをStreamingFCLayerなどのHLSブロックにマッピングする。最終的にVivadoでビットストリームを生成し、ZynqやVersalボードに実装する [Source: https://github.com/Xilinx/finn]。FINNはResNetやMobileNetといったCNNに加えて、Transformerの一部アーキテクチャにも対応が進んでいる。
hls4mlフレームワークの活用
hls4mlはCERNが中心となって開発したフレームワークで、KerasやPyTorchモデルからVitis HLS用のC++コードを自動生成する [Source: https://github.com/fastmachinelearning/hls4ml]。高エネルギー物理学の実験データ処理に端を発するが、エッジAI全般への応用が拡大している。
hls4ml.convert_from_keras_model()一行でHLSプロジェクトが生成され、hls_model.compile()でシミュレーションも実行可能だ。レイテンシとリソース消費量のトレードオフはコンフィグレーションYAMLで調整でき、ReuseFactorパラメータを大きくすることでDSP使用量を削減しつつスループットを制御する設計も選択できる [Source: https://github.com/fastmachinelearning/hls4ml]。
NVIDIAが発表したNemotron 3 Nano 4Bのような小規模ハイブリッドモデルは、パラメータ数が4B程度に抑えられており、適切な量子化と組み合わせることでFPGAへの部分的なオフロードが現実的な選択肢となってきている [Source: https://huggingface.co/blog/nvidia/nemotron-3-nano-4b]。
まとめと実践的指針
本シリーズを通じて、(1) FPGAアーキテクチャの基礎、(2) モデル圧縮・量子化技術、(3) HLSおよびフレームワークによる実装最適化、という三層構造でエッジLLM展開の全体像を解説した。
実践的な出発点として、まずhls4mlでMLP規模のモデルをZynqボードに実装し、BRAMおよびDSPリソース消費のプロファイリングから始めることを推奨する。大規模Transformerへの拡張は、アテンションヘッドの分散配置やKVキャッシュのタイリングなど、さらに複雑な設計判断を要するが、FINNとhls4mlのコミュニティでは活発な研究開発が継続している。ハードウェアとソフトウェアの境界が曖昧になるこの領域では、アルゴリズム設計者とRTLエンジニアの緊密な協働が、エッジAI実装における競争優位を生み出す鍵となるだろう。
Category: LLM | Tags: FPGA, HLS, エッジAI, LLM推論最適化, 量子化
