最大2倍高速な推論エンジン「Magnitude」公開、ハードごとに自動最適化

STORY

記事概要

Magnitude AIは、AIエージェント向けに開発したオープンソースのLLM推論エンジン「Magnitude」を公開している。ライセンスはApache-2.0で、トークン費用はかからず完全無料で利用できる。