Technology

国内で、コスパ良く、
安全に使える推論を。

そのための3つの強みと、なぜそうするのかを書きます。

垂直展開

データセンターだけ、GPUだけでは、
推論の品質は守れない。

なぜ: 推論の速さと費用は、データセンターの電力と冷却、GPUの選び方、モデルの動かし方の組み合わせで決まります。1つの層だけを持つ会社は、ほかの層の条件に合わせるしかありません。
どうする: 土地・電力・通信・建屋から、GPUの計算基盤、推論のAPIまでを、1社で設計します。推論がどう使われているかを、データセンターと計算基盤の設計に返します。

比べるのは、GPUの単価ではなく、
1トークンの費用。

なぜ

同じGPUでも、モデルの動かし方と割り当て方で、出せるトークンの数は変わります。GPUを借りても、使い切れなければ、1トークンの費用は下がりません。

どうする

AIモデルの運用効率＝モデルに合う量子化と推論エンジンを選び、1つのGPUで出せるトークンを増やします。応答の品質と速さを確かめてから切り替えます。

GPUの運用効率＝使った分だけGPUを割り当て、空き時間をなくします。処理に合わせて、GPUの種類を選びます。

巨大な1か所ではなく、
全国の拠点をつないで1つに。

なぜ: 日本では、土地と送電の制約から、巨大なデータセンターを1か所に集めにくい。一方で推論は、最上位のGPUでなくても動きます。ただ、拠点を分けると、つなぐ手間が増えます。
どうする: 回線が集まる都市部のハブと、全国のGPU拠点を専用線でつなぎ、1つの推論基盤として運用する構想です。回線だけでなく、モデル・必要なデータの配置、各拠点が処理を受けられる容量、依頼の振り分けと再実行までを合わせて設計します。

お客様企業・自治体・研究機関・AI開発企業

↓ 専用線・閉域網・インターネットでハブにつなぐ

Connectivity Hub回線が集まる都市部のデータセンター

首都圏ハブ関西ハブ九州ハブ

実装準備中

↓ モデル・データ・処理容量を踏まえて、依頼を各拠点へ

GPU拠点電力と土地を確保しやすい全国の地域

拠点A拠点B拠点C＋拠点を足せる

実装準備中

必要なモデルとデータを、処理を担う拠点へ配置する設計です。

各拠点の処理容量と稼働状況を踏まえ、依頼先を判断する仕組みを目指します。

回線と拠点をつなぎ、モデルや処理条件に合う拠点へ依頼を振り分ける構想です。

依頼の状態を管理し、中断時の再実行を含めて継続性を設計します。

拠点から設計するから、GPUの置き方を推論に合わせられる。

運用で効率を上げるから、小さな拠点でも1トークンの費用を下げられる。

ハブでつなぐから、拠点を足しても1つの基盤として使える。