SupraLabs、約3000万パラメータのAny2Anyマルチモーダルモデルを実験公開

SupraLabsが「Supra-A2A-Nano-Exp」という実験的なマルチモーダルTransformerを公開しました。最大の特徴は、テキスト・画像・動画をすべて同一のトークンストリームとして扱う点です。

従来のマルチモーダルモデルでは、ビジョンエンコーダや拡散モデル、クロスアテンションなど複数のコンポーネントを組み合わせるのが一般的ですが、このモデルはそれらをすべて排除し、純粋な「次トークン予測」でマルチモーダル処理を実現しています。

モデルサイズは約3,000万パラメータで、コンテキスト長は384トークン。画像は64×64ピクセルをVQ-VAEで64個のトークンに変換し、テキストと同じボキャブラリー空間で処理します。実用レベルではありませんが、「マルチモダリティを言語モデリングだけで表現できる」という概念を実証する興味深いアプローチです。

Nous Researchが自己改善型AIエージェント「Hermes Agent」をリリース

Nous Researchが「Hermes Agent」をGitHubで公開しました。自己改善（self-improving）機能を持つAIエージェントフレームワークで、タスク実行を通じて自律的に性能を向上させる設計になっています。

詳細なアーキテクチャや学習手法はGitHubリポジトリで確認できます。自己改善型エージェントは、エージェントが自身の経験から学習し、次回の実行でより良い結果を出すことを目指すアプローチで、AIエージェント研究の重要な方向性の一つです。

実用性や安定性については今後の評価を待つ必要がありますが、Nous ResearchはオープンソースLLMコミュニティで実績のあるチームであり、注目に値します。

AllenAI、3Dモーション予測モデル「MolmoMotion」をリリース

AllenAIがMolmoMotionファミリーから2つのモデル（4B-H3-F30、4B-H1-F32）をHugging Faceで公開しました。これらは4Bパラメータのビジョン言語モデルで、自然言語の指示に基づいて3D空間でのポイント軌跡を予測します。

具体的には、短いRGB観測履歴とユーザーが指定した2Dクエリポイント、そしてアクションの説明を入力すると、対象物が今後どのように移動するかを3D座標で予測します。F30は3フレーム履歴、F32は1フレーム履歴で学習されており、異なる観測条件に対応します。

ロボティクスや自動運転、スポーツ分析など、物体の未来位置を予測する必要がある幅広い応用分野で活用が期待されます。

LLMをゼロから学習する包括チュートリアルが話題

「Train LLM from Scratch」という、大規模言語モデルを一から学習する手法を解説したチュートリアルがHacker Newsで取り上げられました。トークナイゼーション、データ前処理、アーキテクチャ設計、学習プロセスまでを網羅的にカバーしており、LLMの仕組みを実践的に理解したい開発者にとって有用なリソースです。

AI利用の透明性を問う――「AIで書いたと言わないこと」

テスト専門企業Satisficeのブログで「Don't Say You Use AI for Writing」という記事が公開されました。AIを使ってコンテンツを作成した際、それを開示しないことのリスクについて警鐘を鳴らしています。

記事では、AI生成コンテンツを人間が書いたかのように提示することで、読者の信頼を損なう可能性を指摘。特に専門性が求められる領域では、AIの使用を率直に伝えることが長期的な信頼構築につながると論じています。AIツールが浸透する中で、利用の透明性をどう扱うかは継続的な議論トピックです。