ollamaとLM Studio

 チャットを使うだけであれば、どちらでもよい、というか、アプリひとつで対応できるLM Studioの方が良いかもしれない。ollamaだったら、べつにdockerとopen-webuiを準備しなくてならないから。しかし、エージェントAIまで考えるとバックグラウンドで走るollamaが必要になるので、結局、ollama(llama.cpp)について勉強することにはなる。

Iの「コンテキストウィンドウ」ちゃんと理解してる？

 コンテキストウインドウはあまり長くしすぎても、真ん中あたりの情報をちゃんとaiが保持していないことがあるので、モデルや、VRAMの大きさを考慮して、バランスを取るにしたほうがよいらしいです。

LM StudioでローカルAIがもっと身近に！セットアップ方法と使用感は？

 

なぜ高いグラボより、地味なMacのほうが大きいAIを動かせるのか【ゆっくり解説】

 

AIの「コンテキストウィンドウ」ちゃんと理解してる？

 

Ollamaの落とし穴、知らずに使うと精度が壊れる