ollama:管理者パネル->モデル→設定→高度なパラメータを表示
Temperature:単語予測するときの内部で候補となる単語群に割り当てる確率の差をどのくらい設けるか。Temperatureを低くするとハルシネーションが起こりにくくなる。また、推敲も安定化する。デフォルトは0.8。今回は0.2に設定。
top_k:次の単語を予測するときに確率の高い上位k個の単語に絞り込む機能。これを下げることにより、突拍子もない単語や、専門用語として不適切な表現が混ざることを防ぐ。デフォルトは40だが、10~20を推奨。20に設定。
top_p:累積確率がpに達するまでの単語群から選択する設定(Nucleusサンプリング)。これを下げることにより、より出現確率の高い言葉だけ文章を構成するようになる。デフォルトは0.9だが、0.5~0.7推奨。0.5に設定。
repeat_penalty:同じ単語を避ける傾向。これが高いと無理やり、言葉を言い換えるために文章の前後のつながりが悪くなる。デフォルトは1.1だが、1にする。1未満にすると、同じ言葉を繰り返してしまうために避ける。
num_ctx:モデルが一度に処理・記憶できるコンテキストウインドウ(トークン数)のサイズ。デフォルトは2048。今回は4096に設定。モデルと併せてVRAMのサイズ内に収まるようにすること。
0 件のコメント:
コメントを投稿