Uranos8685のおもちゃ箱

Panasonicの炊飯器のボタン修理

Uranos8685 — Fri, 07 Aug 2026 10:10:56 +0000

はじめに

　2021年頃に買ったPanasonicのIH炊飯器（SR-FE109-K）の炊飯ボタンの反応が非常に悪くなってしまいました。

操作パネルの分解

　操作パネルの表はプラのシートが両面テープで貼られているだけなので、カッターナイフなどでうまくペリッとやっちゃってください。

　透明なプラのカバーがネジ3点で留まっているので、それを外したのが下の状態です。（写真撮り忘れたので、修理後の動作確認写真を使いました）

壊れたボタンの取り外し

　ハンダごてを使って、壊れたボタンを基板の裏から外してください。

　スイッチは6x6x5mmのモノが適合します。私は以下のスイッチを使いました（アフィリエイトリンクではありません！）。

Amazon.co.jp: MKBKLLJY 150個 2ピン瞬間タクタイルタクトプッシュボタンスイッチ 6 x 6 x 5mm ミニマイクロタクトスイッチ ON/OFF アソートキットはんだワイヤ付き、対応パネル PCB ブレッドボード回路基板 : 産業・研究開発用品

Amazon.co.jp: MKBKLLJY 150個 2ピン瞬間タクタイルタクトプッシュボタンスイッチ 6 x 6 x 5mm ミニマイクロタクトスイッチ ON/OFF アソートキットはんだワイヤ付き、対応パネル PCB ブレッ…

　左が純正、右がAmazonのスイッチです。四角くはなりますが、ちゃんとはまりました。

　付け替えた図。高さもいい感じです。まあ、多少の高さはハンダする際に浮かせたりすれば調整できなくもないです。

動作確認

　元に戻して動作確認。無事動きました。

どこかでみた写真だ…

　終わり！

The post Panasonicの炊飯器のボタン修理 first appeared on Uranos8685のおもちゃ箱.

WordPressで重めの記事が投稿できなかった場合の対処法

Uranos8685 — Wed, 29 Jul 2026 18:37:16 +0000

　なぜかメディアファイルモリモリの記事を投稿しようとすると、投稿エラーになってしまったため、いろいろ試行錯誤した結果の解決策を備忘録として記録する。

WordPressの実行環境

サーバー：Synology NAS
MariaDB：Synologyパッケージセンターからインスコ
WordPress：WebStationでサービスを立てている

対処法

　結論はMariaDBのパケットサイズ制限（max_allowed_packet）に引っかかっていたために投稿エラーになっていた。
　設定変更はSynologyのWebUI上では出来ないため、SSH接続したターミナルでコマンドを実行していく。

設定ファイル（.cnf）の検索

　SSHでSynologyNASに接続したら、以下のコマンドを叩いて既存の.cnfファイルがないか確認する。

sudo find /volume1/@appstore -iname "my.cnf" 2>/dev/null

　だいたい、「/volume1/@appstore/MariaDB10/xxx/xxx/mariadbxx/etc/mysqld.conf」のようなものがデフォルトで作成されているはず。
　sudo catコマンドで中身を確認する。

sudo cat /volume1/@appstore/MariaDB10/xxx/xxx/mariadbxx/etc/mysqld.conf

　すると、mysqld.confの中身が表示される。

DO NOT EDIT THIS FILE !!!

You can change the port on user interface of MariaDB10.

Please add other custom configuration to /var/packages/MariaDB10/etc/my.cnf

#
[client]
socket = /run/mysqld/mysqld10.sock

[mysqld]
bind-address = 0.0.0.0
socket = /run/mysqld/mysqld10.sock
pid-file = /run/mysqld/mysqld10.pid
skip-external-locking
key_buffer_size = 16K
max_allowed_packet = 1M
table_open_cache = 4000
read_buffer_size = 256K
read_rnd_buffer_size = 256K
net_buffer_length = 2K
thread_stack = 240K
innodb_data_home_dir = /var/packages/MariaDB10/target/mysql
innodb_data_file_path = ibdata1:10M:autoextend
innodb_log_group_home_dir = /var/packages/MariaDB10/target/mysql
innodb_buffer_pool_size = 16M
innodb_file_per_table = 1
innodb_flush_method = fsync
synology_password_check = FORCE_PLUS_PERMANENT

[mysqld_safe]
open_files_limit=5000

[mysqldump]
quick
max_allowed_packet = 16M

この中のmax_allowed_packet = 16Mを拡張する必要がある。ただし、直接編集せずに/var/packages/MariaDB10/etc/my.cnfに設定値を書き込むよう注意書きがあるため、その通りに処理をする（人によってパスは違うかも）。

　まずは、/var/packages/MariaDB10/etc/my.cnfがあるかを確認。

sudo cat /var/packages/MariaDB10/etc/my.cnf

　あってもなくても、以下のコマンドでmy.cnfを開く（または新規作成）。

sudo vi /var/packages/MariaDB10/etc/my.cnf

（max_allowed_packetがない場合）

　iキーを押して編集モードにする。画面下に「— INSERT —」と表示されればOK。
　この状態で以下の内容を入力する。

[mysqld]
max_allowed_packet = 512M

　Escキーで編集モードを終了する（画面下– INSERT –が消える）。

（max_allowed_packetがすでに入力済みの場合）

　矢印キーで「max_allowed_packet」の行にカーソルを合わせ、ddと入力するとその行が消える。
　あとはiキーで編集モードにした上で「max_allowed_packet = 512M」のような形で更新したい値を入力する。

（max_allowed_packetがある場合・ない場合共通）

　入力した値を保存する。保存は以下のコマンドを入力する。

:wq

　編集画面も保存と同時に閉じられて元のターミナルに戻るので、以下のコマンドで作成したファイルを読めるか確認する。

cat /var/packages/MariaDB10/etc/my.cnf

　書き込んだ値が表示されればOK。あとはMariaDBを再起動し、Wordpressに再ログインして記事を保存できるか確認するだけ。

The post WordPressで重めの記事が投稿できなかった場合の対処法 first appeared on Uranos8685のおもちゃ箱.

Safetensors形式のモデルをLiteRT-LM形式に変換してみる

Uranos8685 — Sun, 19 Jul 2026 03:59:40 +0000

WSL2のセットアップ

　Windowsの機能の有効化または無効化で、「Linux用Windowsサブシステム」と「Windowsサンドボックス」を有効化し、再起動する。

　管理者権限でPowerShellを立ち上げ、以下のコマンドを実行する。Ubuntuがインストールされるので再度再起動する。

wsl --install

　スタートメニューに「Ubuntu」が追加されているので、これをクリックするとUbuntuが立ち上がるとともにターミナルが表示される。

WSL2の環境構築

必要なツールをインストール

　以下のコマンドを実行する。

sudo apt install git git-lfs python3-pip python3-venv

　python –versionと叩いてpythonが入っていることを確認する。入っていなければ以下のコマンドでインストールする。

sudo apt install python3.12

　Python環境構築用にuvをインストール

python3 -m pip install --user -U uv
uv --version

　uvのバージョンが表示されなければPATHが通っていないので、設定してあげる。

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

　作業ディレクトリを作成する。今回はユーザーフォルダ直下に「litert-conversion」という名前のディレクトリを作成。
　そして、作成したフォルダへ移動する。

mkdir -p ~/litert-conversion
cd ~/litert-conversion

　仮想環境を作成する。なお、Python3.14を使うとtorchaoでtyping.Unionエラーが出るそうなのでPython3.12を使うことを推奨（1敗）。

python3.12 -m venv litert-lm-20260719

fail to import torchao.quantization.pt2e ?? Issue #3619 ?? pytorch/ao

import torch,torchao import torchao.quantization.pt2e There is following issue: Traceback (most recent call last): File …

　仮想環境の立ち上げは以下のコマンドで行う。

source litert-lm-20260719/bin/activate

　立ち上がったら、以下のコマンドを実行してlitert-torch-nightlyをインストールする。

python -m pip install --upgrade pip
python -m pip install uv
uv tool install --python 3.12 litert-torch-nightly

　uv tool listと入力・実行した際に以下のようになっていればOK。

　litert-torchが立ち上がるか、以下のコマンドで確認する。

litert-torch --help

こんな感じで表示されればOK。「q」と入力することで元の画面に戻れる。

変換対象のモデルを配置

　変換するモデルが未ダウンロードであれば、huggingface-hubをpipしてダウンロードしてもよいが、今回はモデルは既にWindows側でダウンロード済みのため、それをLinux環境にコピーして使う。
　エクスプローラーで以下の赤枠を選択すると、Linux側のファイルを参照できる。

　今回は、作成した作業ディレクトリと同じ階層にモデルを配置した。使うモデルはQwen2.5 Coder-7B Instruct。

変換対象のモデルファイルを格納したディレクトリ

　作業ディレクトリに変換したモデルを出力するためのoutputフォルダを作成する。

mkdir -p ~/litert-conversion/output

モデルを変換

　–quantization_recipeで量子化の形式を選択できるとのこと。今回は「dynamic_wi4_afp32」を選択。

litert-torch export_hf --model="$HOME/Qwen2.5-Coder-7B-Instruct" --output_dir="$HOME/litert-conversion/output" --externalize_embedder --quantization_recipe=dynamic_wi4_afp32

　実行中のログは以下のとおり。変換には7分半ほどかかった。

　ちなみに、今回の変換に当たってメモリの割り当ては以下のようにした。RAM70GB、スワップ25GBでもメモリ不足になり、最終的にRAM70GB、スワップ50GBでようやく成功した…。

　生成されたモデルファイルは以下のとおり。元々は14GB強のモデルが4GB弱になった。

変換したモデルを実行してみる（CPU推論）

　モデルをWindows側にコピーして、以下のコードで実行してみる。

import os
import psutil
import time
import litert_lm

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB

model_path = r"H:\LLM_Models\litert-lm\qwen2.5-coder-7b-it-dynamic_wi4_afp32\qwen2.5-coder-7b-it-dynamic_wi4_afp32.litertlm"

PROMPT = (
    "transformersとFAISSとstreamlitを使った、"
    "QAチャットボットをPythonで構築して。"
)


process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2
start = time.perf_counter()

with litert_lm.Engine(
    str(model_path),
    backend=litert_lm.Backend.CPU(),
) as engine:

    with engine.create_conversation() as conversation:
        response = conversation.send_message(PROMPT)

        answer = response["content"][0]["text"]

        mem_during = process.memory_info().rss / 1024**2

end = time.perf_counter()

mem_after = process.memory_info().rss / 1024**2

print(answer)

print("=" * 60)
print(f"実行前メモリ使用量       : {mem_before:.2f} MB")
print(f"モデル使用中メモリ使用量 : {mem_during:.2f} MB")
print(f"解放後メモリ使用量       : {mem_after:.2f} MB")
print(f"モデル使用中の増加量     : {mem_during - mem_before:.2f} MB")
print(f"実行時間                 : {end - start:.3f} 秒")

　出力結果はいい感じ。

もちろんです。以下は、transformersとFAISSとstreamlitを使用して質問応答チャットボットを構築するためのPythonコードの基本的な例です。

まず、必要なライブラリをインストールします。

pip install transformers faiss-cpu streamlit

次に、以下のコードを実行します。

import streamlit as st
from transformers import pipeline
import faiss
import numpy as np

# transformersのpipelineを使用して、質問応答モデルをロードします。
qa = pipeline(“question-answering”)

# ここでは、事前に学習済みのモデルを使用しますが、必要に応じて独自のモデルを読み込むこともできます。
model_name = “bert-base-japanese”

# データセットをロードします。ここでは、事前に学習済みのモデルを使用しますが、必要に応じて独自のデータセットを使用することもできます。
# dataset = load_dataset(“squad_japanese”)

# データをベクトル化します。
# sentences = dataset[“train”][“context”] + dataset[“train”][“question”]
# inputs = qa.tokenizer(sentences, return_tensors=”pt”, truncation=True, padding=True)
# with torch.no_grad():
# embeddings = model(**inputs).last_hidden_state

# ベクトルを保存します。
# np.save(“embeddings.npy”, embeddings)

# 事前に学習済みのベクトルを読み込みます。
embeddings = np.load(“embeddings.npy”)

# FAISSでインデックスを作成します。
index = faiss.IndexFlatL2(embeddings.shape[1])
index.add(embeddings)

# Streamlitのアプリケーションを作成します。
st.title(“質問応答チャットボット”)

# ユーザーからの入力を取得します。
query = st.text_input(“質問を入力してください:”)

# 入力された質問をベクトル化します。
inputs = qa.tokenizer([query], return_tensors=”pt”, truncation=True, padding=True)
with torch.no_grad():
query_embedding = model(**inputs).last_hidden_state

# 最も近いベクトルを検索します。
D, I = index.search(query_embedding, 1)

# 最も近いベクトルに対応する回答を取得します。
answer = qa(question=query, context=dataset[“train”][“context”][I[0][0]])[“answer”]

# 回答を表示します。
st.write(answer)

このコードは、質問応答モデルを使用してユーザーからの質問を処理し、最も近いベクトルに対応する回答を返すシンプルなチャットボットを実装しています。ただし、このコードは非常に単純なものです。実際のアプリケーションでは、データの事前処理、モデルの調整、ユーザーインターフェースの改善など、多くの要素を考慮する必要があります。

実行前メモリ使用量 : 646.44 MB
モデル使用中メモリ使用量 : 4143.16 MB
解放後メモリ使用量 : 101.20 MB
モデル使用中の増加量 : 3496.73 MB
実行時間 : 87.121 秒

↓生成テストの実行結果をHTML出力したもの

litert-lm-test ダウンロード

今回作成したモデルのHuggingFaceリポジトリ

Uranos8685/qwen2.5-coder-7b-it-dynamic_wi4_afp32 · Hugging Face

The post Safetensors形式のモデルをLiteRT-LM形式に変換してみる first appeared on Uranos8685のおもちゃ箱.

Python＋OpenVINOでSafetensors形式のモデルを実行してみる

Uranos8685 — Fri, 17 Jul 2026 13:12:28 +0000

実行環境

　備忘録。2026年7月時点のWindows Updateは全て適用した状態のPC。
　OpenVINOのSystem Requirementsでは、Intel CPUとARM Chipsetのみのサポートとなっているが一応AMD CPUもイケるらしい。

System Requirements — OpenVINO??｢ documentation

Whisperモデルの軽量化 - TadaoYamaokaの開発日記

ONNXにしたWhisperのモデルの推論を速くするために、以下の方法を試した。 OpenVINOで推論 FP16化 INT8量子化 Whisperのモデルはbaseを使用している。 OpenVINOで推論 OpenVINOは、intelの...

環境構築

　上記System Requirementsにて、Pythonは3.10-3.14が要件とのこと。
　AnacondaにてPython 3.14のまっさらな環境を作成した。

　公式ドキュメントによると「OpenVINOランタイムは、動作に特定のC++ライブラリを必要とします」とのことで、以下の開発環境を推奨していた。今回はCmakeとIntelHD Graphicsドライバーのみ未インストールの環境で実行した。

Microsoft Visual Studio 2019以降
CMake 3.16以降
Python 3.10～3.14
GPU 上での推論にはIntel® HD Graphics ドライバーが必要です

　Visual Studioでインストールしているコンポーネントは次のとおり。

　作成したPython環境には、下表のライブラリをpip installした。

ライブラリ名	pip コマンド
OpenVINO GenAI	pip install openvino-genai
Optimum Intel	pip install optimum[openvino,nncf]
Jupyter Lab	pip install jupyterlab
ipywidgets	pip install ipywidgets

　pip installするライブラリの参考にしたドキュメントはこちら。

Download the Intel Distribution of OpenVINO Toolkit

Select your operating system, distribution channel and then download your customized installation of openVINO.

Inference with Optimum Intel — OpenVINO??? documentation

Learn how to use the native OpenVINO package to execute LLM models.

　構築後の仮想環境のライブラリは以下のとおり。

annotated-doc==0.0.4
anyio==4.14.2
argon2-cffi==25.1.0
argon2-cffi-bindings==25.1.0
arrow==1.4.0
asttokens==3.0.2
async-lru==2.3.0
attrs==26.1.0
babel==2.18.0
beautifulsoup4==4.15.0
bleach==6.4.0
certifi==2026.6.17
cffi==2.1.0
charset-normalizer==3.4.9
click==8.4.2
colorama==0.4.6
comm==0.2.3
debugpy==1.8.21
decorator==5.3.1
defusedxml==0.7.1
executing==2.2.1
fastjsonschema==2.21.2
filelock==3.30.2
fqdn==1.5.1
fsspec==2026.6.0
h11==0.16.0
hf-xet==1.5.2
httpcore==1.0.9
httpx==0.28.1
huggingface_hub==1.24.0
idna==3.18
ipykernel==7.3.0
ipython==9.15.0
ipython_pygments_lexers==1.1.1
ipywidgets==8.1.8
isoduration==20.11.0
jedi==0.20.0
Jinja2==3.1.6
joblib==1.5.3
json5==0.15.0
jsonpointer==3.1.1
jsonschema==4.26.0
jsonschema-specifications==2025.9.1
jupyter-events==0.12.1
jupyter-lsp==2.3.1
jupyter_builder==1.1.0
jupyter_client==8.9.1
jupyter_core==5.9.1
jupyter_server==2.20.0
jupyter_server_terminals==0.5.4
jupyterlab==4.6.1
jupyterlab_pygments==0.3.0
jupyterlab_server==2.28.0
jupyterlab_widgets==3.0.16
lark==1.3.1
markdown-it-py==4.2.0
MarkupSafe==3.0.3
matplotlib-inline==0.2.2
mdurl==0.1.2
mistune==3.3.3
mpmath==1.3.0
narwhals==2.24.0
nbclient==0.11.0
nbconvert==7.17.1
nbformat==5.10.4
nest-asyncio2==1.7.2
networkx==3.4.2
ninja==1.13.0
nncf==3.2.0
notebook_shim==0.2.4
numpy==2.4.6
openvino==2026.2.1
openvino-genai==2026.2.1.0
openvino-telemetry==2025.2.0
openvino-tokenizers==2026.2.1.0
optimum==2.2.0
optimum-intel==2.0.0
packaging==26.2
pandocfilters==1.5.1
parso==0.8.7
platformdirs==4.10.0
prometheus_client==0.25.0
prompt_toolkit==3.0.52
psutil==7.2.2
pure_eval==0.2.3
pycparser==3.0
pydot==3.0.4
Pygments==2.20.0
pyparsing==3.3.2
python-dateutil==2.9.0.post0
python-json-logger==4.1.0
pywinpty==3.0.5
PyYAML==6.0.3
pyzmq==27.1.0
referencing==0.37.0
regex==2026.7.10
requests==2.34.2
rfc3339-validator==0.1.4
rfc3986-validator==0.1.1
rfc3987-syntax==1.1.0
rich==15.0.0
rpds-py==2026.6.3
safetensors==0.7.0
scikit-learn==1.9.0
scipy==1.18.0
Send2Trash==2.1.0
setuptools==83.0.0
shellingham==1.5.4
six==1.17.0
soupsieve==2.8.4
stack-data==0.6.3
sympy==1.14.0
tabulate==0.10.0
terminado==0.18.1
threadpoolctl==3.6.0
tinycss2==1.5.1
tokenizers==0.22.2
torch==2.13.0
tornado==6.5.7
tqdm==4.68.4
traitlets==5.15.1
transformers==5.0.0
typer==0.27.0
typer-slim==0.24.0
typing_extensions==4.16.0
tzdata==2026.3
uri-template==1.3.0
urllib3==2.7.0
wcwidth==0.8.2
webcolors==25.10.0
webencodings==0.5.1
websocket-client==1.9.0
widgetsnbextension==4.0.15

↓今回作った環境のRequirements.txt

openvino_env_requirements ダウンロード

　ちなみに、optinumをpip installするとこれらのライブラリが一気にインストールされた。
「Successfully installed annotated-doc-0.0.4 click-8.4.2 filelock-3.30.2 fsspec-2026.6.0 hf-xet-1.5.2 huggingface_hub-1.24.0 joblib-1.5.3 markdown-it-py-4.2.0 mdurl-0.1.2 mpmath-1.3.0 narwhals-2.24.0 networkx-3.4.2 ninja-1.13.0 nncf-3.2.0 optimum-2.2.0 optimum-intel-2.0.0 pydot-3.0.4 pyparsing-3.3.2 regex-2026.7.10 rich-15.0.0 safetensors-0.7.0 scikit-learn-1.9.0 scipy-1.18.0 setuptools-83.0.0 shellingham-1.5.4 sympy-1.14.0 tabulate-0.10.0 threadpoolctl-3.6.0 tokenizers-0.22.2 torch-2.13.0 tqdm-4.68.4 transformers-5.0.0 typer-0.27.0 typer-slim-0.24.0」

Transformersモデルの実行（CPU推論）

8ビット量子化での推論

　以下のリンクを参考にモデルを実行してみる。

Inference · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

　実行可能なモデルは以下のものらしい。

Supported models · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

　今回はDL済みだったQwen2.5 Coder7B itを使う。

https://huggingface.co/Qwen/Qwen2.5-Coder-7B-Instruct

　実行したコードは以下のとおり。

import os
import psutil
import time
from optimum.intel import OVModelForCausalLM
from transformers import AutoProcessor
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
model_path = r"H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct"
processor = AutoProcessor.from_pretrained(model_path)
model = OVModelForCausalLM.from_pretrained(model_path)
messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
# Generate output
outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()
print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"実行時間: {end - start:.3f}")
# OpenVINO IR形式を保存
# 次回以降model_pathに保存済みのOpenVINO IR形式へのpathを渡せば変換が省略される。
open_vino_save_path = r"H:\LLM_Models\open_vino\Qwen\Qwen2.5-Coder-7B-Instruct"
model.save_pretrained(open_vino_save_path)
processor.save_pretrained(open_vino_save_path)

　出力された情報は以下のとおり。

No OpenVINO files were found for H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct, setting export=True to convert the model to the OpenVINO IR. Don’t forget to save the resulting model with .save_pretrained()
torch_dtype is deprecated! Use dtype instead!

loss_type=None was set in the config but it is unrecognized. Using the default loss: ForCausalLMLoss.
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\transformers\cache_utils.py:132: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can’t record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs!
if not self.is_initialized or self.keys.numel() == 0:
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\transformers\masking_utils.py:171: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can’t record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs!
if (padding_length := kv_length + kv_offset – attention_mask.shape[-1]) > 0:
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\optimum\exporters\openvino\patching_utils.py:247: TracerWarning: torch.tensor results are registered as constants in the trace. You can safely ignore this warning if you use this function to create tensors out of constant variables that would be the same every time you call this function. In any other case, this might cause the trace to be incorrect.
torch.tensor(0.0, device=mask.device, dtype=dtype),
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\optimum\exporters\openvino\patching_utils.py:248: TracerWarning: torch.tensor results are registered as constants in the trace. You can safely ignore this warning if you use this function to create tensors out of constant variables that would be the same every time you call this function. In any other case, this might cause the trace to be incorrect.
torch.tensor(torch.finfo(torch.float16).min, device=mask.device, dtype=dtype),
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\transformers\integrations\sdpa_attention.py:77: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can’t record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs!
is_causal = query.shape[2] > 1 and attention_mask is None and is_causal
INFO:nncf:Statistics of the bitwidth distribution:
+—————————+—————————–+—————————————-+
| Weight compression mode | % all parameters (layers) | % ratio-defining parameters (layers) |
+===========================+=============================+========================================+
| int8_asym, per-channel | 100% (198 / 198) | 100% (198 / 198) |
+—————————+—————————–+—————————————-+

もちろんです、以下にジョークを聞かせていただきます。

「なぜパン屋さんには猫がいないのですか？」

答え：猫はパンを作ります。

このジョークの面白さは、「猫」と「パン」という単語の類似性を利用しています。一般的には猫とパンは関係がないように思われますが、ジョークではその関連性を利用して笑いを生み出しています。これは言葉遊びや双关語を用いて表現したものです。<|im_end|>

実行前メモリ使用量: 484.25 MB
実行後メモリ使用量: 14306.33 MB
差引メモリ使用量: 13822.08 MB
実行時間: 83.053 秒

　モデルファイルのサイズ比較は以下のとおり。ちなみに、変換時にはピークで20GB弱メモリを消費した。

変換前のtransformers形式

OpenVINO IR形式に変換後

　小さくなった理由としては、以下のリンク先の「If quantization_config is not provided, model will be exported in 8 bits by default when it has more than 1 billion parameters. You can disable it with load_in_8bit=False.」という記載から、1Billionを超えるパラメータ数のモデルは、特に指定しないと8ビット量子化されているためと思われ。

Optimization · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

　続いて、先ほど保存したOpenVINO IR形式のQwen2.5 Coderを読み込んで実行してみる。コードは一緒で、読み込み先のモデルパスのみ異なる。

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
processor = AutoProcessor.from_pretrained(open_vino_save_path)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path)
messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()
print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

もちろんです、以下に面白いジョークをお伝えします。

ジョーク：「ある日、誰かが友人と話していたら、「最近、自分の人生の目標について考えているんだけど、何が一番大切なのか教えてね。」友人は答えを尋ねる。「それは何ですか？」「何でもいいんだよ。」友人は驚いて、「本当に何でもいいんだよ？」と反問した。答え者は笑って言った、「もちろんだよ。」」

このジョークが面白い理由は以下の通りです：

答え者の回答が単純で直感的で、予想外でした。
友人の反問は答え者の単純さを強調し、ジョークのギャグを高めました。
このジョークは、人生の目標や価値観についての深い思考を促進する可能性があります。

このジョークは、シンプルさと直感性が効果的なコミュニケーションと問題解決の方法を示すことができます。<|im_end|>

実行前メモリ使用量: 696.95 MB
実行後メモリ使用量: 14376.63 MB
差引メモリ使用量: 13679.69 MB
実行時間: 61.783 秒

Transformersで同じプロンプト・8ビット量子化で推論した場合

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    quantization_config=quantization_config,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_path)
quantization_time = time.time()
messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]
text = tokenizer.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()
print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")
print(f"量子化処理を除いた推論時間: {end - quantization_time:.3f} 秒")
del model, tokenizer

　　ちなみに、普通にtransformersで同じモデル・プロンプトを実行した結果は以下のとおり。

c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\bitsandbytes\autograd_functions.py:123: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
warnings.warn(f”MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization”)
もちろんです、以下にジョークをお聞かせします。

「何が最も賢い動物ですか？」

答え：「カエル」
（カエルの「知恵」は「知らす」という言葉から来ていると言われています）

このジョークは、単純で分かりやすいですが、ユーモラスな要素があります。一般的な期待に反して、答えは意外と短く、直接的な答えを提供しています。これは、聴衆が予想外の答えを見つけることによって興味を引きます。さらに、「カエル」の「知恵」についての知識がある読者にとっては、ジョーク自体がより面白くなります。

実行前メモリ使用量: 744.62 MB
実行後メモリ使用量: 22697.21 MB
差引メモリ使用量: 21952.59 MB
実行時間: 77.135 秒
量子化処理を除いた推論時間: 59.798 秒

4ビット量子化での推論

　以下のコードで、任意に量子化したモデルを出力することが可能。

import os
import psutil
import time
from optimum.intel import OVModelForCausalLM
from transformers import AutoProcessor
model_path = r"H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct"
# モデル量子化用に追加でロード
from nncf import compress_weights, CompressWeightsMode
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
model = OVModelForCausalLM.from_pretrained(model_path,
                                           load_in_8bit=False, # これを指定することでデフォルトの8ビット量子化を無効化
                                           compile=False,   # この段階でモデルをコンパイルしても、その後4ビットモデルを作成⇒再コンパイルすることとなり無駄となる。
                                                            # Falseを指定することでコンパイルをキャンセルできる。
                                           )
# modeを指定することで量子化モードを指定できる。指定できるパラメータは以下のマークダウンを参照。
model.model = compress_weights(model.model,
                               mode=CompressWeightsMode.INT4_ASYM,
                              )
# プロセッサも保存する必要があるので読み込み
processor = AutoProcessor.from_pretrained(model_path)
# 量子化したモデルをOpenVINO IR形式で保存
open_vino_save_path_int4a = r"H:\LLM_Models\open_vino\Qwen\Qwen2.5-Coder-7B-Instruct_INT4-ASYM"
model.save_pretrained(open_vino_save_path_int4a)
processor.save_pretrained(open_vino_save_path_int4a)
end = time.time()
print(f"実行時間: {end - start:.3f} 秒")
del model, processor

　出力された情報、モデルサイズ等は次のとおり。

INFO:nncf:Statistics of the bitwidth distribution:
+—————————+—————————–+—————————————-+
| Weight compression mode | % all parameters (layers) | % ratio-defining parameters (layers) |
+===========================+=============================+========================================+
| int8_asym, per-channel | 14% (2 / 198) | 0% (0 / 196) |
+—————————+—————————–+—————————————-+
| int4_asym, group size 128 | 86% (196 / 198) | 100% (196 / 196) |
+—————————+—————————–+—————————————-+

実行時間: 56.518 秒

　圧縮モードについては以下のリンクを参考にした。

LLM Weight Compression — OpenVINO??? documentation

https://github.com/openvinotoolkit/nncf/blob/develop/docs/usage/post_training_compression/weights_compression/Usage.md

　推論結果は以下のとおり。

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a)
messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]
processor = AutoProcessor.from_pretrained(model_path)
inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()
print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")
del model, processor

もちろんです、以下に面白いジョークをお伝えします。

ジョーク：
「何が最も強い武器ですか？答え：言葉」

解説：

このジョークの面白いのは、「言葉」という単語自体が強力な武器であることを意味していることです。言葉は私たちの思考や感情を表現する唯一の手段であり、それがどのように使われるかによって結果は大きく変わります。例えば、建設的な言葉は人間関係を改善し、破壊的な言葉は人間関係を損なう可能性があります。したがって、「言葉」は非常に強力な武器と言えるでしょう。<|im_end|>

実行前メモリ使用量: 1116.38 MB
実行後メモリ使用量: 9301.42 MB
差引メモリ使用量: 8185.04 MB
実行時間: 31.623 秒

　メモリ消費・推論時間が8ビット量子化に比べて6割程度となった。

OpenVINOランタイム最適化を有効にする

　「OpenVINOランタイムは、LLM推論をより効率的に行うための最適化機能を提供します。これには、4ビット/8ビット量子化されたMatMulのアクティベーションの動的量子化とKVキャッシュ量子化が含まれます。」とのこと。

Inference with Optimum Intel — OpenVINO??? documentation

Learn how to use the native OpenVINO package to execute LLM models.

動的量子化

　↓上記リンクの該当部を翻訳した。

　動的量子化により、 4 ビットまたは 8 ビットの量子化重みを持つ MatMul 演算のアクティベーションの量子化が可能になります ( LLM 重み圧縮を参照)。これにより、LLM の推論レイテンシとスループットが向上しますが、生成精度にわずかなずれが生じる可能性があります。量子化はグループ単位で実行され、グループサイズは設定可能です。つまり、グループ内の値は量子化パラメータを共有します。グループサイズが大きいほど推論は速くなりますが、精度は低下します。推奨されるグループサイズ値は、0、32、64、128、または”-1″ (トークンごと) です。

注記
動的量子化グループサイズは、厳密な要件ではなく、あくまで目安として扱われます。実際のポリシーは、機能要件やパフォーマンス、精度に関する考慮事項によって異なる場合があります。プラグインによっては、動的量子化を完全に無効にしたり、ユーザーが指定したサイズよりも小さいグループサイズを使用したりする場合があります。

　Intel製CPUおよびIntel製GPUでは、動的量子化はデフォルトで有効になっています。

XMXをサポートしていないIntel CPUおよびIntel GPUの場合、デフォルトのグループサイズは32です。

XMX をサポートする Intel GPU の場合、サポートされているグループサイズは innermost axis のみで、デフォルトで有効になっています。

　動的量子化を無効にするには、次のいずれかの方法を実行してください。

（主要オプション）DYNAMIC_QUANTIZATION_GROUP_SIZEの値を0に設定します。

実行モードを PERFORMANCE mode から ACCURACY mode に切り替えます。ただし、このオプションは推論精度にも影響します。PERFORMANCE と ACCURACY のモードの詳細については、「精度制御ガイド」を参照してください。

　グループサイズの値を変更するには（例： e.g. から 64 へ）、次のコードを実行する必要があります。
model = OVModelForCausalLM.from_pretrained(
    model_path,
    ov_config={"DYNAMIC_QUANTIZATION_GROUP_SIZE": "64"}
)

　XMXとは、IntelのGPU（Arcなど）に搭載されているAI・行列演算用ハードウェアエンジン（Xe Matrix Extensions）とのこと。
　デフォルトで有効らしいが、Ryzenには搭載されていないので今回の検証は全て動的量子化は無効の状態。

KVキャッシュの量子化

　KVキャッシュの量子化により、LLMのキーと値のキャッシュの精度を下げることができます。これにより、推論中のメモリ消費が削減され、レイテンシとスループットが向上します。KVキャッシュは、次の精度に量子化できます。u8、u4、bf16、f16。u8またはu4の場合、グループごとの量子化が使用されます。グループサイズは、KEY_CACHE_GROUP_SIZEおよびVALUE_CACHE_GROUP_SIZEで制御されます。キーと値の精度は、KEY_CACHE_PRECISIONおよびVALUE_CACHE_PRECISIONを使用して個別に構成できます。キーの量子化モードは、KEY_CACHE_QUANT_MODEで（より正確な）またはBY_CHANNELBY_TOKENのいずれかに設定されます。

　CPUおよびGPUのデフォルトのKVキャッシュ量子化設定：

U8キー：チャネル単位の量子化、グループサイズ = 32（CPU）/ 16（GPU）

U8 値: トークンごとの量子化、group_size = hidden_dim。

　KVキャッシュの量子化を有効にするには、以下の設定を使用してください。
model = OVModelForCausalLM.from_pretrained(
    model_path,
    ov_config={"KV_CACHE_PRECISION": "u8", "DYNAMIC_QUANTIZATION_GROUP_SIZE": "32", "PERFORMANCE_HINT": "LATENCY"}
)

　また、OpenVINOのリリースノートによると、デフォルトでKVキャッシュの量子化が有効らしい。

OpenVINO リリースノート

2024年6月 – 2024年12月18日

システム要件|リリースポリシー|インストールガイド

新着情報

OpenVINO 2024.6リリースには、安定性の向上とLLMパフォーマンスの改善のためのアップデートが含まれています。

Intel® Arc™ Bシリーズグラフィックス（旧称Battlemage）のサポートを追加しました。

NPU上での推論時間とLLM性能を向上させるための最適化を実装しました。

GenAI APIの最適化とバグ修正により、LLMのパフォーマンスが向上しました。

OpenVINO™ ランタイム

CPUデバイスプラグイン

KVキャッシュは、デフォルトの精度として非対称8ビット符号なし整数（U8）を使用するようになりました。これにより、LLMのメモリ負荷が軽減され、パフォーマンスが向上します。このオプションは、モデルのメタデータで制御できます。

複数のバグ修正により、一部のモデルの品質と精度が向上しました。

OpenVINO Release Notes — OpenVINO™ documentation
See what has changed in OpenVINO with the latest release, as well as all previous releases in this year's cycle.
docs.openvino.ai

　これまでの検証ではKVキャッシュの精度は「u8」となっているため、試しに圧縮なしにしてみる。使ったモデルはOpenVINO IR（4ビット量子化）形式のモデル。

# KVキャッシュの量子化を無効化してみる
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a,
                                           ov_config={"KV_CACHE_PRECISION": "f16",
                                                      "PERFORMANCE_HINT": "LATENCY",
                                                      },
                                           )
messages = [
    {"role": "system", "content": "あなたは有能なコーディングAIです。"},
    {"role": "user", "content": "transformersとFAISSとstreamlitを使った、QAチャットボットをpythonで構築して。"},
]
processor = AutoProcessor.from_pretrained(model_path)
inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=4096)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()
print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")
del model, processor

以下に基本的なコード例を示します。

まず、必要なライブラリをインストールしましょう：

pip install transformers faiss-cpu streamlit

次に、以下のようなPythonスクリプトを作成します。

import streamlit as st
from transformers import pipeline

# Q&Aモデルのロード
qa_pipeline = pipeline(“question-answering”, model=”distilbert-base-uncased-distilled-squad”)

def answer_question(question, context):
result = qa_pipeline(question=question, context=context)
return result[‘answer’]

st.title(‘Q&Aチャットボット’)

context = st.text_area(‘文脈を入力してください’)
question = st.text_input(‘質問を入力してください’)

if st.button(‘回答’):
if context and question:
answer = answer_question(question, context)
st.write(f’回答: {answer}’)
else:
st.write(‘文脈または質問が未入力です。’)

このスクリプトでは、Streamlitを使用してウェブインターフェースを作成し、ユーザーから文脈と質問を受け取ります。それらをHugging FaceのTransformersライブラリで使用したQ&Aモデルに送信して、回答を得ます。

ただし、この例では、FAISSを用いて効率的な検索を行う部分は含まれていません。FAISSを用いた検索機能を追加するためには、より複雑な設計が必要になります。

なお、上記のコードは非常に単純化されたものです。実際のアプリケーションでは、エラーハンドリング、セキュリティ対策、パフォーマンス最適化などの考慮が必要となる可能性があります。<|im_end|>

実行前メモリ使用量: 1452.83 MB
実行後メモリ使用量: 9407.55 MB
差引メモリ使用量: 7954.73 MB
実行時間: 72.236 秒

　KVキャッシュの量子化をu4にもしてみる。

# KVキャッシュの量子化をu4にしてみる
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()
processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a,
                                           ov_config={"KV_CACHE_PRECISION": "u4",
                                                      "DYNAMIC_QUANTIZATION_GROUP_SIZE": "32",
                                                      "PERFORMANCE_HINT": "LATENCY",
                                                      },
                                           )
messages = [
    {"role": "system", "content": "あなたは有能なコーディングAIです。"},
    {"role": "user", "content": "transformersとFAISSとstreamlitを使った、QAチャットボットをpythonで構築して。"},
]
processor = AutoProcessor.from_pretrained(model_path)
inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=4096)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()
print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")
del model, processor

もちろっきり、それはchatlit、具体的詳しく少しいて、すいて、そしていて、、、すえにいて。いいていててだして、。<|im_end|>

実行前メモリ使用量: 1321.38 MB
実行後メモリ使用量: 9436.15 MB
差引メモリ使用量: 8114.78 MB
実行時間: 11.552 秒

　u4は何度やっても生成結果が壊れてしまう。
　メモリ使用量をまとめるとこんな感じ。

	KVキャッシュ量子化 u8	KVキャッシュ量子化 u4	KVキャッシュの量子化無効化
消費メモリ	8,185MB	8,114MB	7,954MB

　大きな差はなさそう…？

その他（GPU、NPU推論について）

　GPUを使った推論はIntel製GPUまたはiGPU搭載CPUでのみ実行可能とのことなので、私の環境では試せず…。

Why can’t OpenVINO support NVIDIA GPU’s? · openvinotoolkit openvino · Discussion #34009

Hello everyone, This is my first time contributing to an open source project and it is by far one of the nicest projects…

　NPUについても、Intel NPUを搭載したCPUを持っていないことからモデルの実行はできない。ただ、以下のドキュメントを参考にできるところまで検証した。

NPU Device — OpenVINO??? documentation

OpenVINO??? supports the Neural Processing Unit, a low-power processing device dedicated to running AI inference.

# NPUが認識されるかチェック
# ['CPU', 'GPU', 'NPU']のようにNPUが表示されればOK
import openvino as ov
core = ov.Core()
print("利用可能なデバイス:", core.available_devices)
for device in core.available_devices:
    print(device, core.get_property(device, "FULL_DEVICE_NAME"))
# 必要なライブラリのインポート
import openvino
import openvino_genai
import transformers
import nncf
print("OpenVINO   :", openvino.__version__)
print("Transformers:", transformers.__version__)
print("NNCF       :", nncf.__version__)

コマンドプロンプトからSafetensorsモデルをNPU向けに変換。仮想環境を立ち上げた状態で、以下のコマンドを叩けばOpenVINO IR(NPU用)にモデルを変換できる。

optimum-cli export openvino -m "H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct" --task text-generation-with-past --weight-format int4 --sym --ratio 1.0 --group-size -1 "H:\LLM_Models\open_vino\Qwen\Qwen2.5-Coder-7B-Instruct-int4-npu"

コマンドプロンプトの画面

変換前メモリ使用量は25GB

変換中のメモリ消費のピークは48GB程度なので、差し引き23GB程度のリソースが必要

変換にて生成されたファイル群

　以下のようなコードでNPU推論ができる…はず（実行環境がないので妄想）。

import os
import time
import psutil
import openvino_genai as ov_genai
from transformers import AutoTokenizer
model_path = (
    r"H:\LLM_Models\open_vino\Qwen"
    r"\Qwen2.5-Coder-7B-Instruct-int4-npu"
)
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2
start = time.time()
tokenizer = AutoTokenizer.from_pretrained(
    model_path,
    trust_remote_code=True,
)
messages = [
    {
        "role": "system",
        "content": "あなたは有能なAIアシスタントです。",
    },
    {
        "role": "user",
        "content": (
            "Pythonで高速な素数判定関数を書いて、"
            "処理内容も説明してください。"
        ),
    },
]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
pipeline_config = {
    "MAX_PROMPT_LEN": 1024,
    "MIN_RESPONSE_LEN": 128,
    "GENERATE_HINT": "BEST_PERF",
    "CACHE_DIR": os.path.join(model_path, "npu_cache"),
}
pipe = ov_genai.LLMPipeline(
    model_path,
    "NPU",
    pipeline_config,
)
result = pipe.generate(
    prompt,
    max_new_tokens=512,
    do_sample=False,
)
end = time.time()
mem_after = process.memory_info().rss / 1024**2
print(result)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"メモリ増加量      : {mem_after - mem_before:+.2f} MB")
print(f"実行時間          : {end - start:.3f} 秒")

コード・実行結果をHTML出力したもの

　ここまでのコード・実行結果をHTMLに出力したものは以下のリンク先からどうぞ。

openvino-test ダウンロード

The post Python＋OpenVINOでSafetensors形式のモデルを実行してみる first appeared on Uranos8685のおもちゃ箱.

llama-cpp-python(CUDA版)のビルド環境をオフラインで構築する

Uranos8685 — Mon, 08 Jun 2026 04:43:05 +0000

1．はじめに

　Pythonのライブラリ「llama-cpp-python」をCUDA版で導入するにはGPU搭載のPCでCUDAが使用可能になっており、かつビルド環境が整っていないとCPU版がインストールされてしまいます。
　ビルド環境のセットアップおよびllama-cpp-pythonのインストールまでをまとめました。また、ビルド環境については個人開発であればVisual Studio Communityを使えばいいですが、法人などの場合Communityは使用できません。ただし、Build Tools for Visual Studio（C++）についてはOSSのビルドのために使用するのであればVisual Studioのライセンスなしで利用が可能です。
　ビルド環境のセットアップについては、法人によってはセキュリティの関係でワークステーションがネットワークにつながっていないこともありますので、各種ビルド環境の構築をオフラインPCでインストールできるように作業を進めます。

2．インストーラーの収集（ネットワークにつながった端末で行う）

①Build Tools for Visual Studio

　オフラインでのインストーラー作成に必要となるVisual Studio ブートストラップを以下からダウンロードする。このとき選択するのは「Visual Studio 2026ビルドツール」。

ネットワークベースのインストールを作成する – Visual Studio (Windows)

プライベートネットワークインストールポイントを作成して Visual Studio をデプロイし、アクセス許可が制限されたエンタープライズユーザーまたはインターネットアクセスが制限されたクライアントマシンをサポートします。

　ダウンロード先はどこでもよいが、この後C++のオフラインインストールに必要なファイルが同じディレクトリに保存されるため、十分な空き容量があるディスクに保存すること。

　ダウンロードしたディレクトリの余白部分を右クリックし、「ターミナルを開く」を押下する。
　コマンドプロンプト（またはPowerShell）が立ち上がるので、以下のコマンドを入力し、オフラインインストールに必要な資源をダウンロードする。

vs_BuildTools.exe --layout .\VSLayout --lang en-US ja-JP --add Microsoft.VisualStudio.Workload.VCTools --add Microsoft.VisualStudio.Component.VC.Tools.x86.x64 --add Microsoft.VisualStudio.Component.Windows11SDK.26100 --add Microsoft.VisualStudio.Component.VC.CMake.Project

　すると、以下のようなウィンドウが表示されるので、Layout progressが100%になるまで放置する。

　ダウンロードが完了すると、ブートストラップと同じディレクトリにVSLayoutフォルダが作成されている。

　VSLayout\certificates配下には3つの証明書がある。ただし、これだけではオフラインインストールの際にエラーが発生するため、追加の証明書を事前に取得しておく必要がある。

　以下のリンク先から「Microsoft Windows Code Signing PCA 2024.crt」をダウンロードし、「certificates」フォルダに入れておく。

Developer Community

　Build Tools for Visual Studioの準備は終了。

（おまけ）
　コマンドプロンプトに入力したコマンドは、llama-cpp-pythonのビルドに必要なモノに限っている。-addコマンドでダウンロードするパッケージを宣言しており、以下のとおりである。

名前	コンポーネントID
身分証明書	Microsoft.VisualStudio.Workload.VCTools
x64/x86 用 MSVC ビルドツール (最新)	Microsoft.VisualStudio.Component.VC.Tools.x86.x64
Windows 11 SDK (10.0.26100.6901)	Microsoft.VisualStudio.Component.Windows11SDK.26100
Windows 用 C++ CMake ツール	Microsoft.VisualStudio.Component.VC.CMake.Project

　もし、追加したいモノがあれば以下のリンクを参考に、「–add コンポーネントID」を記載することで追加可能。

Visual Studio Build Tools のワークロード ID とコンポーネント ID

Visual Studio のワークロード ID とコンポーネント ID を使用して、従来の Windows ベースのアプリケーションを構築する

②CMake

　ここからインストーラーをダウンロードしておく。

Download CMake

You can either download binaries or source code archives for the latest stable or previous release or access the current…

③CUDA Toolkit

　ここからインストーラーをダウンロードしておく。インストーラータイプはローカルを選択しておくこと。

CUDA Toolkit – Free Tools and Training

Get access to SDKs, trainings, and connect with developers.

④cuDNN

　ここからインストーラーをダウンロードしておく。

cuDNN 9.25.0 Downloads

3．開発端末へインストール

①Build Tools for Visual Studio

コマンドプロンプトまたはPowerShellでVSLayoutへ移動し、以下のコマンドを実行する（要管理者権限）

vs_BuildTools.exe --noWeb --noUpdateInstaller --wait

　Visual Studio Installerが起動するので続行をクリックする。
　この操作でVisual Studio Installerがインストールされる（まだC++のビルドツールはインストールされていない）

　インストールが終わるとどのコンポーネントをインストールするか選択できる。
　基本的にオフラインインストールで用意したコンポーネントが選択されていると思うので、そのままインストールボタンを押して続行する。

　このような画面になったらインストール完了。×でインストーラーを閉じておｋ。

　インストールが終わると、スタートメニューにVisual Studio 2026フォルダができている。
　ちゃんとインストールできているか確認するため、x64 Native Tools Command Prompt for VSを実行する。

　「cl」と入力し、実行した際に画像のようになればおｋ。

②CMake

　CMakeについては特に書くことはあまりないが、途中でインストールオプションが出てきた際に必ずパスを追加するオプションにチェックを入れたままにしておくこと。

③CUDA Toolkit

　インストーラーの指示に従ってポチポチ進めてください。

④cuDNN

　最近のインストーラーであればCUDA同様にポチポチ押していくだけでインストールできます。

　ただし、昔のcuDNNはZIP形式のため、自分でCUDAがインストールされたフォルダにコピー＆ペーストする必要があります。

基本は以下のディレクトリにCUDAがあります（例：CUDA 13.3）

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v13.3

⑤CUDA関係の環境変数の確認

　ここでCUDA関係の資源が使えるようになっているか確認をします。基本的にはインストールした際に設定されているはずですが、万が一設定されていない場合は各自で環境変数を設定してください。

システム環境変数　変数名：Path

私のPCにはCUDAが13.2と13.3が入っているためbinとbin\64がそれぞれ設定されていました。

　CUDAフォルダにはincludeとlibフォルダがあります。これもPathに追加しておきましょう。

　設定後のPathは以下のとおり（面倒なので13.2は追加しませんでした…）。

　続いて、cuDNNの環境変数を設定します。今回私はv9.23をインストールしましたが、Program Files以下にインストールされていました。このうち、bin、include、libのパスを設定します。

　変数名CUDNNとし、画像のパスを変数値に突っ込みます。

　CUDNN以下のパスの構成としては「cuDNNのバージョン\xxx\CUDAバージョン」のはず。インストールした各ソフトのバージョンによって値は異なります。私はcuDNNが9.23、ターゲットのCUDAが13.3なのでこのパスで設定しました。

　以上で環境変数の設定は終了です。

　コマンドプロンプトを起動し「nvcc –version」を実行した際に、画像のようになればCUDAのパスが通っています。

　コマンドプロンプトを起動し「where cudnn64_*.dll」を実行した際に、画像のようになればcuDNNのパスが通っています。

4.llama-cpp-pythonのビルド

　環境変数を２種類設定しておく。ちなみに、以下のようにコマンドプロンプト上で設定してもよい。
　　set CMAKE_ARGS=-DGGML_CUDA=on
　　set FORCE_CMAKE=1
　その後仮想環境を立ち上げ、llama-cpp-pythonをpip installする。

　仮想環境を立ち上げ、ggufファイルを読み込んでみましたが、ばっちりGPUを認識しています。

The post llama-cpp-python(CUDA版)のビルド環境をオフラインで構築する first appeared on Uranos8685のおもちゃ箱.

VSCodeでContinueを使ってみる

Uranos8685 — Thu, 16 Apr 2026 15:14:00 +0000

1．Ollamaをホストしている端末自身でContinueを利用する場合

①Ollamaをインストールする

　以下のリンク先からインストーラーをダウンロード・インスコしておく。ついでに使用したいモデルもOllamaにセットアップしておく。
　基本的にContinueを使用している間（チャット・入力支援など）はモデルがロードされっぱなしになるので軽めのモデルがおすすめ。
　私はQwen2.5-Coderを使ってます。VRAMの使用量は1.4GB程度です。

Download Ollama on macOS

Download Ollama for macOS

https://ollama.com/library/qwen2.5-coder

②VSCodeにContinueをインストールする

　以下の拡張機能をインストールしておく。

Continue – open-source AI code agent – Visual Studio Marketplace

Extension for Visual Studio Code – The leading open-source AI code agent

③－1 VSCodeの設定（Ollamaをホストしている端末自身でContinueを使う場合）

　公式ドキュメントは以下のリンク先にあります。ザックリ使えるよう備忘録程度の内容です。

How to Configure Ollama with Continue | Continue Docs

Using Ollama with Continue: A Developer's Guide | Continue Docs

Complete guide to setting up Ollama with Continue for local AI development. Learn installation, configuration, model sel…

　Continueをインストールすると、プライマリサイドバーにオレンジ枠のアイコンが追加されます。

　クリックするとだいたいこんな感じで表示されると思います（既にセットアップ済みの状態なのでインスコした直後とは違うカモ🦆）。

　歯車マークを押すと設定が可能です。Modelsタブを押すと、チャット・オートコンプリート・コーディングでどのモデルを使うか指定できます。

　左上の丸印に＋のボタンをおすとチャットモデルの追加ができます。
　ProviderはOllama、ModelはAutodetectを選んでおくと、インストール済みのモデルを探してくれます。

　ドロップダウンリストにOllamaにインストール済みのモデルが出てくると思います。
　ちなみにドロップダウンリストの横の歯車マークを押すとyamlファイルが表示されます。自分で各機能でどのモデルを表示させるか定義することが出来ます。
　私はautocompleteでqwen2.5-coderだけを出すような設定にしています。

　早速オートコンプリート機能を試してみましょう。defと打っただけで候補を提案してくれました。もちろんローカルLLMなのでネットワーク通信は行われません。また、モデルはqwen2.5-coderを使っています。

③－2 VSCodeの設定（Ollamaをホストしていない同一ネットワーク上の端末からContinueを使う場合）

　基本的には③－1ですが、少し異なる部分がありますのでそこを補足します。

　まず、Ollamaをホストしている端末のシステム環境変数に「OLLAMA_HOST」と「OLLAMA_ORIGINS」を追加します。
　OLLAMA_HOSTはリクエストを待ち受けるインターフェースとポートを指定します。0.0.0.0で全てのLAN上のIPからの通信を受け付けます。
　OLLAMA_ORIGINSはCORSを許可するオリジンをカンマ区切りで指定します。*をつけておくとすべて許可します。
　

　Continueを使いたい端末（非Ollamaホスト端末）にContinueをインストールし、モデルの設定を開きます。
　丸印に＋のアイコンからOllamaをプロバイダーに選んでいいのですが、Ollamaが入っていないのでモデルは当然見つかりません。
　ドロップダウンリスト横の歯車マークを押し、config.yamlに画像のようにapiBaseにOllamaをインストールした端末のipアドレスとOllamaのリクエストを受け付けているポート番号（デフォは11434）を指定し、モデル名を正確に記載します。
　ここでいうモデル名はOllama上で表示されているモデル名です。huggingface等のモデル名と違う名前で自分でモデルをインポートしている場合は、その名前を記載しないと呼び出せませんので注意。
　簡単な確認方法は下の図のように、Ollamaを立ち上げた際のチャット画面にあるリストを確認するのがいいでしょう。

　では、さっそくオートコンプリート機能を使ってみます。今回Continueをインストールした端末はMacStudioの仮想マシンにインストールしたWindowsにリモートデスクトップ接続でテストします。メモリは8GBしか割り当てていないため、LLMを呼び起こすには厳しいスペックです。
　しかし、Ollamaをホストしている端末は別PCのため、ばっちりオートコンプリートの恩恵を受けられます。
　ネットワークへの負荷もほぼなく、せいぜい入力した際に数百KB程度の通信が発生する程度だと思います。

The post VSCodeでContinueを使ってみる first appeared on Uranos8685のおもちゃ箱.

Presenton+Ollammaでパワーポイント資料を生成してみた

Uranos8685 — Tue, 17 Feb 2026 22:58:00 +0000

1．はじめに

　GeminiにPowerPoint資料を作成できるCanvas機能があることを知り、ローカルLLMでも生成できるツールはないか調べていると、PresentonというOSSがあることを知ったので、早速試してみました。

2．Presentonのインストール

　以下からインストーラーをダウンロードします。

Download Free AI Presentation App | Presenton

Download Presenton for Windows, macOS, or Linux. Create AI presentations locally with OpenAI, Gemini, or Ollama, then ex…

　全てのユーザーに対しインストールするか、現在のユーザーのみにインストールするか聞かれるのみであとはポチポチ進めていくだけです。インストール対象はお好みの方を選んでください。私は全てのユーザーを対象にインストールしました。

　インストール先のフォルダパスにスペースなどが含まれるとエラーになる場合があるため、私はCドライブ直下にPresentonフォルダを作成し、インストールしました。

3．Presentonの設定

　Presentonを立ち上げるとセットアップ画面になります。モードはTemplate Presentation Modeのままでおｋ。

　次の画面ではLLMを選択します。Text ProviderにはOllama、OllamaURLはOllamaをホストしている端末のIPアドレス:Ollamaポート番号を入れます。Ollamaをホストしている端末がPresentonを入れた端末と同一であれば、Use default Ollama URLのリンクを押せばいいです。ただし、ポート番号を変更している場合は自分で直してください。

　choose a supported modelにはOllamaに入っているモデルを選んでおいてください。リストにあるモデルが、Ollamaに1つもなければOllamaにモデルを追加すること。

　その下にImage Generation Settingsがあり、これを有効にすることで画像生成もやってくれるようになります。ただ、完全ローカルで生成するにはComfy UIしか選択肢はありません。今回これはやりません。

　これでセットアップ完了です。

3.パワーポイント資料作成

　作成画面はこんな感じ。

　作ってほしい内容をWrite promptに入力します。その下には、ドキュメントなどを添付することが可能で、これも踏まえてパワーポイントの作成が行われます。

　Write promptの上にはスライド枚数、言語、細々としたオプション設定が可能です。

　生成を始めるとこんな感じの画面になります。しっかり、GPUを使ってくれています。

　もちろんローカル生成なので、ネットワーク通信は発生していません。もし、モデルが読み込まれないなどがあれば、設定でOllamaのモデル名を見直してください。

　少し待つと、こんな感じで各スライドの内容が生成されます。

　内容の修正、スライドの削除などの編集が行えます。

　問題なければ、右下のSelect a Templateをクリック。

　ここではパワーポイントのテーマを選べます。Customで自分の好みのテンプレートを作ることも出来ますが、Libre Officeをインストールしておく必要があります。

　今回はLayouts-22を選んでみました。そしたら、Generate Presentationをクリックして生成させます。

　少し待つと、1枚ずつスライドが生成されます。右端にLLMとのチャットウィンドウがあり、対話式で指示を出すこともできます。

　また、スライドの内容もここで手動で編集が可能です。

　終わったら、右上のExportでpptxファイルを出力します。

The post Presenton+Ollammaでパワーポイント資料を生成してみた first appeared on Uranos8685のおもちゃ箱.

LRC Maker(Uranos8685)　配布ページ

Uranos8685 — Mon, 29 Sep 2025 14:41:05 +0000

はじめに

　Plex Media Serverには、lrcファイルを認識し、Apple Musicのように再生位置にリンクした歌詞表示をしてくれる機能があります。

　lrcファイルとは基本的に「[mm:ss.xx(=1/100秒)]歌詞テキスト」を記録したものです。

　Plex Media ServerではUTF-8形式のlrcファイルを認識できるのですが、既存のソフトで使いやすいものがなかったので作成しました。思ったよりも出来がよかったので、公開しようと思います。

　私のお気に入りポイントは、クリップボードから歌詞の取り込みができること、既存のlrcを取り込み一部の歌詞のタイムスタンプのみ変更すること、取り込んだ歌詞データをタイムスタンプを付与しながら編集できること、シークバーで再生位置を自由に変えられることです。なかなか既存のlrc作成ツールにはない機能(私が見つけられていないだけかもしれませんが)で、lrcファイルの作成が捗ります。

LRC Maker(Uranos8685)　スクリーンショット

実行イメージ(macOS版 v1.0.2.1)

おまけ情報

　LRC Makerを作っている間に、PlexのiPhone用ミュージックアプリ「Plexamp」のlrc表示に関する小ネタを発見しました。それは、lrcファイルの改行コードによって行間の表示のされ方が異なります。

　以下の画像は改行コードのみを変えたlrcファイルが適用された音声ファイルを再生している画面です。左がCRLF（Windows標準）で右がLF（Unix系標準）です。CRLFの場合、行間が１行分空いています。公式ドキュメントとかの記載を探しましたが、私が見た限りではこの点に関する記述は見つけられませんでした。いつかこの仕様が変わってしまうかもしれませんが、LRC Maker(Uranos8685)では、設定から改行コードを選択できるようにしておきました。ちなみに、Web版のPlex及びmacOS用のPlexampで再生した場合、改行コードによる行間の違いはありませんでした。何故…？

改行コードがCRLF

改行コードがLF

　余談ですが、宵待草の作詞者である竹久夢二の記念館である「竹久夢二伊香保記念館」はおすすめですヨ。学芸員の方の解説をゆったり聞きながら展示物を見たり、歴史あるオルゴールの音はぜひ１度聴いてみてほしいです。伊香保・草津旅行のついでに寄ってみてはいかがですか。私は伊香保に行くたびに寄っています。あ、竹久夢二伊香保記念館の回し者ではないですヨ。

主要な機能（という名のこだわりポイント）について

主な機能

音声ファイルを読み込み、音声ファイルを聞きながら歌詞にタイムスタンプを[mm:ss.xx]フォーマットで付与。
VLCのdllを利用しているため、VLCで再生できる音楽ファイルの読み込みが可能（動作にはvlcが必須）。
再生速度は0.50x〜5.00xの範囲で任意に指定可能。
読み込んだ音声ファイルの波形表示に対応(間奏部分を見極めるのに便利)。
歌詞は、既存のlrc・txt形式のファイルからの読み込みに加え、クリップボードにコピーされているテキストを歌詞データとして取り込み可能。
読み込んだ歌詞に対し、画面上で歌詞行の追加・削除・歌詞の内容の変更に対応。
付与済みのタイムスタンプを一括でタイムスタンプ調整可能。
歌詞を編集した際に、誤って削除した歌詞行を元に戻す、Undo機能~~（自分がおっちょこちょいで消してしまうため実装）~~。
読み込んだ歌詞ファイルにタイムスタンプが付与されている場合、一部（あるいは全部）の歌詞行のタイムスタンプの打ち直しが可能（新規でタイムスタンプを付与するのと同様に、音声再生中にEnterキーを押すだけで既存のタイムスタンプを置換）。
タイムスタンプが付与された歌詞の行をダブルクリックすることで、再生位置をそのタイムスタンプの位置に移動。
タイトル、アーティスト、オフセットなどのメタデータ書き込みに対応（ti, ar, al, by, offset）。
タイムスタンプを付与したlrcファイルは音声ファイルと同じディレクトリに、「音声ファイル名.lrc」で保存(文字コードはUTF-8)。
書き出すlrcファイルの改行コードをCRLFとLFから選択可能。
音声ファイルを開いている場合、歌詞ファイルを開く際に音声ファイルと同じフォルダを自動で表示。（音声ファイルと異なるディレクトリに保存された歌詞ファイルも選択することも可能）。
保存ボタンを押すことで、開いている音声ファイルと同じディレクトリに「音声ファイル名.lrc」の形でワンクリックで保存可能（ユーザのLRCのファイル名設定等の操作を省略。基本的にLRCファイルは音声ファイルと同じディレクトリに同名.lrcで保存・使用されることが大半のため）。

当ソフトウェアを利用する際の注意事項

　LRC Maker(Uranos8685)(以下、当ソフトウェアといいます)はフリーソフトです。個人・法人に限らず、利用者は自由に当ソフトウェアを利用することができます。ただし、当プログラムの著作権は作者であるUranos8685に帰属します。

　当ソフトウェアを利用したことによる、データの破損、消失、著作権法などの各種法規違反などによる、いかなる損害も作者であるUranos8685は一切の責任を負いません。利用者の自己責任のもとで使用してください。大事なデータは必ずバックアップを取った上で作業しましょう。

　当ソフトウェアの不具合を発見した場合や要望等がありましたら、当ページにコメントしてください。本業の関係もあり全てに対応はできませんが、有用そうな機能の追加や可能な限りの不具合修正は対応したいと思います。

　当プログラムを利用して作成したlrcファイルを配布することを禁止することとし、私的利用の範囲内で、当プログラムを利用してください（歌詞にも著作権はあります。これを著作権者に無断で配布することは著作権法に違反します。）。ただし、当プログラムを利用してlrcファイルを作成・配布する者がlrcファイルに記録された歌詞の著作権を有している場合、著作権団体から配布の許可を受けている場合、すでに著作権が切れている歌詞を配布する場合など、著作権法等の各種法規に違反しない場合はこの限りではありません。

　公序良俗の範囲内で、音楽ライフを楽しみましょう。

　以上の事項に同意できる方のみ、以下のリンクからダウンロードをして利用してください。

ダウンロードリンク

プログラムの動作にVLCが必須ですので、VLCをインストールした上で当プログラムを使用してください。

※Windows版での動作にはVLCをインストールした際に展開されるlibvlc.dllが「”C:/Program Files/VideoLAN/VLC”」フォルダに存在する必要があります。

○macOS（動作確認環境：Mac Studio M4 Max、macOS Tahoe26.0）

Download Now!

○Windows（動作確認環境：Windows11Pro 64bit-25H2）※v1.0.2よりParallels上のArm版Windows11では動作するようにはなりましたが、スナドラCPUの実機を所有しておらず詳細な検証ができないため動作を保証できません。

Download Now!

更新履歴

2025年9月29日
　配布ページ作成、公開

2025年10月4日
　mac版v1.0公開

2025年11月8日
　Windows版v1.0公開

2025年11月10日
　Windows版v1.0.1公開

不具合修正

~~読み込んだ音声ファイル名を改行して、すべて表示するように変更~~→うまく動いていないようなので改めて実装し直し(；_；)
歌詞ファイルを読み込んだ際に、歌詞の1行目を選択した状態になるように変更

2026年1月29日
　Windows版及びmac版v1.0.2公開

不具合修正

プログラム内の余計なコードを削除
タイムスタンプ付与時に歌詞の先頭の空白を強制削除していた仕様を廃止
ボタンレイアウトを変更

機能追加

lrcファイル保存時に、任意の場所・名前で出力できるオプション「保存時に場所を選択する」を設定に追加（このオプションを使ってlrcを出力した際は当該ディレクトリを記憶し、次回保存時も同じディレクトリを表示）
歌詞の先頭または末尾の空白を除去するオプションを設定に追加

2026年1月30日
　mac版v1.0.2.1公開

不具合修正

オーディオファイルのパスに含まれる特定の文字（「赫」など）が、macOSのファイルシステム上の正規化形式（NFD/互換漢字）と、Pythonが期待する形式（NFC）とで一致していないことによる音声ファイルの読み取りに失敗するケースがあったため、パスが見つからない場合に類似するパスをディレクトリ内から検索して補正する機能をプログラム内部に実装。

2026年1月31日
　Windows版及びmac版v1.1公開

不具合修正

vlcでは再生時間を50ms毎にしか返さないため、PCのシステムクロックを使用して厳密にタイムスタンプを付与するように変更
読み込んだ音楽ファイル名が長い場合に、自動スクロールして全文を読めるように変更

機能追加

作成した歌詞データをタイムスタンプなしのtxtファイルとして出力する機能を追加
作成した歌詞データをタイムスタンプ付きでクリップボードにコピーする機能を追加
歌詞データのスペースについて、全角スペースが含まれる場合には全て半角スペースに一括変換し、半角スペースしかない場合は全角スペースに一括変換する機能をその他機能ボタン内に追加

2026年2月9日
　Windows版及びmac版v1.1.1公開

不具合修正

連続で音楽を読み込んだ際にメモリ上にゴミファイルが残っていたため、メモリ開放処理を変更し都度メモリを開放するように変更
一時停止後に再生すると再生時間がおかしくなる場合があるため、修正
Windows版についてPython仮想環境を見直し、ファイルサイズを若干縮小

機能追加

歌詞選択行を再生位置に追従させる機能を追加
歌詞追従機能のショートカットを追加（Ctrl+AまたはCmd+A）

2026年2月15日
　Windows版及びmac版v1.1.2公開

不具合修正

歌詞自動追従機能が、最後にタイムスタンプ付与した歌詞より前の歌詞で動作しない不具合を修正

2026年2月15日
　Windows版及びmac版v1.1.3公開

機能追加

付与済みのタイムスタンプについて、一括でタイムスタンプを調整する機能を追加
一定のミリ秒以内にタイムスタンプを連続して付与した場合、タイムスタンプの秒数を最初に付与したタイムスタンプと揃えるオプションを追加

自己署名証明書の追加（2026年2月21日 Windows版のみ）

自己署名証明書を追加しました。Windowsのスマートアプリコントロールに引っかかりにくくなる…かも？

FAQ

Q：アプリのファイルサイズが大きいが？
A：Pythonでアプリの作成をしており、使用しているライブラリが容量を喰っているようです。ごめんなさい。

Q：起動に時間がかかる
A：Pythonの環境がまずバックグラウンドで起動した後、アプリ本体が立ち上がるためウィンドウが立ち上がるのに時間がかかるのは仕様です( -_-) _旦~~

今後追加予定の機能（自分が欲しい機能）

~~○タイムスタンプ付与時に歌詞の前のスペースを強制削除しているため、スペース削除の実行有無をオプションで選択可能に変更~~→v1.0.2で実装
○歌詞ファイルを強制的に音声ファイルと同ディレクトリへ「音声ファイル名.lrc」で出力しているところ、オプションから任意のディレクトリ・ファイル名で出力するよう指定できるように変更→v1.0.2で実装
~~○スペースを全角→半角（または半角→全角）へ一括変換する機能~~→v1.1で実装
~~○読み込んだ（作成した）LRCをタイムスタンプなしの純粋な歌詞txtファイルを出力する機能~~→v1.1で実装
~~○読み込んだ音声ファイル名を改行して、すべて表示するように変更~~→v1.1で実装
~~〇作成した歌詞データをクリップボードへコピーする機能~~→v1.1で実装

個人開発ですのでマイペースに実装していきます。

The post LRC Maker(Uranos8685)　配布ページ first appeared on Uranos8685のおもちゃ箱.

MacでSafetensors形式のモデルをGGUFに変換する方法

Uranos8685 — Sat, 20 Sep 2025 05:06:10 +0000

前提条件

　Python（3.10）がインストール済であること。他バージョンでもいけるが、これ以上新しいと、仮想環境にllama.cppのrequirements.txtをpipインストールしようとした際にバージョンアンマッチでエラーとなるため注意（１敗）。

Homebrewのインストール

　以下のコマンドを実行する。

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

　実行結果は以下のとおり。

(base) Mac-Studio ~ % /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
==> Checking for `sudo` access (which may request your password)...
Password:
==> This script will install:
/opt/homebrew/bin/brew
/opt/homebrew/share/doc/homebrew
/opt/homebrew/share/man/man1/brew.1
/opt/homebrew/share/zsh/site-functions/_brew
/opt/homebrew/etc/bash_completion.d/brew
/opt/homebrew
/etc/paths.d/homebrew
==> The following new directories will be created:
/opt/homebrew/bin
/opt/homebrew/etc
/opt/homebrew/include
/opt/homebrew/lib
/opt/homebrew/sbin
/opt/homebrew/share
/opt/homebrew/var
/opt/homebrew/opt
/opt/homebrew/share/zsh
/opt/homebrew/share/zsh/site-functions
/opt/homebrew/var/homebrew
/opt/homebrew/var/homebrew/linked
/opt/homebrew/Cellar
/opt/homebrew/Caskroom
/opt/homebrew/Frameworks

Press RETURN/ENTER to continue or any other key to abort:
==> /usr/bin/sudo /usr/bin/install -d -o root -g wheel -m 0755 /opt/homebrew
==> /usr/bin/sudo /bin/mkdir -p /opt/homebrew/bin /opt/homebrew/etc /opt/homebrew/include /opt/homebrew/lib /opt/homebrew/sbin /opt/homebrew/share /opt/homebrew/var /opt/homebrew/opt /opt/homebrew/share/zsh /opt/homebrew/share/zsh/site-functions /opt/homebrew/var/homebrew /opt/homebrew/var/homebrew/linked /opt/homebrew/Cellar /opt/homebrew/Caskroom /opt/homebrew/Frameworks
==> /usr/bin/sudo /bin/chmod ug=rwx /opt/homebrew/bin /opt/homebrew/etc /opt/homebrew/include /opt/homebrew/lib /opt/homebrew/sbin /opt/homebrew/share /opt/homebrew/var /opt/homebrew/opt /opt/homebrew/share/zsh /opt/homebrew/share/zsh/site-functions /opt/homebrew/var/homebrew /opt/homebrew/var/homebrew/linked /opt/homebrew/Cellar /opt/homebrew/Caskroom /opt/homebrew/Frameworks
==> /usr/bin/sudo /bin/chmod go-w /opt/homebrew/share/zsh /opt/homebrew/share/zsh/site-functions
==> /usr/bin/sudo /usr/sbin/chown xxx /opt/homebrew/bin /opt/homebrew/etc /opt/homebrew/include /opt/homebrew/lib /opt/homebrew/sbin /opt/homebrew/share /opt/homebrew/var /opt/homebrew/opt /opt/homebrew/share/zsh /opt/homebrew/share/zsh/site-functions /opt/homebrew/var/homebrew /opt/homebrew/var/homebrew/linked /opt/homebrew/Cellar /opt/homebrew/Caskroom /opt/homebrew/Frameworks
==> /usr/bin/sudo /usr/bin/chgrp admin /opt/homebrew/bin /opt/homebrew/etc /opt/homebrew/include /opt/homebrew/lib /opt/homebrew/sbin /opt/homebrew/share /opt/homebrew/var /opt/homebrew/opt /opt/homebrew/share/zsh /opt/homebrew/share/zsh/site-functions /opt/homebrew/var/homebrew /opt/homebrew/var/homebrew/linked /opt/homebrew/Cellar /opt/homebrew/Caskroom /opt/homebrew/Frameworks
==> /usr/bin/sudo /usr/sbin/chown -R xxx:admin /opt/homebrew
==> Downloading and installing Homebrew...
remote: Enumerating objects: 310230, done.
remote: Counting objects: 100% (15147/15147), done.
remote: Compressing objects: 100% (565/565), done.
remote: Total 310230 (delta 14770), reused 14627 (delta 14582), pack-reused 295083 (from 3)
remote: Enumerating objects: 55, done.
remote: Counting objects: 100% (34/34), done.
remote: Total 55 (delta 33), reused 33 (delta 33), pack-reused 21 (from 1)
==> /usr/bin/sudo /bin/mkdir -p /etc/paths.d
==> /usr/bin/sudo tee /etc/paths.d/homebrew
/opt/homebrew/bin
==> /usr/bin/sudo /usr/sbin/chown root:wheel /etc/paths.d/homebrew
==> /usr/bin/sudo /bin/chmod a+r /etc/paths.d/homebrew
==> Updating Homebrew...
==> Downloading https://ghcr.io/v2/homebrew/portable-ruby/portable-ruby/blobs/sha256:20fa657858e44a4b39171d6e4111f8a9716eb62a78ebbd1491d94f90bb7b830a
############################################################ 100.0%
==> Pouring portable-ruby-3.4.5.arm64_big_sur.bottle.tar.gz
==> Installation successful!

==> Homebrew has enabled anonymous aggregate formulae and cask analytics.
Read the analytics documentation (and how to opt-out) here:
  https://docs.brew.sh/Analytics
No analytics data has been sent yet (nor will any be during this install run).

==> Homebrew is run entirely by unpaid volunteers. Please consider donating:
  https://github.com/Homebrew/brew#donations

==> Next steps:
- Run these commands in your terminal to add Homebrew to your PATH:
    echo >> /Users/xxx/.zprofile
    echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/xxx/.zprofile
    eval "$(/opt/homebrew/bin/brew shellenv)"
- Run brew help to get started
- Further documentation:
    https://docs.brew.sh

Homebrewのパス設定

　以下のコマンドを実行する

export PATH="$PATH:/opt/homebrew/bin/"

　パスが通ったかは、以下のコマンドで確認可能。バージョンが返ってくればOK。

brew --version

(base) Mac-Studio ~ % brew --version
Homebrew 4.6.10

cmakeのインストール

　以下のコマンドを実行する。

brew install wget git cmake

　実行結果は以下のとおり。

(base) Mac-Studio ~ % brew install wget git cmake
==> Fetching downloads for: wget, git and cmake
==> Downloading https://ghcr.io/v2/homebrew/core/wget/manifests/1.2
############################################################ 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/git/manifests/2.51
############################################################ 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/cmake/manifests/4.
############################################################ 100.0%
==> Fetching dependencies for wget: libunistring, gettext, libidn2, ca-certificates and openssl@3
==> Downloading https://ghcr.io/v2/homebrew/core/libunistring/manif
############################################################ 100.0%
==> Fetching libunistring
==> Downloading https://ghcr.io/v2/homebrew/core/libunistring/blobs
############################################################ 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/gettext/manifests/
############################################################ 100.0%
==> Fetching gettext
==> Downloading https://ghcr.io/v2/homebrew/core/gettext/blobs/sha2
############################################################ 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/libidn2/manifests/
############################################################ 100.0%
==> Fetching libidn2
==> Downloading https://ghcr.io/v2/homebrew/core/libidn2/blobs/sha2
############################################################ 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/ca-certificates/ma
############################################################ 100.0%
==> Fetching ca-certificates
==> Downloading https://ghcr.io/v2/homebrew/core/ca-certificates/bl
############################################################ 100.0%
==> Downloading https://ghcr.io/v2/homebrew/core/openssl/3/manifest
############################################################ 100.0%
==> Fetching openssl@3
==> Downloading https://ghcr.io/v2/homebrew/core/openssl/3/blobs/sh
############################################################ 100.0%
==> Fetching wget
==> Downloading https://ghcr.io/v2/homebrew/core/wget/blobs/sha256:
############################################################ 100.0%
==> Fetching dependencies for git: pcre2
==> Downloading https://ghcr.io/v2/homebrew/core/pcre2/manifests/10
############################################################ 100.0%
==> Fetching pcre2
==> Downloading https://ghcr.io/v2/homebrew/core/pcre2/blobs/sha256
############################################################ 100.0%
==> Fetching git
==> Downloading https://ghcr.io/v2/homebrew/core/git/blobs/sha256:e
############################################################ 100.0%
==> Fetching cmake
==> Downloading https://ghcr.io/v2/homebrew/core/cmake/blobs/sha256
############################################################ 100.0%
==> Installing dependencies for wget: libunistring, gettext, libidn2, ca-certificates and openssl@3
==> Installing wget dependency: libunistring
==> Downloading https://ghcr.io/v2/homebrew/core/libunistring/manif
Already downloaded: /Users/xxx/Library/Caches/Homebrew/downloads/a570da63bc1839c7e217f203abd54d4d873ebd6b99f6e88994d0e79e2ebe987c--libunistring-1.3.bottle_manifest.json
==> Pouring libunistring--1.3.arm64_sequoia.bottle.tar.gz
🍺  /opt/homebrew/Cellar/libunistring/1.3: 59 files, 5.4MB
==> Installing wget dependency: gettext
==> Downloading https://ghcr.io/v2/homebrew/core/gettext/manifests/
Already downloaded: /Users/xxx/Library/Caches/Homebrew/downloads/d28158ffec04fae757cdbeb46750e8e2ed43b7b17ada49d72a5bda2cff4cd6ed--gettext-0.26.bottle_manifest.json
==> Pouring gettext--0.26.arm64_sequoia.bottle.tar.gz
🍺  /opt/homebrew/Cellar/gettext/0.26: 2,428 files, 28.2MB
==> Installing wget dependency: libidn2
==> Downloading https://ghcr.io/v2/homebrew/core/libidn2/manifests/
Already downloaded: /Users/xxx/Library/Caches/Homebrew/downloads/f30f50fbde4bff9a71de54d684e482d7da3432656d680b97441163c6e5665468--libidn2-2.3.8.bottle_manifest.json
==> Pouring libidn2--2.3.8.arm64_sequoia.bottle.tar.gz
🍺  /opt/homebrew/Cellar/libidn2/2.3.8: 80 files, 929.5KB
==> Installing wget dependency: ca-certificates
==> Downloading https://ghcr.io/v2/homebrew/core/ca-certificates/ma
Already downloaded: /Users/xxx/Library/Caches/Homebrew/downloads/446bcc9fbe916b3769ad3367c5fff981dfdf345e29ffc493f87e48e904d30608--ca-certificates-2025-08-12-2.bottle_manifest.json
==> Pouring ca-certificates--2025-08-12.all.bottle.2.tar.gz
==> Regenerating CA certificate bundle from keychain, this may take
🍺  /opt/homebrew/Cellar/ca-certificates/2025-08-12: 4 files, 232.9KB
==> Installing wget dependency: openssl@3
==> Downloading https://ghcr.io/v2/homebrew/core/openssl/3/manifest
Already downloaded: /Users/xxx/Library/Caches/Homebrew/downloads/e6659abe178bdf49b65451e77f6165a3e07274432f445342092e5ad2a927b23c--openssl@3-3.5.2.bottle_manifest.json
==> Pouring openssl@3--3.5.2.arm64_sequoia.bottle.tar.gz
🍺  /opt/homebrew/Cellar/openssl@3/3.5.2: 7,563 files, 35.4MB
==> Installing wget
==> Pouring wget--1.25.0.arm64_sequoia.bottle.tar.gz
🍺  /opt/homebrew/Cellar/wget/1.25.0: 92 files, 4.5MB
==> Running `brew cleanup wget`...
Disable this behaviour by setting `HOMEBREW_NO_INSTALL_CLEANUP=1`.
Hide these hints with `HOMEBREW_NO_ENV_HINTS=1` (see `man brew`).
==> Installing git dependency: pcre2
==> Downloading https://ghcr.io/v2/homebrew/core/pcre2/manifests/10
Already downloaded: /Users/xxx/Library/Caches/Homebrew/downloads/476078c344b0d9fa702da6e94d7fe5dd59bb1897d3fcc12d1b52b4bc0de68854--pcre2-10.46.bottle_manifest.json
==> Pouring pcre2--10.46.arm64_sequoia.bottle.tar.gz
🍺  /opt/homebrew/Cellar/pcre2/10.46: 242 files, 6.8MB
==> Pouring git--2.51.0.arm64_sequoia.bottle.tar.gz
==> Caveats
The Tcl/Tk GUIs (e.g. gitk, git-gui) are now in the `git-gui` formula.
Subversion interoperability (git-svn) is now in the `git-svn` formula.
==> Summary
🍺  /opt/homebrew/Cellar/git/2.51.0: 1,693 files, 55.9MB
==> Running `brew cleanup git`...
==> Pouring cmake--4.1.1.arm64_sequoia.bottle.tar.gz
==> Caveats
To install the CMake documentation, run:
  brew install cmake-docs
==> Summary
🍺  /opt/homebrew/Cellar/cmake/4.1.1: 3,913 files, 58.6MB
==> Running `brew cleanup cmake`...
==> No outdated dependents to upgrade!
==> Caveats
zsh completions and functions have been installed to:
  /opt/homebrew/share/zsh/site-functions
Emacs Lisp files have been installed to:
  /opt/homebrew/share/emacs/site-lisp/cmake
==> git
The Tcl/Tk GUIs (e.g. gitk, git-gui) are now in the `git-gui` formula.
Subversion interoperability (git-svn) is now in the `git-svn` formula.
==> cmake
To install the CMake documentation, run:
  brew install cmake-docs

xcodeをインストール

　以下のコマンドを実行する。

xcode-select --install

　実行結果は以下のとおり。xcodeがインストール済の場合は、以下のメッセージが表示される。

(base) Mac-Studio ~ % xcode-select --install
xcode-select: note: Command line tools are already installed. Use "Software Update" in System Settings or the softwareupdate command line interface to install updates

Llama.cppのビルド

　以下のコマンドを実行し、llama.cppのリポジトリをクローンする。

git clone https://github.com/ggerganov/llama.cpp

　実行結果は以下のとおり。

(base) Mac-Studio ~ % git clone https://github.com/ggerganov/llama.cpp
Cloning into 'llama.cpp'...
remote: Enumerating objects: 61275, done.
remote: Counting objects: 100% (206/206), done.
remote: Compressing objects: 100% (135/135), done.
remote: Total 61275 (delta 138), reused 71 (delta 71), pack-reused 61069 (from 3)
Receiving objects: 100% (61275/61275), 152.17 MiB | 5.26 MiB/s, done.
Resolving deltas: 100% (44500/44500), done.

　llama.cppディレクトリに移動し、makeする。

cd llama.cpp
make

　実行結果は以下のとおり。

(base) Mac-Studio ~ % cd llama.cpp
(base) Mac-Studio llama.cpp % make
Makefile:6: *** Build system changed:
 The Makefile build has been replaced by CMake.

 For build instructions see:
 https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md

.  Stop.

GGUF変換用のPython仮想環境作成

　以下のコマンドを実行し、仮想環境を作成する（環境名は任意で変更OK）。私は「convert2gguf」という名称にした。理由は後述するが、Python3.10とするのがミソ。

python3.10 -m venv convert2gguf

　作成した仮想環境をアクティベートする。

source convert2gguf/bin/activate

　ターミナルの頭に（仮想環境名）が表示されていれば、アクティベートできている。以下のコマンドを実行し、Pythonバージョンを確認する。

python --version

　以下のように、3.10.xと表示されていればOK。

(convert2gguf) (base) Mac-Studio llama.cpp % python --version            
Python 3.10.8

　以下のコマンドを実行し、llama.cppのrequirements.txtをpipインストールする。

pip install -r requirements.txt

　実行結果は以下のとおり。llama.cppのrequirements.txtをpipインストールできる最新のPythonバージョンは3.10のため、エラーが出る場合はPythonの仮想環境を見直すこと。

(convert2gguf) (base) Mac-Studio llama.cpp % pip install -r requirements.txt   
Looking in indexes: https://pypi.org/simple, https://download.pytorch.org/whl/cpu, https://download.pytorch.org/whl/nightly, https://download.pytorch.org/whl/cpu, https://download.pytorch.org/whl/nightly, https://download.pytorch.org/whl/cpu, https://download.pytorch.org/whl/nightly
Ignoring torch: markers 'platform_machine == "s390x"' don't match your environment
Ignoring torch: markers 'platform_machine == "s390x"' don't match your environment
Collecting numpy~=1.26.4
  Downloading https://download.pytorch.org/whl/nightly/numpy-1.26.4-cp310-cp310-macosx_11_0_arm64.whl (14.0 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 14.0/14.0 MB 10.8 MB/s eta 0:00:00
Collecting sentencepiece~=0.2.0
  Downloading https://download.pytorch.org/whl/nightly/sentencepiece-0.2.1-cp310-cp310-macosx_11_0_arm64.whl (1.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.3/1.3 MB 11.0 MB/s eta 0:00:00
Collecting transformers<5.0.0,>=4.45.1
  Downloading transformers-4.56.1-py3-none-any.whl (11.6 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.6/11.6 MB 4.5 MB/s eta 0:00:00
Collecting gguf>=0.1.0
  Downloading gguf-0.17.1-py3-none-any.whl (96 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 96.2/96.2 kB 6.1 MB/s eta 0:00:00
Collecting protobuf<5.0.0,>=4.21.0
  Downloading protobuf-4.25.8-cp37-abi3-macosx_10_9_universal2.whl (394 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 394.5/394.5 kB 7.1 MB/s eta 0:00:00
Collecting mistral-common>=1.8.3
  Downloading mistral_common-1.8.4-py3-none-any.whl (6.5 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.5/6.5 MB 8.6 MB/s eta 0:00:00
Collecting torch~=2.4.0
  Downloading https://download.pytorch.org/whl/cpu/torch-2.4.1-cp310-none-macosx_11_0_arm64.whl (62.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 62.1/62.1 MB 10.4 MB/s eta 0:00:00
Collecting aiohttp~=3.9.3
  Downloading https://download.pytorch.org/whl/nightly/aiohttp-3.9.5-cp310-cp310-macosx_11_0_arm64.whl (389 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━ 389.9/389.9 kB 618.1 kB/s eta 0:00:00
Collecting pytest~=8.3.3
  Downloading pytest-8.3.5-py3-none-any.whl (343 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 343.6/343.6 kB 3.6 MB/s eta 0:00:00
Collecting huggingface_hub~=0.23.2
  Downloading huggingface_hub-0.23.5-py3-none-any.whl (402 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 402.8/402.8 kB 1.3 MB/s eta 0:00:00
Collecting matplotlib~=3.10.0
  Downloading matplotlib-3.10.6-cp310-cp310-macosx_11_0_arm64.whl (8.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 8.1/8.1 MB 5.6 MB/s eta 0:00:00
Collecting openai~=1.55.3
  Downloading openai-1.55.3-py3-none-any.whl (389 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 389.6/389.6 kB 6.5 MB/s eta 0:00:00
Collecting pandas~=2.2.3
  Downloading https://download.pytorch.org/whl/nightly/pandas-2.2.3-cp310-cp310-macosx_11_0_arm64.whl (11.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.3/11.3 MB 10.0 MB/s eta 0:00:00
Collecting prometheus-client~=0.20.0
  Downloading prometheus_client-0.20.0-py3-none-any.whl (54 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 54.5/54.5 kB 4.3 MB/s eta 0:00:00
Collecting requests~=2.32.3
  Downloading requests-2.32.5-py3-none-any.whl (64 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 64.7/64.7 kB 5.5 MB/s eta 0:00:00
Collecting wget~=3.2
  Downloading wget-3.2.zip (10 kB)
  Preparing metadata (setup.py) ... done
Collecting typer~=0.15.1
  Downloading typer-0.15.4-py3-none-any.whl (45 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 45.3/45.3 kB 4.8 MB/s eta 0:00:00
Collecting seaborn~=0.13.2
  Downloading seaborn-0.13.2-py3-none-any.whl (294 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 294.9/294.9 kB 9.2 MB/s eta 0:00:00
Collecting pyyaml>=5.1
  Downloading https://download.pytorch.org/whl/nightly/PyYAML-6.0.2-cp310-cp310-macosx_11_0_arm64.whl (171 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 171.8/171.8 kB 8.5 MB/s eta 0:00:00
Collecting packaging>=20.0
  Downloading packaging-25.0-py3-none-any.whl (66 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 66.5/66.5 kB 5.8 MB/s eta 0:00:00
Collecting filelock
  Downloading https://download.pytorch.org/whl/nightly/filelock-3.19.1-py3-none-any.whl (15 kB)
Collecting transformers<5.0.0,>=4.45.1
  Downloading transformers-4.56.0-py3-none-any.whl (11.6 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.6/11.6 MB 8.6 MB/s eta 0:00:00
  Downloading transformers-4.55.4-py3-none-any.whl (11.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.3/11.3 MB 8.5 MB/s eta 0:00:00
  Downloading transformers-4.55.3-py3-none-any.whl (11.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.3/11.3 MB 10.1 MB/s eta 0:00:00
  Downloading transformers-4.55.2-py3-none-any.whl (11.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.3/11.3 MB 11.5 MB/s eta 0:00:00
  Downloading transformers-4.55.1-py3-none-any.whl (11.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.3/11.3 MB 5.1 MB/s eta 0:00:00
  Downloading transformers-4.55.0-py3-none-any.whl (11.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.3/11.3 MB 11.4 MB/s eta 0:00:00
  Downloading transformers-4.54.1-py3-none-any.whl (11.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.2/11.2 MB 9.9 MB/s eta 0:00:00
  Downloading transformers-4.54.0-py3-none-any.whl (11.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 11.2/11.2 MB 10.9 MB/s eta 0:00:00
  Downloading transformers-4.53.3-py3-none-any.whl (10.8 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.8/10.8 MB 11.3 MB/s eta 0:00:00
  Downloading transformers-4.53.2-py3-none-any.whl (10.8 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.8/10.8 MB 10.1 MB/s eta 0:00:00
  Downloading transformers-4.53.1-py3-none-any.whl (10.8 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.8/10.8 MB 6.5 MB/s eta 0:00:00
  Downloading transformers-4.53.0-py3-none-any.whl (10.8 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.8/10.8 MB 9.7 MB/s eta 0:00:00
  Downloading transformers-4.52.4-py3-none-any.whl (10.5 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.5/10.5 MB 11.1 MB/s eta 0:00:00
  Downloading transformers-4.52.3-py3-none-any.whl (10.5 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.5/10.5 MB 11.5 MB/s eta 0:00:00
  Downloading transformers-4.52.2-py3-none-any.whl (10.5 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.5/10.5 MB 11.1 MB/s eta 0:00:00
  Downloading transformers-4.52.1-py3-none-any.whl (10.5 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.5/10.5 MB 11.5 MB/s eta 0:00:00
  Downloading transformers-4.51.3-py3-none-any.whl (10.4 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.4/10.4 MB 10.5 MB/s eta 0:00:00
  Downloading transformers-4.51.2-py3-none-any.whl (10.4 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.4/10.4 MB 9.4 MB/s eta 0:00:00
  Downloading transformers-4.51.1-py3-none-any.whl (10.4 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.4/10.4 MB 10.4 MB/s eta 0:00:00
  Downloading transformers-4.51.0-py3-none-any.whl (10.4 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.4/10.4 MB 11.0 MB/s eta 0:00:00
  Downloading transformers-4.50.3-py3-none-any.whl (10.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.2/10.2 MB 10.5 MB/s eta 0:00:00
  Downloading transformers-4.50.2-py3-none-any.whl (10.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.2/10.2 MB 5.2 MB/s eta 0:00:00
  Downloading transformers-4.50.1-py3-none-any.whl (10.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.2/10.2 MB 6.7 MB/s eta 0:00:00
  Downloading transformers-4.50.0-py3-none-any.whl (10.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.2/10.2 MB 10.7 MB/s eta 0:00:00
  Downloading transformers-4.49.0-py3-none-any.whl (10.0 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.0/10.0 MB 9.8 MB/s eta 0:00:00
  Downloading transformers-4.48.3-py3-none-any.whl (9.7 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 9.7/9.7 MB 11.5 MB/s eta 0:00:00
Collecting safetensors>=0.4.1
  Downloading https://download.pytorch.org/whl/nightly/safetensors-0.6.2-cp38-abi3-macosx_11_0_arm64.whl (432 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 432.2/432.2 kB 10.2 MB/s eta 0:00:00
Collecting transformers<5.0.0,>=4.45.1
  Downloading transformers-4.48.2-py3-none-any.whl (9.7 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 9.7/9.7 MB 10.3 MB/s eta 0:00:00
  Downloading transformers-4.48.1-py3-none-any.whl (9.7 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 9.7/9.7 MB 8.7 MB/s eta 0:00:00
  Downloading transformers-4.48.0-py3-none-any.whl (9.7 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 9.7/9.7 MB 4.0 MB/s eta 0:00:00
  Downloading transformers-4.47.1-py3-none-any.whl (10.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.1/10.1 MB 5.5 MB/s eta 0:00:00
  Downloading transformers-4.47.0-py3-none-any.whl (10.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.1/10.1 MB 9.3 MB/s eta 0:00:00
  Downloading transformers-4.46.3-py3-none-any.whl (10.0 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 10.0/10.0 MB 8.1 MB/s eta 0:00:00
Collecting tokenizers<0.21,>=0.20
  Downloading tokenizers-0.20.3-cp310-cp310-macosx_11_0_arm64.whl (2.6 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.6/2.6 MB 8.6 MB/s eta 0:00:00
Collecting tqdm>=4.27
  Downloading https://download.pytorch.org/whl/nightly/tqdm-4.67.1-py3-none-any.whl (78 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 78.5/78.5 kB 6.4 MB/s eta 0:00:00
Collecting regex!=2019.12.17
  Downloading regex-2025.9.1-cp310-cp310-macosx_11_0_arm64.whl (286 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 286.6/286.6 kB 8.9 MB/s eta 0:00:00
Collecting jsonschema>=4.21.1
  Downloading jsonschema-4.25.1-py3-none-any.whl (90 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 90.0/90.0 kB 7.9 MB/s eta 0:00:00
Collecting pydantic<3.0,>=2.7
  Downloading pydantic-2.11.7-py3-none-any.whl (444 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 444.8/444.8 kB 10.3 MB/s eta 0:00:00
Collecting tiktoken>=0.7.0
  Downloading https://download.pytorch.org/whl/nightly/tiktoken-0.11.0-cp310-cp310-macosx_11_0_arm64.whl (999 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 999.2/999.2 kB 1.3 MB/s eta 0:00:00
Collecting pydantic-extra-types[pycountry]>=2.10.5
  Downloading pydantic_extra_types-2.10.5-py3-none-any.whl (38 kB)
Collecting pillow>=10.3.0
  Downloading https://download.pytorch.org/whl/nightly/pillow-11.3.0-cp310-cp310-macosx_11_0_arm64.whl (4.7 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.7/4.7 MB 11.3 MB/s eta 0:00:00
Collecting typing-extensions>=4.11.0
  Downloading typing_extensions-4.15.0-py3-none-any.whl (44 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 44.6/44.6 kB 4.7 MB/s eta 0:00:00
Collecting sympy
  Downloading https://download.pytorch.org/whl/nightly/sympy-1.14.0-py3-none-any.whl (6.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.3/6.3 MB 8.1 MB/s eta 0:00:00
Collecting fsspec
  Downloading fsspec-2025.9.0-py3-none-any.whl (199 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 199.3/199.3 kB 8.9 MB/s eta 0:00:00
Collecting jinja2
  Downloading https://download.pytorch.org/whl/nightly/jinja2-3.1.6-py3-none-any.whl (134 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 134.9/134.9 kB 10.5 MB/s eta 0:00:00
Collecting networkx
  Downloading https://download.pytorch.org/whl/nightly/networkx-3.5-py3-none-any.whl (2.0 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.0/2.0 MB 10.3 MB/s eta 0:00:00
Collecting multidict<7.0,>=4.5
  Downloading https://download.pytorch.org/whl/nightly/multidict-6.6.4-cp310-cp310-macosx_11_0_arm64.whl (44 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 44.6/44.6 kB 5.7 MB/s eta 0:00:00
Collecting yarl<2.0,>=1.0
  Downloading https://download.pytorch.org/whl/nightly/yarl-1.20.1-cp310-cp310-macosx_11_0_arm64.whl (89 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 89.3/89.3 kB 4.4 MB/s eta 0:00:00
Collecting attrs>=17.3.0
  Downloading https://download.pytorch.org/whl/nightly/attrs-25.3.0-py3-none-any.whl (63 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 63.8/63.8 kB 5.3 MB/s eta 0:00:00
Collecting aiosignal>=1.1.2
  Downloading https://download.pytorch.org/whl/nightly/aiosignal-1.4.0-py3-none-any.whl (7.5 kB)
Collecting frozenlist>=1.1.1
  Downloading https://download.pytorch.org/whl/nightly/frozenlist-1.7.0-cp310-cp310-macosx_11_0_arm64.whl (46 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 46.8/46.8 kB 4.7 MB/s eta 0:00:00
Collecting async-timeout<5.0,>=4.0
  Downloading https://download.pytorch.org/whl/nightly/async_timeout-4.0.3-py3-none-any.whl (5.7 kB)
Collecting pluggy<2,>=1.5
  Downloading pluggy-1.6.0-py3-none-any.whl (20 kB)
Collecting iniconfig
  Downloading iniconfig-2.1.0-py3-none-any.whl (6.0 kB)
Collecting exceptiongroup>=1.0.0rc8
  Downloading exceptiongroup-1.3.0-py3-none-any.whl (16 kB)
Collecting tomli>=1
  Downloading tomli-2.2.1-py3-none-any.whl (14 kB)
Collecting kiwisolver>=1.3.1
  Downloading kiwisolver-1.4.9-cp310-cp310-macosx_11_0_arm64.whl (65 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 65.3/65.3 kB 5.5 MB/s eta 0:00:00
Collecting cycler>=0.10
  Downloading https://download.pytorch.org/whl/nightly/cycler-0.12.1-py3-none-any.whl (8.3 kB)
Collecting pyparsing>=2.3.1
  Downloading pyparsing-3.2.3-py3-none-any.whl (111 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 111.1/111.1 kB 8.5 MB/s eta 0:00:00
Collecting python-dateutil>=2.7
  Downloading python_dateutil-2.9.0.post0-py2.py3-none-any.whl (229 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 229.9/229.9 kB 10.6 MB/s eta 0:00:00
Collecting fonttools>=4.22.0
  Downloading fonttools-4.59.2-cp310-cp310-macosx_10_9_universal2.whl (2.8 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 2.8/2.8 MB 11.3 MB/s eta 0:00:00
Collecting contourpy>=1.0.1
  Downloading contourpy-1.3.2-cp310-cp310-macosx_11_0_arm64.whl (253 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 253.4/253.4 kB 10.1 MB/s eta 0:00:00
Collecting jiter<1,>=0.4.0
  Downloading jiter-0.10.0-cp310-cp310-macosx_11_0_arm64.whl (322 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 322.8/322.8 kB 9.3 MB/s eta 0:00:00
Collecting httpx<1,>=0.23.0
  Downloading httpx-0.28.1-py3-none-any.whl (73 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 73.5/73.5 kB 6.6 MB/s eta 0:00:00
Collecting distro<2,>=1.7.0
  Downloading distro-1.9.0-py3-none-any.whl (20 kB)
Collecting anyio<5,>=3.5.0
  Downloading anyio-4.10.0-py3-none-any.whl (107 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 107.2/107.2 kB 8.9 MB/s eta 0:00:00
Collecting sniffio
  Downloading sniffio-1.3.1-py3-none-any.whl (10 kB)
Collecting pytz>=2020.1
  Downloading https://download.pytorch.org/whl/nightly/pytz-2025.2-py2.py3-none-any.whl (509 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 509.2/509.2 kB 10.7 MB/s eta 0:00:00
Collecting tzdata>=2022.7
  Downloading https://download.pytorch.org/whl/nightly/tzdata-2025.2-py2.py3-none-any.whl (347 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━ 347.8/347.8 kB 10.6 MB/s eta 0:00:00
Collecting charset_normalizer<4,>=2
  Downloading https://download.pytorch.org/whl/nightly/charset_normalizer-3.4.3-cp310-cp310-macosx_10_9_universal2.whl (207 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 207.7/207.7 kB 9.3 MB/s eta 0:00:00
Collecting certifi>=2017.4.17
  Downloading https://download.pytorch.org/whl/nightly/certifi-2025.8.3-py3-none-any.whl (161 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 161.2/161.2 kB 5.7 MB/s eta 0:00:00
Collecting idna<4,>=2.5
  Downloading https://download.pytorch.org/whl/nightly/idna-3.10-py3-none-any.whl (70 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 70.4/70.4 kB 6.0 MB/s eta 0:00:00
Collecting urllib3<3,>=1.21.1
  Downloading https://download.pytorch.org/whl/nightly/urllib3-2.5.0-py3-none-any.whl (129 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 129.8/129.8 kB 7.6 MB/s eta 0:00:00
Collecting shellingham>=1.3.0
  Downloading shellingham-1.5.4-py2.py3-none-any.whl (9.8 kB)
Collecting rich>=10.11.0
  Downloading rich-14.1.0-py3-none-any.whl (243 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 243.4/243.4 kB 8.7 MB/s eta 0:00:00
Collecting click<8.2,>=8.0.0
  Downloading click-8.1.8-py3-none-any.whl (98 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 98.2/98.2 kB 7.5 MB/s eta 0:00:00
Collecting httpcore==1.*
  Downloading httpcore-1.0.9-py3-none-any.whl (78 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 78.8/78.8 kB 8.1 MB/s eta 0:00:00
Collecting h11>=0.16
  Downloading h11-0.16.0-py3-none-any.whl (37 kB)
Collecting referencing>=0.28.4
  Downloading referencing-0.36.2-py3-none-any.whl (26 kB)
Collecting rpds-py>=0.7.1
  Downloading rpds_py-0.27.1-cp310-cp310-macosx_11_0_arm64.whl (353 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 353.5/353.5 kB 9.9 MB/s eta 0:00:00
Collecting jsonschema-specifications>=2023.03.6
  Downloading jsonschema_specifications-2025.9.1-py3-none-any.whl (18 kB)
Collecting pydantic-core==2.33.2
  Downloading pydantic_core-2.33.2-cp310-cp310-macosx_11_0_arm64.whl (1.9 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.9/1.9 MB 10.8 MB/s eta 0:00:00
Collecting annotated-types>=0.6.0
  Downloading annotated_types-0.7.0-py3-none-any.whl (13 kB)
Collecting typing-inspection>=0.4.0
  Downloading typing_inspection-0.4.1-py3-none-any.whl (14 kB)
Collecting pycountry>=23
  Downloading pycountry-24.6.1-py3-none-any.whl (6.3 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.3/6.3 MB 11.1 MB/s eta 0:00:00
Collecting six>=1.5
  Downloading https://download.pytorch.org/whl/nightly/six-1.17.0-py2.py3-none-any.whl (11 kB)
Collecting markdown-it-py>=2.2.0
  Downloading markdown_it_py-4.0.0-py3-none-any.whl (87 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 87.3/87.3 kB 9.2 MB/s eta 0:00:00
Collecting pygments<3.0.0,>=2.13.0
  Downloading pygments-2.19.2-py3-none-any.whl (1.2 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.2/1.2 MB 10.5 MB/s eta 0:00:00
Collecting propcache>=0.2.1
  Downloading propcache-0.3.2-cp310-cp310-macosx_11_0_arm64.whl (43 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 43.0/43.0 kB 4.7 MB/s eta 0:00:00
Collecting MarkupSafe>=2.0
  Downloading https://download.pytorch.org/whl/nightly/MarkupSafe-3.0.2-cp310-cp310-macosx_11_0_arm64.whl (12 kB)
Collecting networkx
  Downloading https://download.pytorch.org/whl/nightly/networkx-3.4.2-py3-none-any.whl (1.7 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.7/1.7 MB 5.9 MB/s eta 0:00:00
Collecting mpmath<1.4,>=1.1.0
  Downloading https://download.pytorch.org/whl/nightly/mpmath-1.3.0-py3-none-any.whl (536 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━ 536.2/536.2 kB 9.5 MB/s eta 0:00:00
Collecting mdurl~=0.1
  Downloading mdurl-0.1.2-py3-none-any.whl (10.0 kB)
Using legacy 'setup.py install' for wget, since package 'wheel' is not installed.
Installing collected packages: wget, pytz, mpmath, urllib3, tzdata, typing-extensions, tqdm, tomli, sympy, sniffio, six, shellingham, sentencepiece, safetensors, rpds-py, regex, pyyaml, pyparsing, pygments, pycountry, protobuf, propcache, prometheus-client, pluggy, pillow, packaging, numpy, networkx, mdurl, MarkupSafe, kiwisolver, jiter, iniconfig, idna, h11, fsspec, frozenlist, fonttools, filelock, distro, cycler, click, charset_normalizer, certifi, attrs, async-timeout, annotated-types, typing-inspection, requests, referencing, python-dateutil, pydantic-core, multidict, markdown-it-py, jinja2, httpcore, gguf, exceptiongroup, contourpy, aiosignal, yarl, torch, tiktoken, rich, pytest, pydantic, pandas, matplotlib, jsonschema-specifications, huggingface_hub, anyio, typer, tokenizers, seaborn, pydantic-extra-types, jsonschema, httpx, aiohttp, transformers, openai, mistral-common
  Running setup.py install for wget ... done
Successfully installed MarkupSafe-3.0.2 aiohttp-3.9.5 aiosignal-1.4.0 annotated-types-0.7.0 anyio-4.10.0 async-timeout-4.0.3 attrs-25.3.0 certifi-2025.8.3 charset_normalizer-3.4.3 click-8.1.8 contourpy-1.3.2 cycler-0.12.1 distro-1.9.0 exceptiongroup-1.3.0 filelock-3.19.1 fonttools-4.59.2 frozenlist-1.7.0 fsspec-2025.9.0 gguf-0.17.1 h11-0.16.0 httpcore-1.0.9 httpx-0.28.1 huggingface_hub-0.23.5 idna-3.10 iniconfig-2.1.0 jinja2-3.1.6 jiter-0.10.0 jsonschema-4.25.1 jsonschema-specifications-2025.9.1 kiwisolver-1.4.9 markdown-it-py-4.0.0 matplotlib-3.10.6 mdurl-0.1.2 mistral-common-1.8.4 mpmath-1.3.0 multidict-6.6.4 networkx-3.4.2 numpy-1.26.4 openai-1.55.3 packaging-25.0 pandas-2.2.3 pillow-11.3.0 pluggy-1.6.0 prometheus-client-0.20.0 propcache-0.3.2 protobuf-4.25.8 pycountry-24.6.1 pydantic-2.11.7 pydantic-core-2.33.2 pydantic-extra-types-2.10.5 pygments-2.19.2 pyparsing-3.2.3 pytest-8.3.5 python-dateutil-2.9.0.post0 pytz-2025.2 pyyaml-6.0.2 referencing-0.36.2 regex-2025.9.1 requests-2.32.5 rich-14.1.0 rpds-py-0.27.1 safetensors-0.6.2 seaborn-0.13.2 sentencepiece-0.2.1 shellingham-1.5.4 six-1.17.0 sniffio-1.3.1 sympy-1.14.0 tiktoken-0.11.0 tokenizers-0.20.3 tomli-2.2.1 torch-2.4.1 tqdm-4.67.1 transformers-4.46.3 typer-0.15.4 typing-extensions-4.15.0 typing-inspection-0.4.1 tzdata-2025.2 urllib3-2.5.0 wget-3.2 yarl-1.20.1
WARNING: There was an error checking the latest version of pip.

　pip listは以下のとおり（実行しなくてもOK）。

(convert2gguf) (base) Mac-Studio llama.cpp % pip list --o
Package           Version Latest  Type
----------------- ------- ------- -----
aiohttp           3.9.5   3.12.15 wheel
async-timeout     4.0.3   5.0.1   wheel
click             8.1.8   8.2.1   wheel
huggingface-hub   0.23.5  0.34.4  wheel
numpy             1.26.4  2.2.6   wheel
openai            1.55.3  1.106.1 wheel
pandas            2.2.3   2.3.2   wheel
pip               22.2.2  25.2    wheel
prometheus_client 0.20.0  0.22.1  wheel
protobuf          4.25.8  6.32.0  wheel
pydantic_core     2.33.2  2.39.0  wheel
pytest            8.3.5   8.4.2   wheel
setuptools        63.2.0  80.9.0  wheel
tokenizers        0.20.3  0.22.0  wheel
torch             2.4.1   2.8.0   wheel
transformers      4.46.3  4.56.1  wheel
typer             0.15.4  0.17.4  wheel
WARNING: There was an error checking the latest version of pip.

Safetensors形式のモデルをGGUFに変換

　いよいよ本題のGGUFへの変換を行います。以下のコマンドを実行すると、変換が行われます。

　今回はHuggingfaceに掲載されている、「RakutenAI-7B」を使用します。量子化ビットはbf16にします。

　–outtypeの後ろでGGUFの変換サイズを指定することができます。詳細は以下のとおり。下に行くほどモデルの質が劣化するが、メモリ消費量は減り、トークン生成速度は速くなる傾向にある。まぁ、頓珍漢な回答も出やすくなるので注意。

パラメータ	量子化ビット	7Bモデルを変換した際のファイルサイズ目安	備考
f32	32bit	約26GB	高品質だが、RAMを大量に消費する。また、トークン生成速度も遅い。
f16	16bit	約13GB	f32程ではないが、高品質。メモリ等のリソースは消費する。
bf16	16bit(bfloat16)	約13GB	f16と同様だが、bfloat16に対応したデバイスでは、積和演算が高速。
q8_0	8bit	約7GB	8bit=1byte量子化。メモリ消費量とトークン生成速度のバランスがいいと思う。
tq2_0	true 2-bit ternary-plus 量子化（2.7bit）	約3GB	4bit未満に量子化。メモリ消費量が大幅に減る。
tq1_0	1.69 bit	約2GB	メモリ消費量が一番小さい。が、特に長文の回答を生成した際に支離滅裂な文を生成しやすくなる。
auto	–	変化なし	既存のGGUFファイルを再生成する時に使ったりする。よって、モデルサイズ等は変わらない。

python convert_hf_to_gguf.py "Safetensors形式のモデルが格納されたフォルダのパス" --outfile "GGUFファイル出力先のフォルダ/RakutenAI-7B-instruct_f16.gguf" --outtype bf16

　実行結果は以下のとおり。

(convert2gguf) (base) Mac-Studio llama.cpp % python convert_hf_to_gguf.py "Safetensors形式のモデルが格納されたフォルダのパス" --outfile "GGUFファイル出力先のフォルダ/RakutenAI-7B-instruct_f16.gguf" --outtype bf16
INFO:hf-to-gguf:Loading model: RakutenAI-7B-instruct
INFO:hf-to-gguf:Model architecture: MistralForCausalLM
INFO:gguf.gguf_writer:gguf: This GGUF file is for Little Endian only
INFO:hf-to-gguf:Exporting model...
INFO:hf-to-gguf:gguf: loading model weight map from 'model.safetensors.index.json'
INFO:hf-to-gguf:gguf: loading model part 'model-00001-of-00003.safetensors'
INFO:hf-to-gguf:token_embd.weight,           torch.bfloat16 --> F16, shape = {4096, 48000}
INFO:hf-to-gguf:blk.0.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.0.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.0.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.0.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.0.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.0.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.0.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.0.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.0.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.1.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.1.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.1.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.1.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.1.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.1.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.1.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.1.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.1.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.10.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.10.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.10.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.10.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.10.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.2.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.2.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.2.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.2.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.2.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.2.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.2.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.2.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.2.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.3.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.3.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.3.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.3.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.3.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.3.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.3.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.3.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.3.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.4.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.4.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.4.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.4.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.4.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.4.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.4.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.4.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.4.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.5.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.5.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.5.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.5.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.5.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.5.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.5.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.5.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.5.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.6.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.6.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.6.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.6.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.6.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.6.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.6.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.6.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.6.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.7.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.7.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.7.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.7.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.7.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.7.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.7.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.7.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.7.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.8.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.8.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.8.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.8.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.8.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.8.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.8.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.8.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.8.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.9.attn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.9.ffn_down.weight,       torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.9.ffn_gate.weight,       torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.9.ffn_up.weight,         torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.9.ffn_norm.weight,       torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.9.attn_k.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.9.attn_output.weight,    torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.9.attn_q.weight,         torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.9.attn_v.weight,         torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:gguf: loading model part 'model-00002-of-00003.safetensors'
INFO:hf-to-gguf:blk.10.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.10.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.10.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.10.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.11.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.11.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.11.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.11.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.11.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.11.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.11.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.11.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.11.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.12.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.12.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.12.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.12.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.12.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.12.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.12.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.12.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.12.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.13.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.13.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.13.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.13.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.13.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.13.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.13.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.13.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.13.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.14.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.14.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.14.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.14.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.14.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.14.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.14.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.14.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.14.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.15.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.15.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.15.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.15.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.15.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.15.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.15.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.15.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.15.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.16.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.16.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.16.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.16.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.16.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.16.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.16.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.16.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.16.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.17.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.17.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.17.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.17.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.17.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.17.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.17.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.17.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.17.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.18.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.18.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.18.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.18.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.18.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.18.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.18.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.18.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.18.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.19.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.19.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.19.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.19.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.19.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.19.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.19.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.19.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.19.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.20.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.20.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.20.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.20.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.20.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.20.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.20.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.20.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.20.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.21.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.21.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.21.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.21.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.21.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.21.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:gguf: loading model part 'model-00003-of-00003.safetensors'
INFO:hf-to-gguf:output.weight,               torch.bfloat16 --> F16, shape = {4096, 48000}
INFO:hf-to-gguf:blk.21.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.21.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.21.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.22.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.22.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.22.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.22.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.22.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.22.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.22.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.22.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.22.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.23.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.23.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.23.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.23.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.23.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.23.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.23.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.23.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.23.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.24.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.24.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.24.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.24.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.24.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.24.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.24.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.24.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.24.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.25.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.25.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.25.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.25.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.25.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.25.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.25.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.25.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.25.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.26.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.26.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.26.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.26.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.26.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.26.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.26.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.26.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.26.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.27.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.27.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.27.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.27.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.27.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.27.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.27.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.27.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.27.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.28.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.28.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.28.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.28.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.28.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.28.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.28.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.28.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.28.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.29.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.29.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.29.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.29.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.29.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.29.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.29.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.29.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.29.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.30.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.30.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.30.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.30.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.30.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.30.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.30.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.30.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.30.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.31.attn_norm.weight,     torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.31.ffn_down.weight,      torch.bfloat16 --> F16, shape = {14336, 4096}
INFO:hf-to-gguf:blk.31.ffn_gate.weight,      torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.31.ffn_up.weight,        torch.bfloat16 --> F16, shape = {4096, 14336}
INFO:hf-to-gguf:blk.31.ffn_norm.weight,      torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:blk.31.attn_k.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:blk.31.attn_output.weight,   torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.31.attn_q.weight,        torch.bfloat16 --> F16, shape = {4096, 4096}
INFO:hf-to-gguf:blk.31.attn_v.weight,        torch.bfloat16 --> F16, shape = {4096, 1024}
INFO:hf-to-gguf:output_norm.weight,          torch.bfloat16 --> F32, shape = {4096}
INFO:hf-to-gguf:Set meta model
INFO:hf-to-gguf:Set model parameters
INFO:hf-to-gguf:gguf: context length = 32768
INFO:hf-to-gguf:gguf: embedding length = 4096
INFO:hf-to-gguf:gguf: feed forward length = 14336
INFO:hf-to-gguf:gguf: head count = 32
INFO:hf-to-gguf:gguf: key-value head count = 8
INFO:hf-to-gguf:gguf: rope theta = 10000.0
INFO:hf-to-gguf:gguf: rms norm epsilon = 1e-05
INFO:hf-to-gguf:gguf: file type = 1
INFO:hf-to-gguf:Set model quantization version
INFO:hf-to-gguf:Set model tokenizer
WARNING:gguf.vocab:Unknown separator token '' in TemplateProcessing
INFO:gguf.vocab:Setting special token type bos to 1
INFO:gguf.vocab:Setting special token type eos to 2
INFO:gguf.vocab:Setting special token type unk to 0
INFO:gguf.vocab:Setting special token type pad to 2
INFO:gguf.vocab:Setting add_bos_token to True
INFO:gguf.vocab:Setting add_sep_token to False
INFO:gguf.vocab:Setting add_eos_token to False
INFO:gguf.gguf_writer:Writing the following files:
INFO:gguf.gguf_writer:/GGUFファイル出力先のフォルダ/RakutenAI-7B-instruct_f16.gguf: n_tensors = 291, total_size = 14.7G
Writing: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 14.7G/14.7G [00:50<00:00, 293Mbyte/s]
INFO:hf-to-gguf:Model successfully exported to /GGUFファイル出力先のフォルダ/RakutenAI-7B-instruct/RakutenAI-7B-instruct_f16.gguf

~~The post MacでSafetensors形式のモデルをGGUFに変換する方法 first appeared on Uranos8685のおもちゃ箱.~~

Mac Studio M4 Maxを買ってしまったお話

Uranos8685 — Mon, 08 Sep 2025 14:21:35 +0000

　私は昔からWindows一筋でやってきていました。ホームビデオを見返すと、３歳の頃からWindowsを使ってお絵描きしていたレベルです。

　現在使っている自作Windows機の構成は以下のとおりです。

CPU：intel Corei5-13600K

マザーボード：Z690-F GAMING

GPU：RTX3080(10GB)

ストレージ：たくさん

　ローカルでLLMを回すとなるとGPUのメモリが大切になってきます。gpt-oss-20bを動かそうとすると、16GBは消費します。私のGPUは10GBしかありませんが一応動きはします。ただ、溢れた分はRAMに逃したりなんとかしているようで、かなりレスポンス（トークン生成）が遅い状況でした。

　これを改善する方法は２つあり、１つはGPUを載せ替えることです。狙うならメモリ24GBを搭載するRTX5070Ti SUPERですが、未発売かつ御祝儀価格がいくらになるのか分かりません。もう１つの方法が、Macを買うでした。

　Macはユニファイドメモリを搭載しており、LLMをこのメモリで高速に回すことができます。ちょうど、Windowsを仮想マシンで起動しっぱなしにしておけるミニPCも欲しかったので、Mac mini M4の仕様を調べてみたところ、ユニファイドメモリはデフォで16GB(¥94,800)、課金して32GB(¥154,800)でした。また、LLMはメモリ帯域も大事なのですが、Mac miniは120GB/sです。LLMを動作させるには問題ありませんが、仮想デスクトップも同時起動となると、32GBでもやや心許ない。

　ついでにMac Studio M4 Maxも調べたところ、ユニファイドメモリ36GB(¥328,800)、メモリ帯域は546GB/sといい感じ。私がApple Storeオンラインショップを覗いた際には、Mac Studio M4 Maxの整備済品が¥278,800で売られていました。これしかないと思い、整備済品をポチってしまいました。

　出費は大きかったですが、gpt-ossもサクサク動作したので大満足でした。１つ誤算だったのは、M4チップはARM系なのでWindows仮想マシンもARM系のものがインストールされます。ギャルゲーやらなんやらを出先のスマホでプレイするための仮想環境だったのですが、互換性の問題で動作しないのがチラホラ…（君のぞとか）。

　ちなみに、購入から４日後に整備済Macのページを見ましたが、Mac Studio M4 Maxの在庫は消し飛んでいました。ラス１だったのか在庫僅少だったのかは分かりませんが、たった１つ言えることは「様子見せずに、買っておいてよかったーーー！！！」

Mac整備済製品 - Mac Studio
整備済製品のMac Studioを最大15%引きの特別価格で購入できます。Appleが点検し、認定しています。1年間の製品保証も付いています。送料無料。返品も無料です。
www.apple.com
The post Mac Studio M4 Maxを買ってしまったお話 first appeared on Uranos8685のおもちゃ箱.

Uranos8685のおもちゃ箱

Panasonicの炊飯器のボタン修理

はじめに

操作パネルの分解

壊れたボタンの取り外し

動作確認

WordPressで重めの記事が投稿できなかった場合の対処法

WordPressの実行環境

対処法

設定ファイル（.cnf）の検索

（max_allowed_packetがない場合）

（max_allowed_packetがすでに入力済みの場合）

（max_allowed_packetがある場合・ない場合共通）

Safetensors形式のモデルをLiteRT-LM形式に変換してみる

WSL2のセットアップ

WSL2の環境構築

必要なツールをインストール

変換対象のモデルを配置

モデルを変換

変換したモデルを実行してみる（CPU推論）

今回作成したモデルのHuggingFaceリポジトリ

Python＋OpenVINOでSafetensors形式のモデルを実行してみる

実行環境

環境構築

Transformersモデルの実行（CPU推論）

8ビット量子化での推論

Transformersで同じプロンプト・8ビット量子化で推論した場合

4ビット量子化での推論

OpenVINOランタイム最適化を有効にする

動的量子化

KVキャッシュの量子化

その他（GPU、NPU推論について）

コード・実行結果をHTML出力したもの

llama-cpp-python(CUDA版)のビルド環境をオフラインで構築する

1．はじめに

2．インストーラーの収集（ネットワークにつながった端末で行う）

①Build Tools for Visual Studio

②CMake

③CUDA Toolkit

④cuDNN

3．開発端末へインストール

①Build Tools for Visual Studio

②CMake

③CUDA Toolkit

④cuDNN

⑤CUDA関係の環境変数の確認

4.llama-cpp-pythonのビルド

VSCodeでContinueを使ってみる

1．Ollamaをホストしている端末自身でContinueを利用する場合

①Ollamaをインストールする

②VSCodeにContinueをインストールする

③－1 VSCodeの設定（Ollamaをホストしている端末自身でContinueを使う場合）

③－2 VSCodeの設定（Ollamaをホストしていない同一ネットワーク上の端末からContinueを使う場合）

Presenton+Ollammaでパワーポイント資料を生成してみた

1．はじめに

2．Presentonのインストール

3．Presentonの設定

3.パワーポイント資料作成

LRC Maker(Uranos8685) 配布ページ

はじめに

LRC Maker(Uranos8685) スクリーンショット

おまけ情報

主要な機能（という名のこだわりポイント）について

当ソフトウェアを利用する際の注意事項

ダウンロードリンク

更新履歴

2025年9月29日 配布ページ作成、公開

2025年10月4日 mac版v1.0公開

2025年11月8日 Windows版v1.0公開

2025年11月10日 Windows版v1.0.1公開

2026年1月29日 Windows版及びmac版v1.0.2公開

2026年1月30日 mac版v1.0.2.1公開

2026年1月31日 Windows版及びmac版v1.1公開

2026年2月9日 Windows版及びmac版v1.1.1公開

2026年2月15日 Windows版及びmac版v1.1.2公開

2026年2月15日 Windows版及びmac版v1.1.3公開

FAQ

今後追加予定の機能（自分が欲しい機能）

MacでSafetensors形式のモデルをGGUFに変換する方法

前提条件

LRC Maker(Uranos8685)　配布ページ

LRC Maker(Uranos8685)　スクリーンショット

2025年9月29日
　配布ページ作成、公開

2025年10月4日
　mac版v1.0公開

2025年11月8日
　Windows版v1.0公開

2025年11月10日
　Windows版v1.0.1公開

2026年1月29日
　Windows版及びmac版v1.0.2公開

2026年1月30日
　mac版v1.0.2.1公開

2026年1月31日
　Windows版及びmac版v1.1公開

2026年2月9日
　Windows版及びmac版v1.1.1公開

2026年2月15日
　Windows版及びmac版v1.1.2公開

2026年2月15日
　Windows版及びmac版v1.1.3公開