import os
import psutil
import time

from optimum.intel import OVModelForCausalLM
from transformers import AutoProcessor

model_path = r"H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct"

# 初回はOpenVINO IR形式への変換処理が内部で行われる

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

processor = AutoProcessor.from_pretrained(model_path)

model = OVModelForCausalLM.from_pretrained(model_path)

messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]

inputs = processor.apply_chat_template(
    messages,
    temperature=0.1, 
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()

print(response)

print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

No OpenVINO files were found for H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct, setting `export=True` to convert the model to the OpenVINO IR. Don't forget to save the resulting model with `.save_pretrained()`
`torch_dtype` is deprecated! Use `dtype` instead!

Loading weights:   0%|          | 0/339 [00:00<?, ?it/s]

`loss_type=None` was set in the config but it is unrecognized. Using the default loss: `ForCausalLMLoss`.
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\transformers\cache_utils.py:132: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can't record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs!
  if not self.is_initialized or self.keys.numel() == 0:
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\transformers\masking_utils.py:171: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can't record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs!
  if (padding_length := kv_length + kv_offset - attention_mask.shape[-1]) > 0:
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\optimum\exporters\openvino\patching_utils.py:247: TracerWarning: torch.tensor results are registered as constants in the trace. You can safely ignore this warning if you use this function to create tensors out of constant variables that would be the same every time you call this function. In any other case, this might cause the trace to be incorrect.
  torch.tensor(0.0, device=mask.device, dtype=dtype),
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\optimum\exporters\openvino\patching_utils.py:248: TracerWarning: torch.tensor results are registered as constants in the trace. You can safely ignore this warning if you use this function to create tensors out of constant variables that would be the same every time you call this function. In any other case, this might cause the trace to be incorrect.
  torch.tensor(torch.finfo(torch.float16).min, device=mask.device, dtype=dtype),
c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\transformers\integrations\sdpa_attention.py:77: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can't record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs!
  is_causal = query.shape[2] > 1 and attention_mask is None and is_causal

INFO:nncf:Statistics of the bitwidth distribution:
+---------------------------+-----------------------------+----------------------------------------+
| Weight compression mode   | % all parameters (layers)   | % ratio-defining parameters (layers)   |
+===========================+=============================+========================================+
| int8_asym, per-channel    | 100% (198 / 198)            | 100% (198 / 198)                       |
+---------------------------+-----------------------------+----------------------------------------+

Output()

もちろんです、以下にジョークを聞かせていただきます。

「なぜパン屋さんには猫がいないのですか？」

答え：猫はパンを作ります。

このジョークの面白さは、「猫」と「パン」という単語の類似性を利用しています。一般的には猫とパンは関係がないように思われますが、ジョークではその関連性を利用して笑いを生み出しています。これは言葉遊びや双关語を用いて表現したものです。<|im_end|>
============================================================
実行前メモリ使用量: 484.25 MB
実行後メモリ使用量: 14306.33 MB
差引メモリ使用量: 13822.08 MB
実行時間: 83.053 秒

open_vino_save_path = r"H:\LLM_Models\open_vino\Qwen\Qwen2.5-Coder-7B-Instruct"

# OpenVINO IR形式を保存
# 次回以降model_pathに保存済みのOpenVINO IR形式へのpathを渡せば変換が省略される。
model.save_pretrained(open_vino_save_path)
processor.save_pretrained(open_vino_save_path)

del model, processor

# 保存したモデルを読み込んでみる
process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

processor = AutoProcessor.from_pretrained(open_vino_save_path)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path)

messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]

inputs = processor.apply_chat_template(
    messages,
    temperature=0.1, 
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False
).to(model.device)
input_len = inputs["input_ids"].shape[-1]


outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)

mem_after = process.memory_info().rss / 1024**2  # MB

end = time.time()

print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

del model, processor

もちろんです、以下に面白いジョークをお伝えします。

ジョーク：「ある日、誰かが友人と話していたら、「最近、自分の人生の目標について考えているんだけど、何が一番大切なのか教えてね。」友人は答えを尋ねる。「それは何ですか？」「何でもいいんだよ。」友人は驚いて、「本当に何でもいいんだよ？」と反問した。答え者は笑って言った、「もちろんだよ。」」

このジョークが面白い理由は以下の通りです：

1. 答え者の回答が単純で直感的で、予想外でした。
2. 友人の反問は答え者の単純さを強調し、ジョークのギャグを高めました。
3. このジョークは、人生の目標や価値観についての深い思考を促進する可能性があります。

このジョークは、シンプルさと直感性が効果的なコミュニケーションと問題解決の方法を示すことができます。<|im_end|>
============================================================
実行前メモリ使用量: 696.95 MB
実行後メモリ使用量: 14376.63 MB
差引メモリ使用量: 13679.69 MB
実行時間: 61.783 秒

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

quantization_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    quantization_config=quantization_config,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

quantization_time = time.time()

messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]
text = tokenizer.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]


mem_after = process.memory_info().rss / 1024**2  # MB

end = time.time()

print(response)
print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")
print(f"量子化処理を除いた推論時間: {end - quantization_time:.3f} 秒")

del model, tokenizer

Exception in thread Thread-6 (_readerthread):
Traceback (most recent call last):
  File "c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\threading.py", line 1081, in _bootstrap_inner
    self._context.run(self.run)
    ~~~~~~~~~~~~~~~~~^^^^^^^^^^
  File "c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\threading.py", line 1023, in run
    self._target(*self._args, **self._kwargs)
    ~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\subprocess.py", line 1613, in _readerthread
    buffer.append(fh.read())
                  ~~~~~~~^^
  File "<frozen codecs>", line 325, in decode
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 7: invalid start byte

Loading weights:   0%|          | 0/339 [00:00<?, ?it/s]

c:\ProgramData\anaconda3\envs\openvino_20260717\Lib\site-packages\bitsandbytes\autograd\_functions.py:123: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
  warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization")

もちろんです、以下にジョークをお聞かせします。

「何が最も賢い動物ですか？」

答え：「カエル」
（カエルの「知恵」は「知らす」という言葉から来ていると言われています）

このジョークは、単純で分かりやすいですが、ユーモラスな要素があります。一般的な期待に反して、答えは意外と短く、直接的な答えを提供しています。これは、聴衆が予想外の答えを見つけることによって興味を引きます。さらに、「カエル」の「知恵」についての知識がある読者にとっては、ジョーク自体がより面白くなります。
============================================================
実行前メモリ使用量: 744.62 MB
実行後メモリ使用量: 22697.21 MB
差引メモリ使用量: 21952.59 MB
実行時間: 77.135 秒
量子化処理を除いた推論時間: 59.798 秒

# モデル量子化用に追加でロード
from nncf import compress_weights, CompressWeightsMode

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

model = OVModelForCausalLM.from_pretrained(model_path,
                                           load_in_8bit=False, # これを指定することでデフォルトの8ビット量子化を無効化
                                           compile=False,   # この段階でモデルをコンパイルしても、その後4ビットモデルを作成⇒再コンパイルすることとなり無駄となる。
                                                            # Falseを指定することでコンパイルをキャンセルできる。
                                           )

# modeを指定することで量子化モードを指定できる。指定できるパラメータは以下のマークダウンを参照。
model.model = compress_weights(model.model,
                               mode=CompressWeightsMode.INT4_ASYM,
                              )
# プロセッサも保存する必要があるので読み込み
processor = AutoProcessor.from_pretrained(model_path)

# 量子化したモデルをOpenVINO IR形式で保存
open_vino_save_path_int4a = r"H:\LLM_Models\open_vino\Qwen\Qwen2.5-Coder-7B-Instruct_INT4-ASYM"
model.save_pretrained(open_vino_save_path_int4a)
processor.save_pretrained(open_vino_save_path_int4a)

end = time.time()
print(f"実行時間: {end - start:.3f} 秒")

del model, processor

No OpenVINO files were found for H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct, setting `export=True` to convert the model to the OpenVINO IR. Don't forget to save the resulting model with `.save_pretrained()`

Loading weights:   0%|          | 0/339 [00:00<?, ?it/s]

INFO:nncf:Statistics of the bitwidth distribution:
+---------------------------+-----------------------------+----------------------------------------+
| Weight compression mode   | % all parameters (layers)   | % ratio-defining parameters (layers)   |
+===========================+=============================+========================================+
| int8_asym, per-channel    | 14% (2 / 198)               | 0% (0 / 196)                           |
+---------------------------+-----------------------------+----------------------------------------+
| int4_asym, group size 128 | 86% (196 / 198)             | 100% (196 / 196)                       |
+---------------------------+-----------------------------+----------------------------------------+

Output()

実行時間: 56.518 秒

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a)

messages = [
    {"role": "system", "content": "あなたは有能なAIアシスタントです。"},
    {"role": "user", "content": "面白いジョークを話して。またどこが面白いかも解説してください。"},
]

processor = AutoProcessor.from_pretrained(model_path)

inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)


mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()

print(response)

print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

del model, processor

もちろんです、以下に面白いジョークをお伝えします。

ジョーク：
「何が最も強い武器ですか？答え：言葉」

解説：
このジョークの面白いのは、「言葉」という単語自体が強力な武器であることを意味していることです。言葉は私たちの思考や感情を表現する唯一の手段であり、それがどのように使われるかによって結果は大きく変わります。例えば、建設的な言葉は人間関係を改善し、破壊的な言葉は人間関係を損なう可能性があります。したがって、「言葉」は非常に強力な武器と言えるでしょう。<|im_end|>
============================================================
実行前メモリ使用量: 1116.38 MB
実行後メモリ使用量: 9301.42 MB
差引メモリ使用量: 8185.04 MB
実行時間: 31.623 秒

# こんな感じで量子化パラメータを指定できるそう
model = OVModelForCausalLM.from_pretrained(
    model_path,
    ov_config={"DYNAMIC_QUANTIZATION_GROUP_SIZE": "64"}
)

No OpenVINO files were found for H:\LLM_Models\safetensor\Qwen\Qwen2.5-Coder-7B-Instruct, setting `export=True` to convert the model to the OpenVINO IR. Don't forget to save the resulting model with `.save_pretrained()`

Loading weights:   0%|          | 0/339 [00:00<?, ?it/s]

INFO:nncf:Statistics of the bitwidth distribution:
+---------------------------+-----------------------------+----------------------------------------+
| Weight compression mode   | % all parameters (layers)   | % ratio-defining parameters (layers)   |
+===========================+=============================+========================================+
| int8_asym, per-channel    | 100% (198 / 198)            | 100% (198 / 198)                       |
+---------------------------+-----------------------------+----------------------------------------+

Output()

# KVキャッシュの量子化を無効化してみる

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a,
                                           ov_config={"KV_CACHE_PRECISION": "f16",
                                                      "PERFORMANCE_HINT": "LATENCY",
                                                      },
                                           )

messages = [
    {"role": "system", "content": "あなたは有能なコーディングAIです。"},
    {"role": "user", "content": "transformersとFAISSとstreamlitを使った、QAチャットボットをpythonで構築して。"},
]

processor = AutoProcessor.from_pretrained(model_path)

inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=4096)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)


mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()

print(response)

print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

del model, processor

以下に基本的なコード例を示します。

まず、必要なライブラリをインストールしましょう：

```bash
pip install transformers faiss-cpu streamlit
```

次に、以下のようなPythonスクリプトを作成します。

```python
import streamlit as st
from transformers import pipeline

# Q&Aモデルのロード
qa_pipeline = pipeline("question-answering", model="distilbert-base-uncased-distilled-squad")

def answer_question(question, context):
    result = qa_pipeline(question=question, context=context)
    return result['answer']

st.title('Q&Aチャットボット')

context = st.text_area('文脈を入力してください')
question = st.text_input('質問を入力してください')

if st.button('回答'):
    if context and question:
        answer = answer_question(question, context)
        st.write(f'回答: {answer}')
    else:
        st.write('文脈または質問が未入力です。')
```

このスクリプトでは、Streamlitを使用してウェブインターフェースを作成し、ユーザーから文脈と質問を受け取ります。それらをHugging FaceのTransformersライブラリで使用したQ&Aモデルに送信して、回答を得ます。

ただし、この例では、FAISSを用いて効率的な検索を行う部分は含まれていません。FAISSを用いた検索機能を追加するためには、より複雑な設計が必要になります。

なお、上記のコードは非常に単純化されたものです。実際のアプリケーションでは、エラーハンドリング、セキュリティ対策、パフォーマンス最適化などの考慮が必要となる可能性があります。<|im_end|>
============================================================
実行前メモリ使用量: 1452.83 MB
実行後メモリ使用量: 9407.55 MB
差引メモリ使用量: 7954.73 MB
実行時間: 72.236 秒

# KVキャッシュの量子化をu8にしてみる

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a,
                                           ov_config={"KV_CACHE_PRECISION": "u8",
                                                      "DYNAMIC_QUANTIZATION_GROUP_SIZE": "32",
                                                      "PERFORMANCE_HINT": "LATENCY",
                                                      },
                                           )

messages = [
    {"role": "system", "content": "あなたは有能なコーディングAIです。"},
    {"role": "user", "content": "transformersとFAISSとstreamlitを使った、QAチャットボットをpythonで構築して。"},
]

processor = AutoProcessor.from_pretrained(model_path)

inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=4096)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)


mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()

print(response)

print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

del model, processor

まず、必要なライブラリをインストールしましょう。

```
pip install transformers faiss-cpu streamlit
```

次に、以下のPythonスクリプトを作成します：

```python
import streamlit as st
from transformers import pipeline

# モデルとトークン化器のロード
qa = pipeline("question-answering", model="distilbert-base-uncased-distilled-squad")

# チャットボットの関数定義
def chatbot(question):
    result = qa(question)
    return result['answer']

# Streamlitアプリケーションの作成
st.title('Q&A Chatbot')

# ユーザーからの入力を受け取る
user_input = st.text_area('質問を入力してください：', 'あなたの質問は何ですか？')

# ボタンを押したときにchatbot関数を呼び出す
if st.button('回答'):
    answer = chatbot(user_input)
    st.write(f'回答: {answer}')

```

このスクリプトを保存し、`streamlit run your_script_name.py`を実行すると、チャットボットのWebインターフェースが起動します。

このコードは、ユーザーがテキストエリアに入力した質問に対して、事前学習されたDistilBERTモデルを使用して回答を生成します。質問に対する回答は、Streamlitのウェブページ上に表示されます。<|im_end|>
============================================================
実行前メモリ使用量: 1289.97 MB
実行後メモリ使用量: 9373.59 MB
差引メモリ使用量: 8083.62 MB
実行時間: 60.389 秒

# KVキャッシュの量子化をu4にしてみる

process = psutil.Process(os.getpid())
mem_before = process.memory_info().rss / 1024**2  # MB
start = time.time()

processor = AutoProcessor.from_pretrained(open_vino_save_path_int4a)
model = OVModelForCausalLM.from_pretrained(open_vino_save_path_int4a,
                                           ov_config={"KV_CACHE_PRECISION": "u4",
                                                      "DYNAMIC_QUANTIZATION_GROUP_SIZE": "32",
                                                      "PERFORMANCE_HINT": "LATENCY",
                                                      },
                                           )

messages = [
    {"role": "system", "content": "あなたは有能なコーディングAIです。"},
    {"role": "user", "content": "transformersとFAISSとstreamlitを使った、QAチャットボットをpythonで構築して。"},
]

processor = AutoProcessor.from_pretrained(model_path)

inputs = processor.apply_chat_template(
    messages,
    temperature=0.1,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
    enable_thinking=False,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=4096)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)


mem_after = process.memory_info().rss / 1024**2  # MB
end = time.time()

print(response)

print("=" * 60)
print(f"実行前メモリ使用量: {mem_before:.2f} MB")
print(f"実行後メモリ使用量: {mem_after:.2f} MB")
print(f"差引メモリ使用量: {mem_after - mem_before:.2f} MB")
print(f"実行時間: {end - start:.3f} 秒")

del model, processor

もちろっきり、それはchatlit、具体的詳しく少しいて、すいて、そしていて、、、すえにいて。いいていててだして、。<|im_end|>
============================================================
実行前メモリ使用量: 1321.38 MB
実行後メモリ使用量: 9436.15 MB
差引メモリ使用量: 8114.78 MB
実行時間: 11.552 秒