【Google AI 実験室 #2】データシート QA｜Gemini にデータシート PDF を読ませ、IC実験室の実測値で採点する（2SC1815・NE555N）

dependencies = [
    "google-genai>=2.23.0,<3",
    "python-dotenv>=1.2.3,<2",
    "pypdf>=6.19.0,<7",
]

cd google-ai-lab
git pull
uv sync

google-ai-lab/
├── 01-setup/                 # #1 のまま（.env もここ）
├── 02-datasheet-qa/
│   ├── spec_qa.py            # 質問 14 項目・回答スキーマ・PDF の定義（共有モジュール）
│   ├── download_datasheets.py  # 秋月の URL から PDF を datasheets/ に取得し sha256 を表示
│   ├── ask_without_pdf.py    # 実験 1：PDF なし（知識だけ）
│   ├── ask_with_pdf.py       # 実験 2：PDF あり・構造化出力・count_tokens
│   ├── verify_quotes.py      # 実験 3：引用を pypdf で PDF 本文と照合
│   ├── score.py              # 実験 4：4 列の表を Markdown で出力
│   ├── measured.json         # 人間が読んだデータシートの値と、IC実験室の実測値
│   └── datasheets/           # PDF の置き場所（.gitignore）
└── out/                      # 実出力 JSON・Markdown（.gitignore）

"""秋月電子の商品ページからリンクされているデータシート PDF を datasheets/ に落とし、sha256 とページ数を表示する（Google AI 実験室 #2）

PDF は各メーカーの著作物なのでリポジトリには入れない。必ずこのスクリプトで URL から取得する。
"""

import hashlib
import sys
import urllib.request

from pypdf import PdfReader

from spec_qa import DATASHEET_DIR, DATASHEETS

sys.stdout.reconfigure(errors="replace")  # cp932 のコンソールに µ などが混ざっても落とさない
DATASHEET_DIR.mkdir(exist_ok=True)

for part, ds in DATASHEETS.items():
    dest = DATASHEET_DIR / ds["file"]
    req = urllib.request.Request(ds["url"], headers={"User-Agent": "Mozilla/5.0"})
    with urllib.request.urlopen(req, timeout=60) as resp:
        content_type = resp.headers.get("Content-Type", "")
        data = resp.read()
    dest.write_bytes(data)
    digest = hashlib.sha256(data).hexdigest()
    pages = len(PdfReader(dest).pages)
    same = "OK (記事執筆時と同一)" if digest == ds["sha256"] else "DIFFERENT (PDF が更新されている。値を読み直すこと)"
    print(f"[{part}] {ds['url']}")
    print(f"  -> {dest.name}  {len(data):,} bytes  {content_type}  {pages} pages")
    print(f"  sha256 {digest}  {same}")

uv run 02-datasheet-qa/download_datasheets.py

[2SC1815] https://akizukidenshi.com/goodsaffix/2SC1815_unisonic.pdf
  -> 2SC1815_unisonic.pdf  265,332 bytes  application/pdf  4 pages
  sha256 17a154c2c214455f61f3ef146d4e8e37d5065356b17a70c293a47afd89d694dc  OK (記事執筆時と同一)
[NE555N] https://akizukidenshi.com/goodsaffix/ne555.pdf
  -> ne555.pdf  160,552 bytes  application/pdf  7 pages
  sha256 04b265ee75522a3161fc21bccac2874719d44183c50b255c5fc79be5b1451865  OK (記事執筆時と同一)

"""質問項目・回答スキーマ・データシートの定義（Google AI 実験室 #2）。ask_*.py / verify_quotes.py / score.py が共有する"""

from pathlib import Path

from pydantic import BaseModel, Field

HERE = Path(__file__).resolve().parent
DATASHEET_DIR = HERE / "datasheets"  # PDF の置き場所（.gitignore 済み。download_datasheets.py が作る）
OUT_DIR = HERE.parent / "out"  # 実出力の置き場所（.gitignore 済み）

# 秋月電子の商品ページからリンクされているメーカーのデータシート PDF（2026-09-19 取得・HEAD 200・application/pdf）
# sha256 は記事執筆時のもの。PDF が差し替わっていたら download_datasheets.py が知らせる
DATASHEETS = {
    "2SC1815": {
        "part": "2SC1815L-Y-T92",
        "maker": "UTC (Unisonic Technologies)",
        "shop": "https://akizukidenshi.com/catalog/g/g106475/",
        "url": "https://akizukidenshi.com/goodsaffix/2SC1815_unisonic.pdf",
        "file": "2SC1815_unisonic.pdf",
        "sha256": "17a154c2c214455f61f3ef146d4e8e37d5065356b17a70c293a47afd89d694dc",
    },
    "NE555N": {
        "part": "NE555N (CMOS, DIP-8)",
        "maker": "HTC Korea (TAEJIN TECHNOLOGY)",
        "shop": "https://akizukidenshi.com/catalog/g/g116062/",
        "url": "https://akizukidenshi.com/goodsaffix/ne555.pdf",
        "file": "ne555.pdf",
        "sha256": "04b265ee75522a3161fc21bccac2874719d44183c50b255c5fc79be5b1451865",
    },
}

# 質問。PDF あり／なしの両方で同じ文面を投げる。IC実験室 #4・#5 で実測した項目と、
# 「このデータシートには書いていないこと」を混ぜてある（何を根拠に答えるかを見るため）
QUESTIONS = {
    "2SC1815": [
        {"id": "pinout", "label": "ピン配置", "q": "TO-92 パッケージのピン 1・2・3 は、それぞれ E（エミッタ）・C（コレクタ）・B（ベース）のどれか"},
        {"id": "hfe_y", "label": "Y ランクの hFE 範囲", "q": "hFE ランク Y の範囲（最小〜最大）。あわせて、その hFE の測定条件（V_CE と I_C）"},
        {"id": "vce_sat", "label": "V_CE(sat)", "q": "コレクタ・エミッタ間飽和電圧 V_CE(sat) の TYP と MAX、およびその測定条件"},
        {"id": "pc", "label": "コレクタ損失", "q": "コレクタ損失（許容損失）P_C の絶対最大定格"},
        {"id": "ft", "label": "f_T", "q": "トランジション周波数 f_T の規格値と、その測定条件"},
        {"id": "vebo", "label": "V_EBO", "q": "エミッタ・ベース間電圧 V_EBO の絶対最大定格"},
        {"id": "ts", "label": "蓄積時間", "q": "スイッチング特性の蓄積時間 t_stg（storage time）の規格値"},
    ],
    "NE555N": [
        {"id": "vcc", "label": "電源電圧範囲", "q": "推奨動作条件としての電源電圧 V_CC の範囲（最小〜最大）"},
        {"id": "iout", "label": "出力電流", "q": "出力電流 I_O の絶対最大定格"},
        {"id": "icc", "label": "消費電流", "q": "消費電流（Supply Current）I_CC の MAX と、その条件"},
        {"id": "fmax", "label": "最大発振周波数", "q": "保証される最大発振周波数と、その条件"},
        {"id": "vth_vtrig", "label": "しきい値電圧", "q": "V_CC=5V のときの THRESHOLD 電圧と TRIGGER 電圧の範囲（MIN〜MAX）"},
        {"id": "astable_f", "label": "無安定の周波数式", "q": "無安定（astable）動作の発振周波数を R1・R2・C から求める式"},
        {"id": "cmos_diff", "label": "CMOS 版の相違点", "q": "バイポーラ版の SE/NE555 と比べて改善されている点として、データシートが挙げているもの"},
    ],
}


class SpecAnswer(BaseModel):
    """1 項目ぶんの回答。値・単位・条件・根拠を分けて返させる"""

    id: str = Field(description="質問の id をそのまま返す")
    specified: bool = Field(description="根拠となる規定（数値・式・記述）が資料にあるか。無い項目は false にして value/quote/page を null にする")
    value: str | None = Field(description="値。範囲は '120~240' のように書く。数値に単位を含めない。式や文章で答える項目はそのまま書く")
    unit: str | None = Field(description="単位（V, mA, mW, MHz, kHz, µA, % など）。無単位・式・文章なら null")
    condition: str | None = Field(description="その値が規定されている測定条件（例: V_CE=6V, I_C=2mA）。無ければ null")
    quote: str | None = Field(description="根拠となるデータシート本文の一節。資料に書かれている言語のまま、改変・翻訳・省略なしで 1 行以内。資料が無い／記載が無いときは null")
    page: int | None = Field(description="quote があるページ番号（1 始まり）。無ければ null")
    note: str | None = Field(description="補足。資料に記載が無いときは何を根拠にしたか（例: 一般的な 555 の式）。PDF なしのときは、どのメーカー・版のデータシートを念頭に置いたか")


class Answers(BaseModel):
    part: str = Field(description="対象部品の型番")
    answers: list[SpecAnswer]


SYSTEM_WITH_PDF = (
    "あなたは電子部品のデータシートを読む技術者です。添付の PDF だけを根拠に答えてください。"
    "PDF に規定が無い項目は specified=false とし、value・quote・page は null にしてください。一般知識で補わないでください。"
    "quote は PDF 本文の文字列を改変せず 1 行以内で抜き出してください（後で機械的に照合します）。"
)
SYSTEM_WITHOUT_PDF = (
    "あなたは電子部品のデータシートに詳しい技術者です。資料は渡しません。あなたの知識だけで答えてください。"
    "確信が無い項目は specified=false にしてください。quote と page は必ず null にし、"
    "note にどのメーカー・版のデータシートを念頭に置いたかを書いてください。"
)


def build_prompt(part: str) -> str:
    """質問一覧をひとつのプロンプトにまとめる（PDF あり／なしで共通）"""
    ds = DATASHEETS[part]
    lines = [
        f"対象部品: {ds['part']}（{ds['maker']}）。次の各項目について、値・単位・測定条件・根拠を JSON で答えてください。",
        "",
        "質問一覧（id: 質問）:",
    ]
    lines += [f"- {q['id']}: {q['q']}" for q in QUESTIONS[part]]
    return "\n".join(lines)


def print_usage(u) -> None:
    """Interaction.usage を #1 と同じ形で表示し、モダリティ別の内訳も出す"""
    print(f"input  : {u.total_input_tokens or 0} tokens")
    print(f"thought: {u.total_thought_tokens or 0} tokens")
    print(f"output : {u.total_output_tokens or 0} tokens")
    print(f"total  : {u.total_tokens or 0} tokens")
    for m in u.input_tokens_by_modality or []:
        print(f"  input[{m.modality}]: {m.tokens or 0} tokens")

"""実験 1：PDF を渡さず、知識だけで同じ質問に答えさせる（Google AI 実験室 #2）"""

import json
import os
import sys
from pathlib import Path

from dotenv import load_dotenv
from google import genai

from spec_qa import DATASHEETS, OUT_DIR, SYSTEM_WITHOUT_PDF, Answers, build_prompt, print_usage

load_dotenv()  # 02-datasheet-qa/.env またはリポジトリ直下の .env
load_dotenv(Path(__file__).resolve().parents[1] / "01-setup" / ".env")  # #1 で作った .env をそのまま使う
MODEL = os.environ.get("GEMINI_MODEL", "gemini-3.8-flash")
sys.stdout.reconfigure(errors="replace")
OUT_DIR.mkdir(exist_ok=True)

client = genai.Client()
for part in DATASHEETS:
    print(f"===== {part} (PDF なし) =====")
    interaction = client.interactions.create(
        model=MODEL,
        system_instruction=SYSTEM_WITHOUT_PDF,
        input=build_prompt(part),
        response_format={
            "type": "text",
            "mime_type": "application/json",
            "schema": Answers.model_json_schema(),
        },
        store=False,
    )
    answers = Answers.model_validate_json(interaction.output_text)  # スキーマどおりか検証
    for a in answers.answers:
        print(f"{a.id:<10} specified={a.specified!s:<5} value={a.value!r} unit={a.unit!r} cond={a.condition!r}")
        print(f"{'':<10} note={a.note!r}")
    print("---")
    print_usage(interaction.usage)

    record = {
        "part": part,
        "model": MODEL,
        "mode": "without_pdf",
        "usage": interaction.usage.model_dump(exclude_none=True),
        "answers": answers.model_dump(),
    }
    dest = OUT_DIR / f"02_{part}_without_pdf.json"
    dest.write_text(json.dumps(record, ensure_ascii=False, indent=2, default=str), encoding="utf-8")
    print(f"saved: {dest}")
    print()

uv run 02-datasheet-qa/ask_without_pdf.py | Tee-Object out/02_ask_without_pdf.txt

===== 2SC1815 (PDF なし) =====
pinout     specified=True  value='1: E, 2: C, 3: B' unit=None cond=None
           note='UTC (Unisonic Technologies) 2SC1815 データシート（TO-92パッケージのピン配置: 1: Emitter, 2: Collector, 3: Base）を念頭に置いています。'
hfe_y      specified=True  value='120~240' unit=None cond='V_CE=6V, I_C=2mA'
           note='UTC (Unisonic Technologies) 2SC1815 データシートの hFE 分類（Yランク: 120〜240）を念頭に置いています。'
vce_sat    specified=True  value='TYP 0.1, MAX 0.25' unit='V' cond='I_C=100mA, I_B=10mA'
           note='UTC (Unisonic Technologies) 2SC1815 データシートの電気的特性を念頭に置いています。'
pc         specified=True  value='400' unit='mW' cond='Ta=25°C'
           note='UTC (Unisonic Technologies) 2SC1815 データシートの絶対最大定格（Collector Dissipation）を念頭に置いています。'
ft         specified=True  value='80 (MIN)' unit='MHz' cond='V_CE=10V, I_C=1mA'
           note='UTC (Unisonic Technologies) 2SC1815 データシートの Transition Frequency を念頭に置いています。'
vebo       specified=True  value='5' unit='V' cond='Ta=25°C'
           note='UTC (Unisonic Technologies) 2SC1815 データシートの絶対最大定格（Emitter-Base Voltage）を念頭に置いています。'
ts         specified=False value=None unit=None cond=None
           note='UTC (Unisonic Technologies) 2SC1815 データシートにはスイッチング時間（t_stg を含む）の規定はありません。'
---
input  : 319 tokens
thought: 1274 tokens
output : 816 tokens
total  : 2409 tokens
  input[text]: 319 tokens
saved: E:\prog\google-ai-lab\out\02_2SC1815_without_pdf.json

===== NE555N (PDF なし) =====
vcc        specified=True  value='4.5~16' unit='V' cond=None
           note='HTC Korea (TAEJIN TECHNOLOGY) NE555 データシートの推奨動作条件（Recommended Operating Conditions）を念頭に置いています。'
iout       specified=True  value='±225' unit='mA' cond=None
           note='HTC Korea NE555 データシートの絶対最大定格（Absolute Maximum Ratings）における Output Current を念頭に置いています。'
icc        specified=True  value='15' unit='mA' cond='V_CC = 15V, R_L = ∞'
           note='HTC Korea NE555 データシートの電気的特性（Supply Current, MAX）を念頭に置いています（なお V_CC=5V 時の MAX は 5mA または 6mA）。'
fmax       specified=False value=None unit=None cond=None
           note='HTC Korea NE555 データシートの電気的特性には最大発振周波数の保証値（規格値）の規定はありません。'
vth_vtrig  specified=True  value='THRESHOLD: 2.7~3.5, TRIGGER: 1.45~1.9' unit='V' cond='V_CC = 5V'
           note='HTC Korea NE555 データシートの電気的特性における V_CC=5V での Threshold Voltage（typ 3.3V）および Trigger Voltage（typ 1.67V）の規定値を念頭に置いています。'
astable_f  specified=True  value='1.44 / ((R1 + 2 * R2) * C)' unit=None cond=None
           note='HTC Korea NE555 データシートの Astable 動作アプリケーション欄に記載されている基本計算式です（表記により R_A, R_B とされる場合もあります）。'
cmos_diff  specified=False value=None unit=None cond=None
           note='HTC KoreaのNE555はバイポーラプロセス製品であり、CMOS製品ではないため、バイポーラ版SE/NE555との差異や改善点に関する記述はありません。'
---
input  : 289 tokens
thought: 4752 tokens
output : 810 tokens
total  : 5851 tokens
  input[text]: 289 tokens
saved: E:\prog\google-ai-lab\out\02_NE555N_without_pdf.json

"""実験 2：データシート PDF を渡し、値・単位・条件・引用・ページを構造化出力で返させる（Google AI 実験室 #2）"""

import base64
import hashlib
import json
import os
import sys
from pathlib import Path

from dotenv import load_dotenv
from google import genai
from google.genai import types
from pypdf import PdfReader

from spec_qa import DATASHEET_DIR, DATASHEETS, OUT_DIR, SYSTEM_WITH_PDF, Answers, build_prompt, print_usage

load_dotenv()  # 02-datasheet-qa/.env またはリポジトリ直下の .env
load_dotenv(Path(__file__).resolve().parents[1] / "01-setup" / ".env")  # #1 で作った .env をそのまま使う
MODEL = os.environ.get("GEMINI_MODEL", "gemini-3.8-flash")
sys.stdout.reconfigure(errors="replace")
OUT_DIR.mkdir(exist_ok=True)

client = genai.Client()
for part, ds in DATASHEETS.items():
    pdf_path = DATASHEET_DIR / ds["file"]
    pdf_bytes = pdf_path.read_bytes()
    pages = len(PdfReader(pdf_path).pages)
    print(f"===== {part} (PDF あり: {pdf_path.name}, {pages} pages, {len(pdf_bytes):,} bytes) =====")

    # 生成の前に、PDF だけのトークン数を count_tokens で数える（生成はしない。入力側のトークン数だけが返る）
    try:
        counted = client.models.count_tokens(
            model=MODEL,
            contents=[types.Part.from_bytes(data=pdf_bytes, mime_type="application/pdf")],
        ).total_tokens
        print(f"count_tokens(PDF only): {counted} tokens  ({(counted or 0) / pages:.0f} tokens/page)")
    except Exception as e:  # 数えられなくても本題（生成）は続ける
        counted = None
        print(f"count_tokens failed: {type(e).__name__}: {e}")

    # PDF は base64 のインラインデータで渡す（50MB／1000 ページ以下は Files API を使わなくてよい）。文書を先、質問を後に置く
    interaction = client.interactions.create(
        model=MODEL,
        system_instruction=SYSTEM_WITH_PDF,
        input=[
            {"type": "document", "data": base64.b64encode(pdf_bytes).decode("utf-8"), "mime_type": "application/pdf"},
            {"type": "text", "text": build_prompt(part)},
        ],
        response_format={
            "type": "text",
            "mime_type": "application/json",
            "schema": Answers.model_json_schema(),
        },
        store=False,
    )
    answers = Answers.model_validate_json(interaction.output_text)
    for a in answers.answers:
        print(f"{a.id:<10} specified={a.specified!s:<5} value={a.value!r} unit={a.unit!r} cond={a.condition!r}")
        print(f"{'':<10} p.{a.page} quote={a.quote!r}")
    print("---")
    print_usage(interaction.usage)

    record = {
        "part": part,
        "model": MODEL,
        "mode": "with_pdf",
        "pdf": {"file": pdf_path.name, "sha256": hashlib.sha256(pdf_bytes).hexdigest(), "pages": pages, "bytes": len(pdf_bytes)},
        "count_tokens_pdf_only": counted,
        "usage": interaction.usage.model_dump(exclude_none=True),
        "answers": answers.model_dump(),
    }
    dest = OUT_DIR / f"02_{part}_with_pdf.json"
    dest.write_text(json.dumps(record, ensure_ascii=False, indent=2, default=str), encoding="utf-8")
    print(f"saved: {dest}")
    print()

uv run 02-datasheet-qa/ask_with_pdf.py | Tee-Object out/02_ask_with_pdf.txt

===== 2SC1815 (PDF あり: 2SC1815_unisonic.pdf, 4 pages, 265,332 bytes) =====
count_tokens(PDF only): 2241 tokens  (560 tokens/page)
pinout     specified=True  value='1: E, 2: C, 3: B' unit=None cond=None
           p.1 quote='Note: Pin Assignment: E: Emitter C: Collector B: Base'
hfe_y      specified=True  value='120~240' unit=None cond='VCE=6V, IC=2mA'
           p.2 quote='RANGE 70~140 120~240 200~400 350~700'
vce_sat    specified=True  value='TYP 0.1, MAX 0.25' unit='V' cond='IC=100mA, IB=10mA'
           p.2 quote='Collector-Emitter Saturation Voltage VCE(SAT) IC=100mA, IB=10mA 0.1 0.25 V'
pc         specified=True  value='625' unit='mW' cond='TA=25°C'
           p.2 quote='Collector Power Dissipation (TA=25°C) PD 625 mW'
ft         specified=True  value='80' unit='MHz' cond='VCE=10V, IC=50mA'
           p.2 quote='Current Gain Bandwidth Product fT VCE=10V, IC=50mA 80 MHz'
vebo       specified=True  value='5' unit='V' cond='TA=25°C'
           p.2 quote='Emitter-Base Voltage VEBO 5 V'
ts         specified=False value=None unit=None cond=None
           p.None quote=None
---
input  : 2465 tokens
thought: 1772 tokens
output : 741 tokens
total  : 4978 tokens
  input[text]: 337 tokens
  input[image]: 2128 tokens
saved: E:\prog\google-ai-lab\out\02_2SC1815_with_pdf.json

===== NE555N (PDF あり: ne555.pdf, 7 pages, 160,552 bytes) =====
count_tokens(PDF only): 3921 tokens  (560 tokens/page)
vcc        specified=True  value='2~18' unit='V' cond=None
           p.1 quote='Supply Voltage VCC 2 18 V'
iout       specified=True  value='100' unit='mA' cond=None
           p.1 quote='Output Current IO - 100 mA'
icc        specified=True  value='200 (VCC = 2V), 300 (VCC = 18V)' unit='µA' cond='VCC = 2V, VCC = 18V'
           p.5 quote='VCC = 2V 200'
fmax       specified=True  value='500' unit='kHz' cond='VCC = 5V, astable mode'
           p.5 quote='Guaranteed Max Osc Freq. fMAX VCC = 5V, astable mode 500 kHz'
vth_vtrig  specified=True  value='VTH: 3.2~3.5, VTRIG: 1.55~1.8' unit='V' cond='VCC = 5V'
           p.5 quote='Threshold Voltage VTH VCC = 5V 3.2 3.5'
astable_f  specified=False value=None unit=None cond=None
           p.None quote=None
cmos_diff  specified=True  value='low supply current, wide operating supply voltage range, low THRESHOLD, TRIGGER and RESET currents, no crowbarring of the supply current during output transitions, higher frequency performance and no requirement to decouple CONTROL VOLTAGE for stable operation' unit=None cond=None
           p.1 quote='Improved parameters include low supply current, wide operating supply voltage range, low THRESHOLD,'
---
input  : 4031 tokens
thought: 1581 tokens
output : 756 tokens
total  : 6368 tokens
  input[image]: 3724 tokens
  input[text]: 307 tokens
saved: E:\prog\google-ai-lab\out\02_NE555N_with_pdf.json

"""実験 3：Gemini が返した引用（quote）が PDF 本文に本当にあるかを pypdf で機械的に照合する（Google AI 実験室 #2）

照合は 3 段階。exact（空白を詰めた上で完全一致）→ nospace（空白を全部除いて一致）→ partial（引用の語の 8 割以上が同じページにある）。
どれにも当たらなければ none。quote が null なら no_quote。
"""

import json
import re
import sys
import unicodedata

from pypdf import PdfReader

from spec_qa import DATASHEET_DIR, DATASHEETS, OUT_DIR, QUESTIONS

sys.stdout.reconfigure(errors="replace")


def normalize(text: str) -> str:
    """表記ゆれを寄せる：NFKC（µ/μ・全角）、ダッシュ類、大文字小文字、連続空白"""
    text = unicodedata.normalize("NFKC", text)
    text = re.sub(r"[\u2010-\u2015\u2212]", "-", text)  # ‐ ‑ ‒ – — ― − → -
    text = text.casefold()
    return re.sub(r"\s+", " ", text).strip()


def match_quote(quote: str, pages: list[str]) -> tuple[str, int | None, float]:
    """(判定, 見つかったページ, 語の一致率) を返す"""
    q = normalize(quote)
    for i, page in enumerate(pages, 1):
        if q in page:
            return "exact", i, 1.0
    q_nospace = q.replace(" ", "")
    for i, page in enumerate(pages, 1):
        if q_nospace in page.replace(" ", ""):
            return "nospace", i, 1.0
    words = re.findall(r"[0-9a-zμ°%.+~/-]{2,}", q)
    best_ratio, best_page = 0.0, None
    for i, page in enumerate(pages, 1):
        page_nospace = page.replace(" ", "")
        hits = sum(1 for w in words if w in page or w in page_nospace)
        ratio = hits / len(words) if words else 0.0
        if ratio > best_ratio:
            best_ratio, best_page = ratio, i
    return ("partial" if best_ratio >= 0.8 else "none"), best_page, best_ratio


for part, ds in DATASHEETS.items():
    src = OUT_DIR / f"02_{part}_with_pdf.json"
    record = json.loads(src.read_text(encoding="utf-8"))
    pages = [normalize(p.extract_text() or "") for p in PdfReader(DATASHEET_DIR / ds["file"]).pages]
    labels = {q["id"]: q["label"] for q in QUESTIONS[part]}

    print(f"===== {part}: {src.name} vs {ds['file']} ({len(pages)} pages) =====")
    print(f"{'id':<10} {'specified':<9} {'match':<8} {'page':<12} {'words':<6} quote")
    results = []
    for a in record["answers"]["answers"]:
        if a["quote"]:
            verdict, found_page, ratio = match_quote(a["quote"], pages)
        else:
            verdict, found_page, ratio = "no_quote", None, 0.0
        page_ok = a["page"] is not None and a["page"] == found_page
        results.append({
            "id": a["id"], "label": labels.get(a["id"], a["id"]), "specified": a["specified"],
            "claimed_page": a["page"], "found_page": found_page, "page_ok": page_ok,
            "match": verdict, "word_ratio": round(ratio, 2), "quote": a["quote"],
        })
        page_str = f"{a['page']}->{found_page}" + ("" if page_ok or verdict in ("no_quote", "none") else " (page NG)")
        print(f"{a['id']:<10} {a['specified']!s:<9} {verdict:<8} {page_str:<12} {ratio:<6.2f} {(a['quote'] or '')[:60]}")

    summary = {k: sum(1 for r in results if r["match"] == k) for k in ("exact", "nospace", "partial", "none", "no_quote")}
    print(f"summary: {summary}")
    dest = OUT_DIR / f"02_{part}_verify.json"
    dest.write_text(json.dumps({"part": part, "pdf": ds["file"], "summary": summary, "results": results}, ensure_ascii=False, indent=2), encoding="utf-8")
    print(f"saved: {dest}")
    print()

uv run 02-datasheet-qa/verify_quotes.py | Tee-Object out/02_verify_quotes.txt

===== 2SC1815: 02_2SC1815_with_pdf.json vs 2SC1815_unisonic.pdf (4 pages) =====
id         specified match    page         words  quote
pinout     True      exact    1->1         1.00   Note: Pin Assignment: E: Emitter C: Collector B: Base
hfe_y      True      exact    2->2         1.00   RANGE 70~140 120~240 200~400 350~700
vce_sat    True      nospace  2->2         1.00   Collector-Emitter Saturation Voltage VCE(SAT) IC=100mA, IB=1
pc         True      exact    2->2         1.00   Collector Power Dissipation (TA=25°C) PD 625 mW
ft         True      nospace  2->2         1.00   Current Gain Bandwidth Product fT VCE=10V, IC=50mA 80 MHz
vebo       True      nospace  2->2         1.00   Emitter-Base Voltage VEBO 5 V
ts         False     no_quote None->None   0.00   
summary: {'exact': 3, 'nospace': 3, 'partial': 0, 'none': 0, 'no_quote': 1}
saved: E:\prog\google-ai-lab\out\02_2SC1815_verify.json

===== NE555N: 02_NE555N_with_pdf.json vs ne555.pdf (7 pages) =====
id         specified match    page         words  quote
vcc        True      exact    1->1         1.00   Supply Voltage VCC 2 18 V
iout       True      exact    1->1         1.00   Output Current IO - 100 mA
icc        True      exact    5->5         1.00   VCC = 2V 200
fmax       True      exact    5->5         1.00   Guaranteed Max Osc Freq. fMAX VCC = 5V, astable mode 500 kHz
vth_vtrig  True      exact    5->5         1.00   Threshold Voltage VTH VCC = 5V 3.2 3.5
astable_f  False     no_quote None->None   0.00   
cmos_diff  True      exact    1->1         1.00   Improved parameters include low supply current, wide operati
summary: {'exact': 6, 'nospace': 0, 'partial': 0, 'none': 0, 'no_quote': 1}
saved: E:\prog\google-ai-lab\out\02_NE555N_verify.json

{
  "sources": {
    "2SC1815": {
      "datasheet": "UTC 2SC1815 (QW-R201-006.P)",
      "measured_in": "IC実験室 #5 https://electwork.net/posts/2sc1815-transistor-lab/"
    },
    "NE555N": {
      "datasheet": "HTC NE555 (Jul. 2019_R1.0)",
      "measured_in": "IC実験室 #4 https://electwork.net/posts/ne555n-cmos-timer-ic-experiments/"
    }
  },
  "parts": {
    "2SC1815": {
      "items": {
        "pinout": {
          "datasheet": "1=E・2=C・3=B（TO-92。印字面を手前に左から）",
          "page": 1,
          "measured": "E・C・B の並びで配線し、実験 1〜4 の回路がすべて動作"
        },
        "hfe_y": {
          "datasheet": "120〜240（hFE1：V_CE=6V, I_C=2mA。全ランクでは 70〜700）",
          "page": 2,
          "measured": "6 本で 229・234・238・244・234・227（平均 234）。部品テスター FNIRSI LCR-P1、I_E 2.06〜2.22mA、逆算 I_B≈9µA、V_CE は不明"
        },
        "vce_sat": {
          "datasheet": "TYP 0.1 V／MAX 0.25 V（I_C=100mA, I_B=10mA）",
          "page": 2,
          "measured": "67 mV（I_C=16.8mA, I_B=0.83mA、強制 hFE≈20）"
        },
        "pc": {
          "datasheet": "625 mW（T_A=25℃）",
          "page": 2,
          "measured": "実験 1 のコレクタ損失 ≈1.1 mW（0.067V×16.8mA）。定格の 0.2%"
        },
        "ft": {
          "datasheet": "80 MHz MIN（V_CE=10V, I_C=50mA）",
          "page": 2,
          "measured": "－（未測定）"
        },
        "vebo": {
          "datasheet": "5 V（絶対最大定格）",
          "page": 2,
          "measured": "実験 3（2 石マルチバイブレータ・電源 5.0V）でベースの負振り −3.04 V。定格 5 V の内側"
        },
        "ts": {
          "datasheet": "規定なし（t_d／t_r／t_s／t_f の記載なし。Storage Temperature −55〜+150℃ はある）",
          "page": null,
          "measured": "約 1.3 µs（R_B=3.3kΩ、I_C 16.8mA、OFF エッジのカーソル読み。続く立ち上がりは 0.15 µs）"
        }
      }
    },
    "NE555N": {
      "items": {
        "vcc": {
          "datasheet": "2〜18 V（RECOMMENDED OPERATING RATINGS。絶対最大定格は 0〜18 V）",
          "page": 1,
          "measured": "V_CC=5 V で無安定動作を確認"
        },
        "iout": {
          "datasheet": "100 mA（絶対最大定格）",
          "page": 1,
          "measured": "－（未測定）"
        },
        "icc": {
          "datasheet": "MAX 200 µA（V_CC=2V）／300 µA（V_CC=18V）",
          "page": 5,
          "measured": "－（未測定）"
        },
        "fmax": {
          "datasheet": "500 kHz MIN（V_CC=5V, astable mode。FEATURES にも 500KHz guaranteed）",
          "page": 5,
          "measured": "－（実験は約 5 Hz）"
        },
        "vth_vtrig": {
          "datasheet": "THRESHOLD 3.2〜3.5 V／TRIGGER 1.55〜1.8 V（V_CC=5V）",
          "page": 5,
          "measured": "デューティ比 実測 66.62%（理論 66.7%。しきい値が 2/3・1/3 なら R1=R2 で 2/3 になる）"
        },
        "astable_f": {
          "datasheet": "記載なし（APPLICATION INFORMATION は T.B.D.）。一般式は f=1.44/((R1+2R2)C)",
          "page": 6,
          "measured": "R1=R2=10kΩ、C=10µF：計算 4.8 Hz、実測 5.083 Hz"
        },
        "cmos_diff": {
          "datasheet": "low supply current／wide operating supply voltage range／low THRESHOLD, TRIGGER and RESET currents／no crowbarring of the supply current during output transitions／higher frequency performance／no requirement to decouple CONTROL VOLTAGE（DESCRIPTION）",
          "page": 1,
          "measured": "－"
        }
      }
    }
  }
}

"""実験 4：データシート（人間が読んだ値）／Gemini（PDF なし）／Gemini（PDF あり＋引用の照合結果）／実測 を 1 枚の Markdown 表にする（Google AI 実験室 #2）

正解・不正解の判定はしない。並べるところまでをコードがやり、判断は表を見た人がする。
"""

import json
import sys
from pathlib import Path

from spec_qa import DATASHEETS, OUT_DIR, QUESTIONS

sys.stdout.reconfigure(errors="replace")
MEASURED = json.loads((Path(__file__).resolve().parent / "measured.json").read_text(encoding="utf-8"))
MARK = {"exact": "○", "nospace": "○", "partial": "△", "none": "×", "no_quote": "－"}


def cell(text: str | None) -> str:
    return (text or "－").replace("|", "｜").replace("\n", " ")


def answer_cell(a: dict | None) -> str:
    if a is None:
        return "（回答なし）"
    if not a["specified"]:
        return "規定なし" + (f"／{a['note']}" if a.get("note") else "")
    text = " ".join(x for x in (a["value"], a["unit"]) if x)
    if a.get("condition"):
        text += f"（{a['condition']}）"
    return text


def load_json(name: str) -> dict:
    path = OUT_DIR / name
    return json.loads(path.read_text(encoding="utf-8")) if path.exists() else {}


lines = []
for part in DATASHEETS:
    without = {a["id"]: a for a in load_json(f"02_{part}_without_pdf.json").get("answers", {}).get("answers", [])}
    with_pdf = {a["id"]: a for a in load_json(f"02_{part}_with_pdf.json").get("answers", {}).get("answers", [])}
    verify = {r["id"]: r for r in load_json(f"02_{part}_verify.json").get("results", [])}
    items = MEASURED["parts"][part]["items"]

    lines += [f"### {part}（{DATASHEETS[part]['part']}）", ""]
    lines += ["| 項目 | データシート（人間が読んだ値） | Gemini（PDF なし） | Gemini（PDF あり）＋引用の照合 | 実測（IC実験室） |", "|:---|:---|:---|:---|:---|"]
    for q in QUESTIONS[part]:
        qid = q["id"]
        with_cell = answer_cell(with_pdf.get(qid))
        if qid in verify:
            v = verify[qid]
            with_cell += f" {MARK[v['match']]}"
            if v["claimed_page"] is not None:
                with_cell += f" p.{v['claimed_page']}" + ("" if v["page_ok"] or v["match"] in ("no_quote", "none") else f"→実際は p.{v['found_page']}")
        m = items.get(qid, {})
        lines.append(f"| {q['label']} | {cell(m.get('datasheet'))} | {cell(answer_cell(without.get(qid)))} | {cell(with_cell)} | {cell(m.get('measured'))} |")
    lines.append("")

lines.append("引用の照合: ○ = PDF 本文に一致（空白の違いは無視）／△ = 語の 8 割以上が同じページにある／× = 見つからない／－ = 引用なし。p. は Gemini が答えたページ")
markdown = "\n".join(lines)
print(markdown)
dest = OUT_DIR / "02_score.md"
dest.write_text(markdown + "\n", encoding="utf-8")
print(f"\nsaved: {dest}")

uv run 02-datasheet-qa/score.py | Tee-Object out/02_score.txt