Перейти к основному содержимому

Информационная структура Diakrisis

Статус​

[Т] — информационная структура через 09.T1-T5 (Holevo bound + Shannon через ρ-канал + Morita-equivalence).

Мотивация​

В разделе о двойственностях (/03-formal-architecture/06-duality, 27.T) определена артикуляционная энтропия H(α). Это — только одна информационная величина. Полная теория информации включает:

  • Условную энтропию H(α|β).
  • Взаимную информацию I(α; β).
  • Относительную энтропию (Kullback-Leibler) D(α ∥ β).
  • Канальную ёмкость ρ.
  • Rate-distortion связи.

Задача: формализовать все эти величины в Diakrisis-контексте.

Артикуляционная энтропия (напоминание)​

Def 09.0 (H-энтропия): для α ∈ ⟪⟫:

H(α):=log⁡2∣{γ⊏0α}∣.H(\alpha) := \log_2 |\{\gamma \sqsubset_0 \alpha\}|.

— количество подартикуляций α на нулевой глубине.

Условная энтропия​

Def 09.1: для α, β ∈ ⟪⟫:

H(α∣β):=log⁡2∣{γ⊏0α:γ̸⊏0β}∣.H(\alpha | \beta) := \log_2 |\{\gamma \sqsubset_0 \alpha : \gamma \not\sqsubset_0 \beta\}|.

Интуиция: количество «подартикуляций α, НЕ доступных через β».

Свойства​

  • Свойство 09.P1: H(α | α) = 0 (всё доступно).
  • Свойство 09.P2: H(α | β) ≤ H(α) (условие уменьшает).
  • Свойство 09.P3: H(α | β) = 0 ⟺ α ⊏_0 β (всё в α уже в β).

Взаимная информация​

Def 09.2:

I(α;β):=H(α)+H(β)−H(α∨β),I(\alpha; \beta) := H(\alpha) + H(\beta) - H(\alpha \vee \beta),

где α ∨ β — коалимит α и β в ⟪⟫ (объединение подартикуляций).

Интерпретация: сколько информации общего между α и β.

Теорема 09.T1 (Симметрия и неотрицательность)​

I(α;β)=I(β;α)≥0.I(\alpha; \beta) = I(\beta; \alpha) \geq 0.

С равенством 0 ⟺ α и β артикуляционно независимы (нет общих подартикуляций).

Связь с Морита-эквивалентностью​

Теорема 09.T2 (Морита и взаимная информация): α ∼_M β ⟺ I(α; β) = H(α) = H(β) (полная информационная идентичность).

Обоснование: Морита-эквивалентность = ρ-совпадение = одинаковое информационное содержание. ∎

Следствие 09.C1: Морита-эквивалентность = информационное равенство. Это даёт Морите информационное прочтение.

Относительная энтропия (KL-дивергенция)​

Def 09.3:

D(α∥β):=∑γ⊏0αp(γ∣α)log⁡2p(γ∣α)p(γ∣β),D(\alpha \| \beta) := \sum_{\gamma \sqsubset_0 \alpha} p(\gamma|\alpha) \log_2 \frac{p(\gamma|\alpha)}{p(\gamma|\beta)},

где p(γ|α) — вероятностный вес γ в разложении α (требует вероятностной структуры).

Свойства​

  • Неотрицательность: D(α ∥ β) ≥ 0.
  • D = 0 ⟺ α = β.
  • Несимметричность: D(α ∥ β) ≠ D(β ∥ α) в общем.

D как мера «отдаления»​

D(α ∥ β) — информационное расстояние α от β.

Следствие 09.C2: Trace(𝖠) имеет естественную метрическую структуру через D. Не метрика (несимметрична), но квази-метрика.

Канальная ёмкость ρ​

ρ как коммуникационный канал​

ρ: ⟪⟫ → End(⟪⟫) — эндо-операция. В инфо-теории: оператор, передающий информацию.

Def 09.4 (Канальная ёмкость):

C(ρ):=max⁡p(α)I(α;ρ(α)),C(\rho) := \max_{p(\alpha)} I(\alpha; \rho(\alpha)),

где max по всем вероятностным распределениям на ⟪⟫.

Интерпретация​

C(ρ) — максимум взаимной информации, которую ρ-канал может передать.

Теорема 09.T3 (ρ как Shannon-канал): ρ — Shannon-канал с канальной ёмкостью C(ρ) < ∞ при accessibility 𝖬.

Обоснование: стандартный аргумент Шеннона, адаптированный к 2-категорной структуре.

В УГМ-сборке​

В α_uhm: ρ-канал — CPTP-канал на D(ℂ⁷). Его ёмкость:

Holevo bound: C(ρ_uhm) ≤ log₂(7) (в битах для 7-мерной системы).

Фактическая ёмкость: зависит от choice L_k в Lindblad.

Rate-distortion​

Задача​

Для α с «шумом» и желаемой точностью передачи D, минимальная канальная скорость:

R(D):=min⁡d(α,α^)≤DI(α;α^).R(D) := \min_{d(\alpha, \hat\alpha) \leq D} I(\alpha; \hat\alpha).

В Diakrisis​

  • α → ρ(α) с «потерями» относительно ⊏-структуры.
  • R(D) = минимальная информационная плотность для аппроксимации α.

Принцип max-entropy​

Def 09.5 (Max-entropy состояние): состояние, максимизирующее H при заданных ограничениях.

В физике: термальное равновесие (Gibbs).

В Diakrisis: max-entropy артикуляции — те, которые не имеют «preferred направление», равновесие под 𝖬.

Связь с Fix(𝖬)​

Теорема 09.T4: max-entropy артикуляции — часть Fix(𝖬).

Обоснование: max-entropy означает «наибольшая неопределённость», что соответствует устойчивой точке 𝖬. ∎

Quantum information в Diakrisis​

В α_uhm (УГМ)​

  • Von Neumann entropy: S(Γ) = -Tr(Γ log Γ).
  • Mutual information: I(A:B) = S(A) + S(B) - S(AB).
  • Relative entropy: S(Γ || σ) = Tr(Γ(log Γ - log σ)).

Все эти — частные случаи 09.T1-T4 при α = α_uhm.

Holevo information​

Теорема 09.T5 (Holevo bound в УГМ): классическая информация, извлекаемая из Γ ∈ D(ℂ⁷), ≤ S(Γ) ≤ log₂(7).

Связь с предсказаниями УГМ​

Через информационные меры — связь с P, Φ порогами:

  • Φ_th = 1 соответствует минимальной нетривиальной взаимной информации.
  • P_crit = 2/7 связан с H(Γ) порогом.
  • R_th = 1/3 связан с канальной ёмкостью self-modeling ρ.

Это — информационная интерпретация порогов УГМ.

Признанные редукции​

  • Shannon (1948): теория информации.
  • Kullback-Leibler (1951): KL-дивергенция.
  • Holevo (1973): quantum Holevo bound.
  • Von Neumann (1927): квантовая энтропия.

Итог​

  • H, H(·|·), I, D, C — полный набор информационных мер в Diakrisis.
  • 09.T2: Морита-эквивалентность = информационное равенство.
  • 09.T3: ρ — Shannon-канал.
  • 09.T4: max-entropy = Fix(𝖬).
  • 09.T5: Holevo bound в УГМ.
  • Применение к УГМ: информационная интерпретация P, Φ, R порогов.

Следующий документ​

/03-formal-architecture/12-sheaf-structure.