Home
2328 words
12 minutes
『The Matrix Cookbook』:表記法の定義と基礎演算の数理的性質(Pages 1-7)

last_modified: 2026-01-10

生成AIによる自動生成記事に関する免責事項: 本記事は、 The Matrix Cookbook (Nov 15, 2012 edition) の記述内容(Pages 1-7)に基づき、大規模言語モデルによって作成された解説記事です。表記法や数式の定義は原著に準拠していますが、補足的な数学的背景の記述を含みます。正確な利用にあたっては必ず原著を参照してください。筆者の学習目的で生成したものです。正確な内容は必ず一次情報で確認してください。

1. 序論:数学的記述の共通言語としての表記法#

行列計算において、記号の定義(Notation)を正確に共有することは、数式の誤解を防ぐための第一歩である。『The Matrix Cookbook』のPage 2からPage 5にかけては、本書を通じて使用される変数の型や演算子の定義がリスト化されている。これらは単なる記号の約束事にとどまらず、線形代数学における演算の定義域や性質を規定するものである。

2. 表記法と定義の一覧(Notation)#

本書で使用される主要な表記法を以下に整理する。これらはPage 2からPage 5にかけて定義されている内容に基づく。

2.1 変数の表記#

表記定義と意味
A,B,A, B, \dots行列(Matrix)。通常、大文字は行列を表す。
a,b,a, b, \dotsスカラー(Scalar)。小文字はスカラー変数を表す。
a,b,\mathbf{a}, \mathbf{b}, \dotsベクトル(Vector)。小文字の太字はベクトルを表す。本書では特に断りがない限り、n×1n \times 1列ベクトルとして扱われる。

2.2 演算子と特殊行列#

表記定義と意味
ATA^T転置(Transpose)。行列の行と列を入れ替えたもの。(AT)ij=Aji(A^T)_{ij} = A_{ji}
A1A^{-1}逆行列(Inverse)AA1=A1A=IAA^{-1} = A^{-1}A = I を満たす行列。
AHA^Hエルミート転置(Hermitian Transpose)。複素共役転置とも呼ばれる(後述)。
AA^*複素共役(Complex Conjugate)。各成分の複素共役をとったもの。(A)ij=Aij(A^*)_{ij} = \overline{A_{ij}}
Tr(A)\text{Tr}(A)トレース(Trace)。対角成分の総和。iAii\sum_i A_{ii}
det(A)\text{det}(A)行列式(Determinant)。あるいは $
x\|\mathbf{x}\|ベクトルノルム。通常はユークリッドノルム(L2ノルム)xTx\sqrt{\mathbf{x}^T\mathbf{x}} を指す。
ABA \odot Bアダマール積(Hadamard product)。要素ごとの積。(AB)ij=AijBij(A \odot B)_{ij} = A_{ij}B_{ij}
ABA \otimes Bクロネッカー積(Kronecker product)。ブロック行列を生成する積。

3. エルミート転置(AHA^H)の数理的背景#

ご質問の AHA^H は、**エルミート転置(Hermitian Transpose)あるいは共役転置(Conjugate Transpose)**を表す記号である。数学の文献によっては AA^\dagger (ダガー)と表記されることもあるが、本書では AHA^H が採用されている。

3.1 定義#

複素行列 ACm×nA \in \mathbb{C}^{m \times n} に対して、その各成分を複素共役(a+biabia+bi \to a-bi)にし、かつ転置(行と列を入れ替え)を行ったものが AHA^H である。

AH=(A)T=(AT)A^H = (A^*)^T = (A^T)^*

成分で表記すれば、以下のようになる。

(AH)ij=Aji(A^H)_{ij} = \overline{A_{ji}}

3.2 物理的・実利的な意味#

実数行列の場合、複素共役操作は値を変えないため、AH=ATA^H = A^T となる。したがって、実数の範囲内であれば AHA^H は通常の転置と同義である。 しかし、量子力学や信号処理など、複素数を扱う分野ではこの区別が決定的となる。

  • エルミート行列(Hermitian Matrix): AH=AA^H = A を満たす行列。実対称行列の複素数版であり、その固有値は必ず実数となる。これは物理学における観測可能量(オブザーバブル)の性質に対応する。
  • ユニタリ行列(Unitary Matrix): AHA=AAH=IA^H A = A A^H = I を満たす行列。実直交行列の複素数版であり、ノルムを保存する変換を表す。

4. 基礎演算の性質とTraceによる近似(Basics)#

Page 5以降の「Basics」セクションでは、Traceと行列式に関する恒等式が列挙されている。ここでは、特に微積分や近似計算への接続点となる重要な性質について解説する。

4.1 Traceと内積・ノルムの関係#

Traceは行列の対角和であるが、ベクトルの内積を行列形式で操作する際に極めて有用なツールとなる。

xTy=Tr(xyT)\mathbf{x}^T \mathbf{y} = \text{Tr}(\mathbf{x} \mathbf{y}^T)

この等式は、スカラー(内積値)を行列のTraceとして表現できることを示している。これにより、行列微分を行う際、スカラーを直接微分する代わりにTraceの微分公式(Tr(AX)/X=AT\partial \text{Tr}(AX)/\partial X = A^T など)を適用することが可能となる。

4.2 行列式と固有値の関係#

行列式は固有値 λi\lambda_i の積と等しい。

det(A)=iλi\text{det}(A) = \prod_i \lambda_i

一方、Traceは固有値の和と等しい。

Tr(A)=iλi\text{Tr}(A) = \sum_i \lambda_i

この関係性は、次の項で述べる近似式の導出において中心的な役割を果たす。

4.3 Traceを用いた行列式の一次近似(Trace Approximation)#

Page 7付近から始まる微分(Derivatives)のセクション、およびBasicsに含まれる恒等式の背景には、**「単位行列に近い行列の行列式は、Traceを用いて近似できる」**という重要な事実がある。

微小な行列 ϵA\epsilon Aϵ\epsilon は微小スカラー)を考える。このとき、以下の一次近似が成立する。

det(I+ϵA)1+ϵTr(A)\text{det}(I + \epsilon A) \approx 1 + \epsilon \text{Tr}(A)

【導出と背景】 固有値を用いて考えると理解しやすい。I+ϵAI + \epsilon A の固有値は 1+ϵλi1 + \epsilon \lambda_i となる。 行列式は固有値の積であるため、

det(I+ϵA)=i=1n(1+ϵλi)=1+ϵ(i=1nλi)+O(ϵ2)=1+ϵTr(A)+O(ϵ2)\begin{aligned} \text{det}(I + \epsilon A) &= \prod_{i=1}^n (1 + \epsilon \lambda_i) \\ &= 1 + \epsilon (\sum_{i=1}^n \lambda_i) + O(\epsilon^2) \\ &= 1 + \epsilon \text{Tr}(A) + O(\epsilon^2) \end{aligned}

この関係式は、行列式の微分(ヤコビの公式)の直感的な説明となる。すなわち、行列 XX が微小量 dXdX だけ変化したとき、その行列式の変化分 d(det(X))d(\text{det}(X)) は Trace に依存する項として表される。

ln(det(X))XTr(X1X)\frac{\partial \ln(\text{det}(X))}{\partial X} \longleftrightarrow \text{Tr}(X^{-1} \partial X)

この数理的構造は、物理シミュレーションにおける体積保存の制約や、統計力学における分配関数の計算などにおいて、計算コストの高い行列式をTrace(対角和計算のみで O(n)O(n))で近似あるいは微分するために頻繁に利用される。

4.4 トレースと内積の接続#

トレース(対角和)は、ベクトルの内積を行列演算として扱うための架け橋となる。

xTy=Tr(xyT)\mathbf{x}^T \mathbf{y} = \text{Tr}(\mathbf{x} \mathbf{y}^T)

この恒等式は、機械学習における勾配計算において、スカラー形式の損失関数を行列形式へ変換する際に頻出する。

  • 発展: この概念は、行列のベクトル化(vec作用素)とクロネッカー積の関係 vec(AXB)=(BTA)vec(X)\text{vec}(AXB) = (B^T \otimes A)\text{vec}(X) など、より高度な行列代数操作(Sec. 10.2等参照)の基礎となっている。

4.5 2次までのテイラー展開#

微小スカラー ϵ\epsilon と正方行列 AA に対し、det(I+ϵA)\text{det}(I + \epsilon A) の展開は以下のようになる。

det(I+εA)=1+εTr(A)+ε22(Tr(A)2Tr(A2))+O(ε3)\det(I+\varepsilon A)=1+\varepsilon\operatorname{Tr}(A) +\frac{\varepsilon^2}{2}\big(\operatorname{Tr}(A)^2-\operatorname{Tr}(A^2)\big)+O(\varepsilon^3)

また、対数行列式(log-determinant)の展開は以下の通りである。

lndet(I+εA)=εTr(A)ε22Tr(A2)+O(ε3)\ln\det(I+\varepsilon A)=\varepsilon\operatorname{Tr}(A)-\frac{\varepsilon^2}{2}\operatorname{Tr}(A^2)+O(\varepsilon^3)

第1項 εTr(A)\varepsilon\operatorname{Tr}(A) のみが採用される場合が多い(本書の微分公式の導出も1次に依存している)が、より高精度の近似が必要な物理シミュレーション等では、第2項以降の寄与が無視できない場合がある。

【数値例】 2×22 \times 2 行列 A=diag(1,2)A = \text{diag}(1, 2) を考える。Tr(A)=3,Tr(A2)=5\text{Tr}(A)=3, \text{Tr}(A^2)=5 である。

  • 厳密解: det(I+εA)=(1+ε)(1+2ε)=1+3ε+2ε2\det(I+\varepsilon A) = (1+\varepsilon)(1+2\varepsilon) = 1 + 3\varepsilon + 2\varepsilon^2
  • 展開式: 1+ε(3)+ε22(325)=1+3ε+2ε21 + \varepsilon(3) + \frac{\varepsilon^2}{2}(3^2 - 5) = 1 + 3\varepsilon + 2\varepsilon^2 両者が ε2\varepsilon^2 のオーダーまで完全に一致することが確認できる。

4.6 導出に関する補足#

この展開は、行列 AA の固有値 λi\lambda_i を用いて det(I+ϵA)=(1+ϵλi)\det(I+\epsilon A) = \prod (1+\epsilon \lambda_i) と記述することで直感的に導出可能である。ただし、数学的には固有値分解の可能性(対角化可能性)に依存せず、一般の正方行列に対して冪級数展開として成立する。

5. 結論#

『The Matrix Cookbook』のPages 1-7は、単なる定義集ではなく、行列解析(Matrix Analysis)を展開するための公理系とも言えるセクションである。

  • 表記法(AHA^H 等)の厳密な定義は、複素数領域への拡張を保証する。
  • Traceと行列式の恒等式は、高負荷な行列演算を効率的な近似計算へと変換する理論的根拠を提供する。

これらの基礎を理解することで、本書の後半に続く複雑な微分公式や分解定理を、単なる文字列としてではなく、数学的な必然性を持ったツールとして扱うことが可能となる。


参考文献#

  1. Petersen, K. B., & Pedersen, M. S. (2012). The Matrix Cookbook. Technical University of Denmark. (Based on Pages 1-7 of the uploaded document matrixcookbook.pdf)
  2. Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.
『The Matrix Cookbook』:表記法の定義と基礎演算の数理的性質(Pages 1-7)
https://ss0832.github.io/posts/20260110_the_matrix_cookbook_1/
Author
ss0832
Published at
2026-01-10
License
CC BY-NC-SA 4.0

Related Posts

『The Matrix Cookbook』Page 10完全解読:逆行列の成分微分・固有値摂動論・基本形式
2026-01-10
『The Matrix Cookbook』Page 10に記載された逆行列の成分ごとの微分公式、対称行列における固有値・固有ベクトルの微分(摂動論)、および基本的なベクトル・スカラー形式の一次微分(Eq. 60-75)を完全網羅。レイリー商の微分や、構造解析・主成分分析(PCA)への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
『The Matrix Cookbook』Page 12完全解読:勾配・ヘッセ行列・トレース微分の基礎
2026-01-10
『The Matrix Cookbook』Page 12に記載された一般化レイリー商の微分、勾配とヘッセ行列の定義、およびトレース微分の基礎公式(Eq. 92-105)を完全網羅。ニュートン法による最適化、信号処理における固有値解析への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
『The Matrix Cookbook』Page 13完全解読:トレース微分の二次形式と高次形式
2026-01-10
『The Matrix Cookbook』Page 13に記載された二次形式のトレース微分(Eq. 106-120)および高次形式のトレース微分(Eq. 121-123)を完全網羅。フロベニウスノルムの最小化(Ridge回帰、行列分解)やニューラルネットワークの損失関数設計への応用を含め、数理的背景から実務実装までを体系的に論じる包括的解説書。
Coupled-Perturbed Hartree-Fock (CPHF) 理論による分子物性の解析的導出:ヘシアン、双極子モーメント、および分極率の数理
2026-01-08
J. Gerratt and I. M. Mills (1968) の先駆的研究に基づき、Coupled-Perturbed Hartree-Fock (CPHF) 法を用いた分子の力の定数(ヘシアン)、双極子モーメント、および分極率の解析的導出について詳述する。変分摂動論の枠組みにおける軌道応答の定式化、基底関数依存性の処理、および水素分子(H2)・水素化リチウム(LiH)への適用例を通じて、その数理的構造と物理的意義を中立的かつ学術的な視点から解説する。
G行列のスペクトル分解に基づく非局在化内部座標(DIC)の数理的構造と最適化アルゴリズムへの適用
2026-01-07
Jon Baker, Alain Kessi, Bernard Delley (1996) によって提案された非局在化内部座標(DIC)について、その数理的定義、B行列およびG行列を用いた部分空間の代数的分離、および幾何構造最適化における数値的特性について、原著論文に基づき中立的かつ詳細に解説する。
計算化学における有効へシアンと部分へシアンの数理:シューア補行列による統一的理解と使い分け
2026-01-06
巨大分子系の一部(部分系)を解析する際、周囲の環境を「緩和させる(有効へシアン)」か「固定する(部分へシアン)」かは、解析目的によって使い分けることが望ましい。本稿では、有効へシアンが数学的に「シューア補行列」と対応していることを示した上で、反応性解析には有効へシアンが、局所電子応答の評価には部分へシアンが適していると考えられる物理的・数理的根拠を整理する。