Processing math: 1%
スキップしてメイン コンテンツに移動

Definition of Topology space

Introduction

Today, I will write about General Topology. General topology is very impossible for studying mathematics. General topology defines phase to define continuity of function. Today, I will explain phase.

Also, This post is my review of General Topology.

Overview

  •  Distance space
  • Axiom of phase
  • Topology space
  • Open set


Distance space
Firstly, Distance space is defined.
Let X is set, d:X\times X ->\mathbb{R},

(X,d) is distance space \iff

  • \forall x,y \in X,~~~~~d(x,y) \geq 0
  • \forall x,y \in X,~~~~~x = y \implies d(x,y) = 0
  • \forall x,y \in X,~~~~~d(x,y) = d(y,x)
  • \forall x,y,z \in X, ~~~~d(x,y) + d(y,z) \geq d(x,z)


this condition is called axiom of distance.
d is called distance function.

Topology space
Let (X,d) is distance space.
\mathbb{O} \in 2^X is phase in (X,d) \iff


  • \phi,X \in \mathbb{O}
  • \forall O_1,O_2 \in \mathbb{O} \implies O_1 \cap O_2 \in \mathbb{O}
  • \forall \Lambda ,~~\forall \{O_\lambda \}_{\lambda \in \Lambda} \in O \implies \bigcup_{\lambda \in \Lambda} O_\lambda \in \mathbb{O}


here, 2^X := \{A | A \subset X \}

Its condition is called axiom of phase.

We must watch out for \Lambda.
\Lambda is any Suffix set.

then (X,d,\mathbb{O}) is phase space.

Open set
A \subset X is open set\iff

\forall x \in A,~~\exists \epsilon > 0, ~~s.t.~~ B(x,\epsilon) \subset A
here, B(x,\epsilon):= \{y\in A| d(x,y) < \epsilon\}

This definition of the open set is a satisfied condition of the axiom of phase.

Let X:set , d:X \times X -> \mathbb{R}: distance function.
Let
\mathbb{O} := \{A \subset X|A :open set\}.
then \mathbb{O} is satisfyed axiom of phase.

proof.


  • \phi,X \in \mathbb{O}


This is obvious, because \phi do not have element, so \phi is open set, and \forall x \in X, \exists \epsilon > 0 ~~s.t.~~ B(x,\epsilon) \subset X. This is satisfyed becaue X is whole set.


  • \forall O_1,O_2 \in \mathbb{O} \implies O_1 \cap O_2 \in \mathbb{O}


about \forall O_1,O_2 \in \mathbb{O},\forall x \in O_1 \cap O_2
because x \in O_1and x \in O_2, \exists \epsilon_1 ~~s.t.~~ B(x,\epsilon_1) \in O_1 and \exists \epsilon_2 ~~s.t.~~ B(x,\epsilon_2) \in O_2
So,Let  \epsilon := \min\{\epsilon_1,\epsilon_2\}, following is satisfyed.
B(x,\epsilon) \subset B(x,\epsilon_1)
B(x,\epsilon) \subset B(x,\epsilon_2)

Thus, B(x,\epsilon) \subset O_1 \cap O_2


  • \forall \Lambda ,~~\forall \{O_\lambda \}_{\lambda \in \Lambda} \in O \implies \bigcup_{\lambda \in \Lambda} O_\lambda \in \mathbb{O}


about,\forall \{O_\lambda\}_{\lambda \in \Lambda},
\forall x \in \bigcup_{\lambda \in \Lambda} \{O_\lambda\}_{\lambda \in \Lambda},
because \forall x \in \{O_\lambda\}_{\lambda \in \Lambda}, following is satisfed.
\exists \lambda_0 \in \Lambda ~~.st.~~ x \in O_{\lambda_0}
Thus, \exists \epsilon ~~s.t.~~ B(x,\epsilon) \subset O_{\lambda_0}
So, B(x,\epsilon) \subset \{O_\lambda\}_{\lambda \in \Lambda}

Q.E.D

Conclusion
We often define phase by open set.
Continuity of function is defined by this phase.
I will explain the definition of continuity of function by phase.

Reference
https://ja.wikipedia.org/wiki/%E8%B7%9D%E9%9B%A2%E7%A9%BA%E9%96%93

https://ja.wikipedia.org/wiki/%E4%BD%8D%E7%9B%B8%E7%A9%BA%E9%96%93

コメント

このブログの人気の投稿

ヘッセ行列

Introduction English ver 今日は、ヘッセ行列を用いたテイラー展開について書こうと思います。 これは最適化を勉強するにあたって、とても大事になってくるので自分でまとめて残しておくことにしました。とくに、機械学習では最適化を必ず行うため、このブログのタイトルにもマッチした内容だと思います。 . 概要 ヘッセ行列の定義 ベクトルを用いたテイラー展開 関数の最適性 ヘッセ行列の定義 仮定 f は次のような条件を満たす関数です。. f はn次元ベクトルから実数値を出力します。 このベクトルは次のように表せます。 x = [x_1,x_2,,,,x_n] \forall x_i , i \in {1,2,,,n}, f は二回偏微分可能です。 定義 ヘッセ行列は \frac{\partial^2}{\partial x_i \partial x_j}を (i,j)要素に持ちます。 よってヘッセ行列は次のように表せます。 \[ H(f) = \left( \begin{array}{cccc} \frac{\partial^ 2}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & &\ldots \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^ 2 f}{\partial x_1 \partial x_2} & \frac{\partial^ 2 f}{\partial x_2^ 2} & \ldots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^ 2 f}{\partial x_n \partial x_2} & \frac{\partial^ 2 f}{\partial x_n \partial x_2} & \ldo...

Implementation of Robbins monro

Robbins monro の実装 sorry, this page is Japanese only.   今回はRobbins monro の実装をしてみました。 Robbins monroは確率勾配降下法の学習率を入りテーション回数の逆数で割っていくものです。 使っているprogram言語はpython 3です。osはwindowsです。(macほしい...) アルゴリズム 確率勾配降下方とは目的関数の最適解を求めるアルゴリズムです。目的関数をf(X)とすると、手順は以下のようになっています。 初期学習率n_0を決めます。訓練データDを用意します。この訓練データは複数の初期値の集まりです。 訓練データから一つ初期値をランダムに取り出し、これをx_0とし、最初の予測値とします。 次の式に現在の予測値x_0を代入し、新たな予測値x_{n+1}を得ます。x_{n+1} = x_{n} - \frac{n_0}{n} grad f(X_n) 収束して入れば4へ、収束していなければ2で得られた値x{n+1}を新たにx_nとしてもう一度2を行う。 訓練データを一周していなければ2へ、一周していれば各初期値から得られた解の中から目的関数を最も小さくするものを選ぶ。   実装例 以下の目的関数を最小化させてみましょう。 f(x,y) = (x-2)^2 + (y-3)^2 コマンドラインでpythonを実行していきます。 予想通り、(2,3)という解を導き出してくれました。目的関数が簡単だったので、初期値をどの値でとってもばっちり正解にたどり着いてくれました。 CODE 以下にRobbins monroの関数だけ置いておきます。 こちら にすべてのコードを載せています。 def Robbins_monro(function,grad,number_variable_gradient): init_learning_rate = 1.5 stepsize = 1000 init_value = np.array([range(-1000,1020,20) for i in range(number_v...

カーネルK-means 理論編

Introduction English ver 今日は、カーネルK-meansの理論について書きます。カーネルK-meansは通常のK-meansの欠点を補うことができます。通常のK-meansの欠点とカーネルK-meansの強みも説明します。もし、まだ御覧になられていなければ、通常の K-means 理論編 の記事を見ていただけるとよいのではないかと思います。 カーネルK-meansの実装編 も併せてご覧ください。 概要 K-meansの弱点 カーネルトリック カーネルK-means アルゴリズム K-meansの弱点 例えば、次のようなデータを用意します。 このデータはK-meansによってうまく分類することはできません。なぜなら通常のK-meansでは、データとプロトタイプのユークリッド距離に依存しているからです。そのため、このような円状に分布しているデータはうまく分類することができません。 プロトタイプとはそれぞれのクラスにあり、そのクラスを代表するようなもののことです。K-meansでは各クラスの平均ベクトルとなります。それゆえ、以下のような分類になってしまいます。 このようなデータではK-meansはうまくいきません。 K-meansで分類できるデータセットは次のように各クラスで固まっている必要があります。 カーネルK-meansはK-meansの弱点を補います。 カーネルトリック 初めに、カーネルトリックを説明します。 線形分離できないようなデータXを例えば次のように線形分離できるように\phi(x)に送る写像\phiを考えます。 カーネルは次のように定義されます。 K(x,y) = \phi(x)^T \phi(y) \phiを具体的に計算することは難しいですが、K(x,y)を計算することなら簡単です。 この手法をカーネルトリックと呼ばれます。 カーネルK means K-meansの目的関数を復習しておきます。 J = \sum_{n=1}^{N} \sum_{k=1}^{K} r_{nk} ||x_n-\mu_k||^2 ここで、 プロトタイプは\mu_i ~\forall k \in Kとしま...