Implementation of Logistic Regression

Introduction

Today, I implement Logistic Regression.
My OS of computer is the windows10.
Implementation is used by Python3.
I use the IRLS to estimate optimization value.
I introduce the theory of Logistic Regression in another post.
If you interested, look at this post.

Overview

I will introduce used data set
I will introduce my code in Python
I will show you result on Command line.

Dataset

I use this dataset to implement Logistic Regression.
This dataset is Residential area data.
I diplay this data in Pandas DataFrame Python3.
enter image description here

This is data set from top to five elements.
if people live the house, occupancy is 1.
if people do not live the house, occupancy is 0.
This data consist of 8000 samples to use as training data, and 2000 samples to use as test data.
However I use 100 samples as training data and 100 samples as test data, because my computer is not designated programing.
Sorry, .

CODE

This code is very long.
Thus, I publish my code of Logistice Regression in my Github.
My github page
My Logistic Regression code(def file)
My Logistic Regression code(main file)
Separating my code have reason. It is that I want to separate define file and main file. main file have

if __name__ == '__mian__'

my def file have algorithm of Logistic Regression. My code is defined class in def file. I will write about class in Python.

Execution!

w is estimating…
enter image description here

I will save figure of value of Closs-entropy error function
enter image description here

This is sactter plot of closs entropy error function.
enter image description here

I find out decreasing of value of closs entropy error funtion.
I finished estimating optimization.
I will test my model of Logistic Regression.
enter image description here

I compare my predict by Logistic Regression and correct class.
Percentage of correct answer is 98per.
I think this is high score.
By the way, Logistic Regression find out probability that each data point exists

$C_1$
Please check out P columns.
As long as I identify, Almost the P is not near 0.5.

このブログの人気の投稿

ヘッセ行列

Introduction English ver 今日は、ヘッセ行列を用いたテイラー展開について書こうと思います。これは最適化を勉強するにあたって、とても大事になってくるので自分でまとめて残しておくことにしました。とくに、機械学習では最適化を必ず行うため、このブログのタイトルにもマッチした内容だと思います。 . 概要ヘッセ行列の定義ベクトルを用いたテイラー展開関数の最適性ヘッセ行列の定義仮定 f は次のような条件を満たす関数です。. f はn次元ベクトルから実数値を出力します。このベクトルは次のように表せます。

$x = [x_1,x_2,,,,x_n]$

$\forall x_i , i \in {1,2,,,n}$ , f は二回偏微分可能です。定義ヘッセ行列は

$\frac{\partial^2}{\partial x_i \partial x_j}を (i,j)要素に持ちます。$ よってヘッセ行列は次のように表せます。 \[ H(f) = \left( \begin{array}{cccc} \frac{\partial^ 2}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & &\ldots \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^ 2 f}{\partial x_1 \partial x_2} & \frac{\partial^ 2 f}{\partial x_2^ 2} & \ldots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^ 2 f}{\partial x_n \partial x_2} & \frac{\partial^ 2 f}{\partial x_n \partial x_2} & \ldo...

Implementation of Robbins monro

Robbins monro の実装 sorry, this page is Japanese only. 今回はRobbins monro の実装をしてみました。 Robbins monroは確率勾配降下法の学習率を入りテーション回数の逆数で割っていくものです。使っているprogram言語はpython 3です。osはwindowsです。(macほしい...) アルゴリズム確率勾配降下方とは目的関数の最適解を求めるアルゴリズムです。目的関数をf(X)とすると、手順は以下のようになっています。初期学習率

$n_0$ を決めます。訓練データDを用意します。この訓練データは複数の初期値の集まりです。訓練データから一つ初期値をランダムに取り出し、これを

$x_0$ とし、最初の予測値とします。次の式に現在の予測値

$x_0$ を代入し、新たな予測値

$x_{n+1}$ を得ます。

$x_{n+1} = x_{n} - \frac{n_0}{n} grad f(X_n)$ 収束して入れば4へ、収束していなければ2で得られた値

$x{n+1}$ を新たに

$x_n$ としてもう一度2を行う。訓練データを一周していなければ2へ、一周していれば各初期値から得られた解の中から目的関数を最も小さくするものを選ぶ。　　実装例以下の目的関数を最小化させてみましょう。

$f(x,y) = (x-2)^2 + (y-3)^2$ コマンドラインでpythonを実行していきます。予想通り、（２，３）という解を導き出してくれました。目的関数が簡単だったので、初期値をどの値でとってもばっちり正解にたどり着いてくれました。 CODE 以下にRobbins monroの関数だけ置いておきます。こちらにすべてのコードを載せています。 def Robbins_monro(function,grad,number_variable_gradient): init_learning_rate = 1.5 stepsize = 1000 init_value = np.array([range(-1000,1020,20) for i in range(number_v...

カーネルK-means 理論編

Introduction English ver 今日は、カーネルK-meansの理論について書きます。カーネルK-meansは通常のK-meansの欠点を補うことができます。通常のK-meansの欠点とカーネルK-meansの強みも説明します。もし、まだ御覧になられていなければ、通常の K-means 理論編の記事を見ていただけるとよいのではないかと思います。カーネルK-meansの実装編も併せてご覧ください。概要 K-meansの弱点カーネルトリックカーネルK-means アルゴリズム K-meansの弱点例えば、次のようなデータを用意します。このデータはK-meansによってうまく分類することはできません。なぜなら通常のK-meansでは、データとプロトタイプのユークリッド距離に依存しているからです。そのため、このような円状に分布しているデータはうまく分類することができません。プロトタイプとはそれぞれのクラスにあり、そのクラスを代表するようなもののことです。K-meansでは各クラスの平均ベクトルとなります。それゆえ、以下のような分類になってしまいます。このようなデータではK-meansはうまくいきません。 K-meansで分類できるデータセットは次のように各クラスで固まっている必要があります。カーネルK-meansはK-meansの弱点を補います。カーネルトリック初めに、カーネルトリックを説明します。線形分離できないようなデータ

$X$ を例えば次のように線形分離できるように

$\phi(x)$ に送る写像

$\phi$ を考えます。カーネルは次のように定義されます。

$K(x,y) = \phi(x)^T \phi(y)$

$\phi$ を具体的に計算することは難しいですが、

$K(x,y)$ を計算することなら簡単です。この手法をカーネルトリックと呼ばれます。カーネルK means K-meansの目的関数を復習しておきます。

$J = \sum_{n=1}^{N} \sum_{k=1}^{K} r_{nk} ||x_n-\mu_k||^2$ ここで、プロトタイプは

$\mu_i ~\forall k \in K$ としま...

journey of Froakie (ケロマツの旅路)

このブログを検索

Implementation of Logistic Regression

Introduction

Overview

Dataset

CODE

Execution!

ラベル

コメント

コメントを投稿

このブログの人気の投稿

ヘッセ行列

Implementation of Robbins monro

カーネルK-means 理論編