이누의 개발성장기

정규표현식 import re 자연어처리과정 중 데이터 전처리 과정에서는 데이터에서 유의미한 것을 찾아 처리해야 한다. 이럴 때 주로 활용되는 것이 정규표현식이다. 문자열의 패턴을 특정형태로 표현하여 텍스트에서 해당 문자열을 검색하거나 치환할 때 활용할 수 있다. 파이썬에서는 re 모듈을 import하여 사용한다. 정규식 객체 re.compile(".") re.compile(검색할문자열) 함수를 호출하면 정규식 객체 (re.RegexObject 클래스 객체)를 리턴하게 된다. re.RegexObject 클래스는 여러 메소드를 보유하여 문자열 검색 혹은 치환을 도와준다. 즉, 특정문자를 담고있는 정규식 객체를 활용하여 문자열을 검사 및 수정하는 것이다. match() : 문자열의 처음부터 정규식과 매치되는지..

Pandas 데이터 시각화 df0.loc[:,['Sepal.Width','Petal.Length']].plot.hist(bins=50,color=['red','blue'],alpha=0.6) plt.show() 데이터를 처리해줄 필요없이, plot.hist()와 같은 함수로 데이터 시각화가 가능하다. 한번에 두개를 그릴 수도 있다. (범례도 자동 출력된다.) 해당 기능도 결국은 plt에 그리는 것이다. (즉, plt.show()는 필요하다.) hist 외에도 scatter, bar 등 다양한 그래프를 그릴 수 있다. line 선 그래프 bar 수직 막대 그래프 barh 수평 막대 그래프 his 히스토그램 box 박스 플롯 kde 커널 밀도 그래프 area 면적 그래프 pie 파이 그래프 scatter 산..

DataFrameGroupBy object import pandas as pd import numpy as np # csv 파일에서 df정보 불러오기 df = pd.read_csv('data/data_iris.csv', header='infer',encoding = 'latin1') df.groupby('Species') groupby(구분기준이 될 칼럼)을 통해 데이터 프레임을 그룹별로 나눌 수있다. 해당 함수의 결과는 위와 같이 DataFrameGroupBy object가 된다. DataFrameGroupBy object 활용 print(df.groupby('Species').mean()) print(df.groupby('Species').std()) ==결과== Sepal.Length Sepal.W..

결측치 생성 import pandas as pd import numpy as np df = pd.read_csv('data/data_iris.csv', header='infer',encoding = 'latin1') # csv 파일에서 df정보 불러오기 df.count(axis=0) ==결과== Sepal.Length 150 Sepal.Width 150 Petal.Length 150 Petal.Width 150 Species 150 dtype: int64 # 결측치 생성 df.iloc[10,0] = np.nan df.iloc[32,2] = np.nan df.iloc[17,2] = np.nan df.iloc[129,2] = np.nan df.count(axis=0) ==결과== Sepal.Length 14..

통계값 한번에 계산(describe) import pandas as pd import numpy as np df = pd.read_csv('data_iris.csv', header='infer',encoding = 'latin1') # csv 파일에서 df정보 불러오기 df.describe() ==결과== Sepal.Length Sepal.Width Petal.Length Petal.Width count 150.000000 150.000000 150.000000 150.000000 mean 5.843333 3.057333 3.758000 1.199333 std 0.828066 0.435866 1.765298 0.762238 min 4.300000 2.000000 1.000000 0.100000 25% 5..

전치행렬 만들기 import pandas as pd df = pd.read_csv('data_iris.csv', header='infer',encoding = 'latin1') df.T 데이터 프레임 이름 뒤에 대문자 T를 붙이면 전치행렬 처리가 된다.

단층 퍼셉트론(SLP, Single Layer Perceptron)의 정의 단층 퍼셉트론은 일련의 퍼셉트론을 한 줄로 배치하고, 입력 벡터 하나로부터 출력 벡터 하나를 얻을 수 있는 구조를 가지고 있다. 입력 벡터만을 공유할 뿐이고, 각자의 파라미터에 따라 독립적으로 수행된다. 비록 간단한 구조지만, 여러 고급 신경망 구조의 기본 요소라고 할 수 있다. 퍼셉트론 신경망 구조 x1, x2, ... 를 입력계층이라고 한다. y1, y2, ... 를 출력계층이라고 한다. 단층 퍼셉트론은 단순히 입력계층과 출력계층으로 구성되어 있다. 각 '퍼셉트론'이 입력계층에서 얻은 입력값에 가중치를 곱해 수식을 계산하고 값을 출력한다. 파라미터 : 학습 과정 중 변경되어 가면서 퍼셉트론의 동작 특성을 결정하는 값 (가중치,..

import pandas as pd import numpy as np import os os.chdir(r"..\data") df = pd.read_csv('data_studentlist_en.csv', header='infer',encoding = 'latin1') NAME GENDER AGE GRADE ABSENCE BLOODTYPE HEIGHT WEIGHT 0 Jared Diamond M 23 3 Y O 165.3 68.2 1 Sarah O'Donnel F 22 2 N AB 170.1 53.0 2 Brian Martin M 24 4 N B 175.0 80.1 3 David Hassel M 23 3 N AB 182.1 85.7 4 Clara Rodriquez F 20 1 Y A 168.0 49.5 5..

import pandas as pd import numpy as np import os os.chdir(r"..\data") df = pd.read_csv('data_studentlist_en.csv', header='infer',encoding = 'latin1') NAME GENDER AGE GRADE ABSENCE BLOODTYPE HEIGHT WEIGHT 0 Jared Diamond M 23 3 Y O 165.3 68.2 1 Sarah O'Donnel F 22 2 N AB 170.1 53.0 2 Brian Martin M 24 4 N B 175.0 80.1 3 David Hassel M 23 3 N AB 182.1 85.7 4 Clara Rodriquez F 20 1 Y A 168.0 49.5 5..

DataFrame? Pandas의 행렬과도 유사한 2D 데이터 객체, 하지만 개개 열의 자료형이 서로 일치하지 않을수도 있다. CSV 파일, 엑셀 파일, SQL 테이블 등의 형식의 데이터를 담기에 적합하여 해당 데이터를 불러올 수 있다. columns (열)과 index (행)의 속성이 있다. 각 열은 Series 데이터타입이다. 즉, Series 타입을 모아 하나의 객체로 만든 것이라고 할 수 있다. 데이터 프레임 생성 : csv import pandas as pd import numpy as np import os os.chdir(r"..\data") df = pd.read_csv('data_studentlist_en.csv', header='infer',encoding = 'latin1') prin..