이누의 개발성장기

레이어 레이어 : 유용한 연산자 집합 머신러닝 모델은 단순한 레이어를 쌓고 조합하여 표현할 수 있다. 텐서플로우는 여러 표준 레이어를 제공하기 때문에 처음부터 고유의 프로그램에 최적화된 레이어를 작성하거나 기존 레이어를 조합해 쉽게 모델을 만들 수 있다. 텐서플로우는 케라스의 모든 API를 tf.keras에 포함하고 있다. 여기서 얻어낸 케라스 레이어로 모델을 구축하면 된다. 대부분의 레이어는 처음 파라미터로 출력차원의 크기 혹은 채널을 가진다. 입력 차원의 수는 따로 설정하지 않아도 유추하지만 그래도 모델이 복잡할 경우 입력해주는 것이 좋다. layer = tf.keras.layers.Dense(10, input_shape=(None, 5)) 위는 레이어의 한 종류인 완전 연결 레이어이다. layer...

회의실배정 https://www.acmicpc.net/problem/1931 n = int(input()) meet_list = [] for _ in range(n): meet_list.append(list(map(int, input().split()))) meet_list.sort(key=lambda x: [x[1],x[0]]) result = 1 last_book_end_time = meet_list[0][1] for idx in range(1, len(meet_list)): if last_book_end_time

mecab from mecab import MeCab m = MeCab() text = "안녕하세요 적당히 바람이 시원해 기분이 너무 좋아요" # 형태소 별로 나눠 출력 print(m.morphs(text)) # 명사만 출력 print(m.nouns(text))==결과== ['안녕', '하', '세요', '적당히', '바람', '이', '시원', '해', '기분', '이', '너무', '좋', '아요'] ['안녕', '바람', '기분'] 한글 라이브러리인 mecab 라이브러리를 ..

특수문자 제거 보통 특수문자는 문장의 의미에 큰 역할을 하지 않는다. 따라서 전처리 과정으로 특수문자를 제거할 수 있다. from string import punctuation for p in punctuation : print(p) data = data.replace(p, "") data에 내가 제거를 원하는 데이터(문자열)이 있다고 하자. punctuation에는 기본적인 특수문자 데이터 (!"#$%&'()*+,-./:;?@[\]^_`{|}~)가 들어있다. 따라서 하나씩 체크하면서 replace 하는 것으로 특수문자를 제거할 수 있다.

결정트리 분할과 가지치기 과정을 반복하면서 모델을 생성한다. 결정트리에는 분류와 회귀 모두에 사용할 수 있다. 여러개의 모델을 함께 사용하는 앙상블 모델이 존재한다. (RandomForest, GradientBoosting, XGBoost) 각 특성이 개별 처리되기 때문에 데이터 스케일에 영향을 받지 않아 특성의 정규화나 표준화가 필요 없다. 시계열 데이터와 같이 범위 밖의 포인트는 예측 할 수 없다. 과대적합되는 경향이 있다. 이는 본문에 소개할 가지치기 기법을 사용해도 크게 개선되지 않는다. DecisionTreeClassifier() DecisionTreeClassifier(criterion, splitter, max_depth, min_samples_split, min_samples_leaf, m..

데이터 전처리 데이터를 불러오고 전처리하는 과정이다. 데이터에 기본적인 필요없는 부분을 제거하고, 문장을 단어들로 나눈다. import pandas as pd import numpy as np from sklearn.model_selection import train_test_split spam_data = pd.read_csv("../data/spam.csv", encoding="latin1") # spam, ham 값을 숫자로 변환 spam_data['v1'] = spam_data['v1'].replace('spam', 1) spam_data['v1'] = spam_data['v1'].replace('ham', 0) # 정규표현식을 써서, 단어가 아니면 공백으로 spam_data['v2'] = spa..

다층퍼셉트론의 문제점 다층 퍼셉트론은 입력과 출력 계층 사이에 은닉층을 가진다. 이 때 계층 간 연결은 양 쪽 퍼셉트론들이 서로 빠짐없이 연결되는 방식으로 이뤄진다. 이런 이유로 다층 퍼셉트론 신경망의 은닉 계층을 '완전 연결 계층'이라고 부른다. 완전 연결 계층의 가중치 행렬 형태는 입력 벡터 크기와 출력 벡터 크기에 따라 결정된다. 해당 크기는 두 벡터 크기의 곱이다. 즉, 많은 수의 픽셀 데이터를 가지는 이미지 데이터는 벡터 크기가 매우 크기 때문에 완전 연결 계층의 가중치 파라미터가 엄청난 크기를 갖게된다. 따라서 학습에 많은 양의 데이터가 요구되고, 메모리에도 부담이 갈 확률이 높다. 그 외에도 이미지에서 특정패턴을 찾을 때 다양한 위치에서 나타날 패턴을 인식하는데도 데이터가 더 많이 필요해질 ..

단층 퍼셉트론 - 회귀분석 구현 데이터를 기반으로 전복의 고리수를 예측하는 단층 퍼셉트론을 구현해보자. 주어진 데이터는 'Sex', 'Length', 'Diameter', 'Height', 'Whole weight', 'Shucked weight', 'Viscera weight', 'Shell weight', 그리.. inuplace.tistory.com 단층 퍼셉트론 - 이진판단 구현 https://inuplace.tistory.com/460?category=912534 단층 퍼셉트론 - 회귀분석 구현 데이터를 기반으로 전복의 고리수를 예측하는 단층 퍼셉트론을 구현해보자. 주어진 데이터는 'Sex', 'Length', 'Diameter', 'He.. inuplace.tistory.com 단층 퍼셉트론 ..

다층 퍼셉트론 신경망 구조 다층 퍼셉트론은 복수의 퍼셉트론 계층을 순서를 두고 배치해 입력벡터로부터 은닉 계층을 거쳐 출력벡터를 얻어내는 신경망 구조이다. 은닉 계층이 생성하는 벡터를 은닉 벡터라고 한다. 각각의 계층은 단층 퍼셉트론과 같은 구조를 가진다. 하나의 계층에 속해있는 퍼셉트론은 서로 영향을 주고 받을 수 없다. 인접한 앞 계층의 출력이 뒷 계층의 입력으로 제공될 뿐이다. (완전 연결 방식) 단층 퍼셉트론 대비 기억용량 및 계산능력 부담이 크지만, 성능 향상을 기대할 수 있다. 은닉 계층 수와 폭 다층 퍼셉트론 최종 계층은 원래 데이터의 특징에 맞게 알맞은 형태의 출력 벡터를 생성하는 역할을 한다. (출력 계층) 반면 다른 은닉 계층은 이러한 제약이 없다. 신경망 설계자가 자유롭게 정할 수 있..

괄호의 점수 (,)의 두개의 문자로만 구성된 올바른 괄호문자열이 입력으로 주어진다. (짝이 안맞는 경우는 없음) “()” 은 1점 '('과 ')' 사이에 n점짜리 문자열이 있다면 (2*n)점으로 계산 둘 이상의 괄호가 나란히 있다면 두 괄호의 점수를 합침 ex. "(()(()()))" 는 10점 풀이 def getParenthesisScore(st): Fragments = [] # ')'과 '('이 만나는 지점을 기준으로 나눠 각각을 'Fragment'라 부름 # Fragments는 이들 Fragment들이 담기는 공간 # 예를 들어 ()()(())는 () / () / (())로 나누어져 Fragments에 저장된다. Fragment = "" # Fragment가 저장될 공간. () or (()) or ..