전체 글31 2023-04-28 캐글api랑 word vector 자연어처리 단어 예측 단어학습의 최소는 3만개 Word2vec cbow - 라벨이 중간게 1이면 w입력층이 그앞에거 그뒤에거 가 1이된다. 라벨을 하나씩 증가시켜 skip-gram - 이게 더좋은데 hidden layer 는 있기만하고 cbow방식과는 반대로 출력층을 두개를 나오게만든다. 임베딩레이어이고 컴퓨터가 계산을했더니 swimming swam walking-walked 거리가 같다. glove는 지구상에있는 모든 문서를 구글이 학습시켜서 메일 스팸을 분류한다. text classification 텍스트 유사도 를 하기위해서 검색을할떄 쓴다. 자연어 생성 생성형 AI ========================== ===== 캐글 api 를 하려면 https://www.kaggle.com/compe.. 2023. 4. 29. 2023-04-26 NLP 불용어 처리 Wx,y=TFx,y X log(N/DFx) 패키지 까는거 sys.version 에맞춰서 https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype 불용어 처리에대해서 배움 2023. 4. 26. 2023-04-25 tanh LSTM linear regression,embedding 1D converl 텐써플로우 모델 구축방법 3가지 사이킷런 # %% import tensorflow as tf import sys import numpy as np # %% from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.callbacks import EarlyStopping,ModelCheckpoint # %% ## sequential model from tensorflow.keras.models import Sequential from tensorflow.keras.layers imp.. 2023. 4. 25. 2023-04-22 자연어처리 word Embedding 단어를 백터로 만드는과정 koalphaca 챗봇 한국어 ai 언어모델에서 확률을 구하는법은 로스 로 틀린거를 학습해서 확률이높은거를 기계번역 오타교정식 (음성인식) 언어생성 paperswithcode 프롬프트 엔지니어 구글 바드ai harvardnlp attention annoidd 프레임워크 hugging face - 사람들이 ai 모델공개해놓은거 paperswithcode 장고를이용한 streamlit.io 웹 프레임웤크 어쩐지오늘은 깃허브 자연어처리 우리언어-컴퓨터언어 벡터변환 nlu nlg 내츄럴 랭귀지 언덜스탠 제너레트 임베딩 인코더 덴스 밀집벡터 인코더 디코더 버트와 gpt 앞뒤를보여준다음 중간을 맞추고 gpt는 디코딩만 하나하나 생성한다. 2023. 4. 25. 이전 1 2 3 4 5 6 ··· 8 다음