transformer code
transformer code 설명
cross entorpy
cross entropy 관련 설명
huggingface compute_loss
huggingfacecompute_loss 분석
Online softmax
softmax 최적화 관련 설명
Multi Head Attention
Multi Head Attention에 대한 간략한
Practical Named Entity Recognition
서비스를 위한 NER을 만들때 만나게 될수도 있는 문제들
CRF Equation
CRF Log Likelihood
Rouzeta를 사용하기전에
이상호 박사가 만든 Rouzeta( FST 기반 형태소 분석기)를 기반으로 foma, lexc, openfst를 사용하기 위한 기반 지식을 기록하기 위한 페이지
openfst
WFST를 구현하여 사용할때 사용하는 openfst에 대한 설명
auto space by FST
FST를 활용한 띄어쓰기 모듈, 간단한 규칙으로 lexc, xfst, openfst를 활용하는 법에 대한 소개
linux-sort
대용량 파일을 정렬하기 위해 리눅스 기본 명령어인 sort를 사용할때 -S옵션으로 메모리를 설정할수 있는데 원하는 만큼 메모리가 잡히지 않는 문제를 파악하고, 다른 대안을 찾아본다
어텐션 메커니즘
attention에 대한 기본적인 설명, 어떤 이유에서 나왔고 어떻게 구현이 가능한지에 대한 설명