(WIP) [LLM] PEFT 기법 - LoRA와 qLoRA
Open Source LLM의 민주화를 연 파인튜닝 기법인 LoRA와 QLoRA 기법에 대해서 알아봅니다.
Posts by year
2023
2022
[LLM] Graphormer 훑어보기
그래프 단위에서 Transformer의 가능성을 검증한 Graphormer에 대해서 알아봅니다.
[BigData] (작성중) 데이터 과학자를 위한 Pyspark 튜토리얼
인-메모리 기반 분산 처리로 대용량 데이터를 빠르게 조작/분석할 수 있는 툴인 Pyspark에 대해 알아봅니다.
[RecSys] 대용량 광고 추천 at Criteo
Criteo에서 매일 수십억건의 온라인 광고 추천을 수행하는 방식에 대해서 살펴봅니다.
[Recsys] HAN(Heterogeneous Graph Attention Networks) paper review
Heterogeneous Network + Graph Attention Networks
[RecSys] Multi-Armed Bandits
최대의 이득을 찾는 전략을 학습하는 강화학습 방식의 추천 알고리즘인 MAB에 대해 살펴 봅니다.
[RecSys] 연관 규칙 추천 (Association Rule Mining)
추천 시스템의 가장 원시적이지만 강력한 Baseline으로 사용되는 Association Rule에 대해 배워봅니다.
[RecSys] 온라인 행동 예측을 위한 Neural-network Field-aware Factorization Machine
Inmobi에서 온라인 유저 행동 예측을 위해 Neural-network Field-aware Factorization Machine을 적용한 사례를 알아봅니다.
[MLOps] Airflow Introduction
Workflow & Data Pipeline 관리 플랫폼인 Airflow를 소개합니다.
[Deep Learning] 차원 축소 - PCA와 AutoEncoder
고차원 데이터를 차원축소 할 때는 AutoEncoder보다 PCA가 유리할 수 있음
[RecSys] 우버 이츠가 GNN으로 메뉴 추천 하는 방법
배달 플랫폼 Uber Eats가 GNN을 활용해 추천 서비스를 개선한 이야기를 살펴봅니다.
[RecSys] 뉴럴넷 기반 추천시스템 서베이 페이퍼 리뷰
뉴럴넷 기반 추천 시스템 서베이 페이퍼 리뷰
[RecSys] 쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로)
쿠팡 추천 시스템 2년간의 변천사
[Deep Learning] 딥러닝 모델의 Calibration이란?
딥러닝 모델의 Calibration이란?
2021
[Deep Learning] Liquid Neural Network란?
Liquid Neural Network란?
[RecSys] Amazon Personalization 살펴보기
Amazon Personalization for the world
[MLOps] MLflow란?
머신러닝 모델 학습 관리 및 배포를 지원하는 MLFlow에 대해 살펴봅니다.
[General ML Train set] batch 2. 확률과 분포
확률(Probability)과 분포(Distribution)
[NLP] KoBERT Multilabel VOC 분류 모델 개발기
pretrained KoBERT 모델을 사용해 multi-label VOC(Voice of Customers) 분류기를 만들며 얻은 교훈을 공유합니다.
[XAI] LIME(Local Interpretable Model-agnostic Explanation) 알고리즘
blackbox 모델을 지역적으로 근사함으로써 설명 가능성을 제공하는 LIME 알고리즘에 대해 살펴봅니다.
[XAI] GAM(Generalized Linear Models) 알고리즘 및 pyGAM 소개
GAM(Generalized Additive Models)의 파이썬 구현체인 pyGAM을 소개합니다.
[Deep Learning] 비선형 함수를 사용하는 이유에 대한 시각적 설명
신경망 모델에서 비선형 활성화함수를 사용하는 이유에 대한 두 가지 접근을 알아봅니다.
[XAI] EBM(Explainable Boosting Machine) 알고리즘 소개
모델 성능과 설명 가능성, 두가지 토끼를 한번에 잡은 glass box 모델인 EBM을 알아봅니다.
[NLP] 주식 뉴스 요약 메일링 프로그램
다양한 NLP 태스크를 간단하게 구현할 수 있는 Pororo를 사용해, 관심 뉴스 종목의 요약문을 메일로 받는 프로그램을 colab 환경에서 구현합니다
[NLP] Longformer: the long-document Transformer
기존 transformer의 input sequence 길이의 한계를 극복하고자 하는 시도인 longformer를 알아봅니다.
[General ML Train set] batch 1. MLE와 MAP
MLE(Maximum Likelihood Estimation)와 MAP(Maximum a Posteriori)
[General ML Train set] batch 0. 인트로
일반적인 Machine Learning의 개념들을 하나씩 정리하는 시리즈입니다.
[Recsys] 그래프 & 자연어처리 기법으로 추천 시스템 개발하기 - pytorch
NLP와 Graph에서 사용되는 방법론을 적용해 높은 성능의 baseline 추천 시스템을 만들어 봅니다.
2020
[GNN] DeepWalk: Online Learning of Social Representations - Paper Review
자연어처리 단어 임베딩에 사용된 skip-gram의 아이디어를 차용해, Deep Learning Graph Embedding을 처음 시도해 본 DeepWalk 알고리즘에 대해 배워봅니다!
[GNN] MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding - Paper Review
Graph 분야의 Node Clustering, Node Prediction, Link Prediction task에서 SOTA를 기록한 MAGNN에 대해 알아봅니다. 
[Recsys] Next Item Recommendation with Self-Attentive Metric Learning
추천 문제를 해결하는 큰 갈래 중에, 고객 활동의 sequential한 정보를 활용하는 방법론 중 item-item 간의 상관관계를 self-attention 메커니즘을 사용해 파악하고자 한 접근을 살펴봅니다!
