[RecSys] RippleNet - 지식 그래프 위로 퍼져나가는 사용자 선호
수면에 떨어진 물방울처럼, 유저의 클릭 기록에서 시작된 선호가 지식 그래프 위로 퍼져나가는 RippleNet에 대해 알아봅니다.
Tags
- Recommender Systems 20
- Graph Neural Networks 11
- XAI 8
- paper review 7
- Business Cases 7
- NLP 4
- BERT 4
- Factorization Machine 4
- Agent Evaluation 4
- Benchmark 4
- transformer 3
- Deep Learning 3
- GNN 3
- Voice Agent 3
- PinSAGE 2
- model deployment 2
- Sequential Recommendation 2
- CTR Prediction 2
- Survey Paper 2
- Dimensionality Reduction 2
- Heterogeneous Networks 2
- Pyspark 2
- distributed computing 2
- Graph Classification 2
- Cold Start 2
- Knowledge Graph 2
- Naive Bayes 2
- Conditional Independence 2
- Bayesian Network 2
- K-means 2
- Gaussian Mixture Model 2
- KL Divergence 2
- AICC 2
- MCMC 2
- LDA 2
- Variational Inference 2
- deep-learning 1
- recommender-system 1
- attention 1
- Heterogeneous Graph Embedding 1
- Implementation 1
- Introduction 1
- MLE 1
- MAP 1
- text summarization 1
- Operating System 1
- Multithreading 1
- Multiprocessing 1
- Python 1
- GCN 1
- GraphSAGE 1
- DeepLearning 1
- PDP 1
- ICE 1
- Interpretability 1
- SHAP 1
- Shapley Value 1
- GAT 1
- Counterfactual 1
- DiCE 1
- Algorithmic Recourse 1
- implementation 1
- Probability 1
- Distribution 1
- mlflow 1
- HPO 1
- Causal Inference 1
- Simpson's Paradox 1
- RCT 1
- Question Answering 1
- NER 1
- fine-tuning 1
- aws 1
- recommendation 1
- Liquid Neural Network 1
- docker 1
- docker compose 1
- kubernetes 1
- kubeflow 1
- microservices 1
- container orchestration 1
- Feature Interaction 1
- Captum 1
- Integrated Gradients 1
- Calibration 1
- Tokenization 1
- Embedding 1
- Sentence Embedding 1
- Session-based Recommendation 1
- RNN 1
- Context-aware Recommendation 1
- Re-ranking 1
- scikit-learn 1
- Pipeline 1
- Preprocessing 1
- Model Selection 1
- PCA 1
- AutoEncoder 1
- airflow 1
- MAB 1
- Reinforcement Learning 1
- Data Pipeline 1
- data preprocessing 1
- t-SNE 1
- Visualization 1
- Conversational Recommender Systems 1
- Critiquing 1
- User Study 1
- WL test 1
- GIN 1
- Disentangled Representation 1
- Meta Learning 1
- Heterogeneous Information Network 1
- Cold-start 1
- GNNExplainer 1
- Echo Chamber 1
- Filter Bubble 1
- Matrix Factorization 1
- System Design 1
- Multi-task Learning 1
- MMoE 1
- Popularity Bias 1
- Long Tail 1
- Partitioning 1
- Graph Attention 1
- Preference Propagation 1
- LangChain 1
- RAG 1
- LLM Agent 1
- Prompt Engineering 1
- PEFT 1
- LLM Finetuning 1
- quantization 1
- Decision Tree 1
- Entropy 1
- Information Gain 1
- Linear Regression 1
- Bayes Classifier 1
- Laplace Smoothing 1
- LLM-as-a-Judge 1
- LLM Evaluation 1
- 상담 QA 1
- Logistic Regression 1
- Gradient Descent 1
- Generative vs Discriminative 1
- Overfitting 1
- Bias-Variance Trade-off 1
- Cross Validation 1
- Regularization 1
- Tool Use 1
- pass^k 1
- Bayes Ball 1
- D-separation 1
- Variable Elimination 1
- Belief Propagation 1
- Clique Graph 1
- Clustering 1
- Multivariate Gaussian 1
- EM Algorithm 1
- Spoken Dialogue 1
- Turn-taking 1
- Hidden Markov Model 1
- Viterbi 1
- Forward-Backward 1
- Baum-Welch 1
- User Simulator 1
- Sampling 1
- Importance Sampling 1
- Markov Chain 1
- Metropolis-Hastings 1
- Gibbs Sampling 1
- ELBO 1
- Mean Field 1
- Mean-Field 1
- CAVI 1
- Full-Duplex 1
- tau-bench 1
- MoE 1
- Load Balancing 1
- LLM Training 1
Recommender Systems
[RecSys] KGAT - 지식 그래프 어텐션 네트워크로 추천하기
유저-아이템 그래프와 지식 그래프를 하나로 합쳐, 고차 연결성(high-order connectivity)을 어텐션으로 학습하는 KGAT에 대해 알아봅니다.
[GNN] GNN 기반 추천시스템 서베이 페이퍼 리뷰
추천 시스템에 GNN을 어떻게, 그리고 왜 적용하는지 두 편의 서베이 논문을 통해 정리해 봅니다.
[GNN] GNN으로 사용자-POI-UGC 추천하기
사용자, 장소(POI), 리뷰(UGC)로 이루어진 로컬 그래프 위에서 PinSAGE 계열 모델로 추천을 만드는 방법을 알아봅니다.
[RecSys] 추천과 검색 시스템 디자인 - 2단계 구조와 멀티태스크 랭킹
산업용 추천/검색 시스템이 공통적으로 따르는 설계 패턴과, 그 랭킹 단계를 YouTube가 멀티태스크로 풀어낸 방법을 알아봅니다.
[RecSys] 추천 시스템의 선호 증폭(Preference Amplification) 현상
추천과 피드백이 반복될수록 유저의 취향이 점점 극단으로 치닫는 현상, 선호 증폭에 대해 알아봅니다.
[GNN] DisenHAN - 분리된 표현으로 이종 그래프 추천하기
이종 그래프(HIN) 위에서 aspect별로 분리된(disentangled) 유저/아이템 임베딩을 학습하는 DisenHAN에 대해 알아봅니다.
[RecSys] 대용량 광고 추천 at Criteo
Criteo에서 매일 수십억건의 온라인 광고 추천을 수행하는 방식에 대해서 살펴봅니다.
[Recsys] HAN(Heterogeneous Graph Attention Networks) paper review
Heterogeneous Network + Graph Attention Networks
[RecSys] Multi-Armed Bandits
최대의 이득을 찾는 전략을 학습하는 강화학습 방식의 추천 알고리즘인 MAB에 대해 살펴 봅니다.
[RecSys] 연관 규칙 추천 (Association Rule Mining)
추천 시스템의 가장 원시적이지만 강력한 Baseline으로 사용되는 Association Rule에 대해 배워봅니다.
[RecSys] 온라인 행동 예측을 위한 Neural-network Field-aware Factorization Machine
Inmobi에서 온라인 유저 행동 예측을 위해 Neural-network Field-aware Factorization Machine을 적용한 사례를 알아봅니다.
[RecSys] Context-aware 추천 - 상황을 고려하는 추천 방법론
같은 유저라도 아침과 밤에 듣고 싶은 노래는 다르다! 상황(context)을 추천에 녹이는 방법들에 대해 알아봅니다.
[RecSys] 우버 이츠가 GNN으로 메뉴 추천 하는 방법
배달 플랫폼 Uber Eats가 GNN을 활용해 추천 서비스를 개선한 이야기를 살펴봅니다.
[RecSys] 뉴럴넷 기반 추천시스템 서베이 페이퍼 리뷰
뉴럴넷 기반 추천 시스템 서베이 페이퍼 리뷰
[RecSys] 쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로)
쿠팡 추천 시스템 2년간의 변천사
[XAI] Captum으로 PyTorch 추천 모델 설명하기
PyTorch 해석가능성 라이브러리 Captum의 attribution 알고리즘과, 이를 임베딩 기반 추천 모델에 적용하는 방법에 대해 알아봅니다.
[RecSys] xDeepFM - 명시적인 고차 피처 상호작용 학습하기
FM에서 출발해 DeepFM, DCN을 거쳐 CIN(Compressed Interaction Network)으로 명시적인 고차 피처 상호작용을 학습하는 xDeepFM에 대해 알아봅니다.
[GNN] PinSAGE와 GAT - 추천시스템을 위한 GNN 2
수십억 노드 위에서 돌아가는 추천용 GNN인 PinSAGE와, 이웃의 중요도를 attention으로 학습하는 GAT에 대해 알아봅니다.
[Recsys] 그래프 & 자연어처리 기법으로 추천 시스템 개발하기 - pytorch
NLP와 Graph에서 사용되는 방법론을 적용해 높은 성능의 baseline 추천 시스템을 만들어 봅니다.
Graph Neural Networks
[GNN] GNN 기반 추천시스템 서베이 페이퍼 리뷰
추천 시스템에 GNN을 어떻게, 그리고 왜 적용하는지 두 편의 서베이 논문을 통해 정리해 봅니다.
[LLM] Graphormer 훑어보기
그래프 단위에서 Transformer의 가능성을 검증한 Graphormer에 대해서 알아봅니다.
[RecSys] 추천시스템 3.0 - 딥러닝 이후, 바이어스와 그래프 그리고 인과관계
딥러닝 기반 추천(2.0)의 한계를 넘어, 그래프와 바이어스, 인과관계로 나아가는 추천시스템 3.0에 대해 알아봅니다.
[GNN] GNNExplainer - GNN의 예측을 설명하기
GNN은 왜 이 노드를 이렇게 분류했을까? GNN의 예측을 subgraph와 node feature로 설명하는 GNNExplainer에 대해 알아봅니다.
[GNN] DisenHAN - 분리된 표현으로 이종 그래프 추천하기
이종 그래프(HIN) 위에서 aspect별로 분리된(disentangled) 유저/아이템 임베딩을 학습하는 DisenHAN에 대해 알아봅니다.
[GNN] GIN(Graph Isomorphism Network) - GNN은 얼마나 강력한가?
GNN의 표현력을 WL test로 분석하고, 이론적으로 가장 강력한 GNN 구조인 GIN을 제안한 논문에 대해 알아봅니다.
[GNN] PinSAGE와 GAT - 추천시스템을 위한 GNN 2
수십억 노드 위에서 돌아가는 추천용 GNN인 PinSAGE와, 이웃의 중요도를 attention으로 학습하는 GAT에 대해 알아봅니다.
[GNN] GCN과 GraphSAGE - 추천시스템을 위한 GNN 1
그래프 위에서 convolution을 한다는 것은 무슨 의미일까? GNN 기반 추천시스템의 뼈대가 되는 GCN과 GraphSAGE에 대해 알아봅니다.
[Recsys] 그래프 & 자연어처리 기법으로 추천 시스템 개발하기 - pytorch
NLP와 Graph에서 사용되는 방법론을 적용해 높은 성능의 baseline 추천 시스템을 만들어 봅니다.
[GNN] DeepWalk: Online Learning of Social Representations - Paper Review
자연어처리 단어 임베딩에 사용된 skip-gram의 아이디어를 차용해, Deep Learning Graph Embedding을 처음 시도해 본 DeepWalk 알고리즘에 대해 배워봅니다!
[GNN] MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding - Paper Review
Graph 분야의 Node Clustering, Node Prediction, Link Prediction task에서 SOTA를 기록한 MAGNN에 대해 알아봅니다. 
XAI
[GNN] GNNExplainer - GNN의 예측을 설명하기
GNN은 왜 이 노드를 이렇게 분류했을까? GNN의 예측을 subgraph와 node feature로 설명하는 GNNExplainer에 대해 알아봅니다.
[XAI] Captum으로 PyTorch 추천 모델 설명하기
PyTorch 해석가능성 라이브러리 Captum의 attribution 알고리즘과, 이를 임베딩 기반 추천 모델에 적용하는 방법에 대해 알아봅니다.
[XAI] Counterfactual Explanation - 무엇이 달랐다면 결과가 바뀌었을까?
“왜 이런 결과가 나왔나요?” 대신 “무엇을 바꾸면 결과가 달라지나요?”에 답하는 Counterfactual Explanation에 대해 알아봅니다.
[XAI] SHAP(SHapley Additive exPlanations) 알고리즘
게임이론의 Shapley value로 블랙박스 모델의 예측을 설명하는 SHAP 알고리즘에 대해 알아봅니다.
[XAI] 설명 가능한 AI 개요와 PDP(Partial Dependence Plot)
XAI 방법론의 큰 그림을 정리하고, 가장 기본적인 global 설명 기법인 PDP에 대해 알아봅니다.
[XAI] LIME(Local Interpretable Model-agnostic Explanation) 알고리즘
blackbox 모델을 지역적으로 근사함으로써 설명 가능성을 제공하는 LIME 알고리즘에 대해 살펴봅니다.
[XAI] GAM(Generalized Linear Models) 알고리즘 및 pyGAM 소개
GAM(Generalized Additive Models)의 파이썬 구현체인 pyGAM을 소개합니다.
[XAI] EBM(Explainable Boosting Machine) 알고리즘 소개
모델 성능과 설명 가능성, 두가지 토끼를 한번에 잡은 glass box 모델인 EBM을 알아봅니다.
paper review
[GNN] MetaHIN - 메타러닝과 이종 정보 네트워크로 Cold-start 추천 풀기
메타러닝(MAML)과 HIN의 meta-path를 결합해 cold-start 추천 문제를 데이터와 모델 양쪽에서 풀어낸 MetaHIN에 대해 알아봅니다.
[RecSys] RNN으로 세션 기반 추천하기 - GRU4Rec과 HRNN
유저 정보 없이 세션 안의 클릭 흐름만으로 다음 아이템을 맞히는 GRU4Rec, 그리고 이를 개인화로 확장한 HRNN에 대해 알아봅니다.
[RecSys] BERT4Rec - BERT로 순차 추천하기
양방향 Transformer와 Cloze task로 유저의 행동 시퀀스를 학습하는 BERT4Rec에 대해 알아봅니다.
[GNN] GCN과 GraphSAGE - 추천시스템을 위한 GNN 1
그래프 위에서 convolution을 한다는 것은 무슨 의미일까? GNN 기반 추천시스템의 뼈대가 되는 GCN과 GraphSAGE에 대해 알아봅니다.
[GNN] DeepWalk: Online Learning of Social Representations - Paper Review
자연어처리 단어 임베딩에 사용된 skip-gram의 아이디어를 차용해, Deep Learning Graph Embedding을 처음 시도해 본 DeepWalk 알고리즘에 대해 배워봅니다!
[GNN] MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding - Paper Review
Graph 분야의 Node Clustering, Node Prediction, Link Prediction task에서 SOTA를 기록한 MAGNN에 대해 알아봅니다.
[Recsys] Next Item Recommendation with Self-Attentive Metric Learning
추천 문제를 해결하는 큰 갈래 중에, 고객 활동의 sequential한 정보를 활용하는 방법론 중 item-item 간의 상관관계를 self-attention 메커니즘을 사용해 파악하고자 한 접근을 살펴봅니다!
Business Cases
[GNN] GNN으로 사용자-POI-UGC 추천하기
사용자, 장소(POI), 리뷰(UGC)로 이루어진 로컬 그래프 위에서 PinSAGE 계열 모델로 추천을 만드는 방법을 알아봅니다.
[RecSys] 롱테일 이커머스 추천 Deep Dive
이력이 없는 롱테일 상품을 어떻게 추천할 수 있을까? 네이버 쇼핑의 cold item 추천 사례를 알아봅니다.
[RecSys] 추천시스템 3.0 - 딥러닝 이후, 바이어스와 그래프 그리고 인과관계
딥러닝 기반 추천(2.0)의 한계를 넘어, 그래프와 바이어스, 인과관계로 나아가는 추천시스템 3.0에 대해 알아봅니다.
[RecSys] 대용량 광고 추천 at Criteo
Criteo에서 매일 수십억건의 온라인 광고 추천을 수행하는 방식에 대해서 살펴봅니다.
[RecSys] 온라인 행동 예측을 위한 Neural-network Field-aware Factorization Machine
Inmobi에서 온라인 유저 행동 예측을 위해 Neural-network Field-aware Factorization Machine을 적용한 사례를 알아봅니다.
[RecSys] 우버 이츠가 GNN으로 메뉴 추천 하는 방법
배달 플랫폼 Uber Eats가 GNN을 활용해 추천 서비스를 개선한 이야기를 살펴봅니다.
[RecSys] 쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로)
쿠팡 추천 시스템 2년간의 변천사
NLP
[NLP] KoBERT Multilabel VOC 분류 모델 개발기
pretrained KoBERT 모델을 사용해 multi-label VOC(Voice of Customers) 분류기를 만들며 얻은 교훈을 공유합니다.
[NLP] Transformer와 BERT 다시 보기
지금의 NLP를 만든 두 모델, Transformer와 BERT의 구조를 처음부터 다시 짚어봅니다.
[NLP] 주식 뉴스 요약 메일링 프로그램
다양한 NLP 태스크를 간단하게 구현할 수 있는 Pororo를 사용해, 관심 뉴스 종목의 요약문을 메일로 받는 프로그램을 colab 환경에서 구현합니다
[NLP] Longformer: the long-document Transformer
기존 transformer의 input sequence 길이의 한계를 극복하고자 하는 시도인 longformer를 알아봅니다.
BERT
[NLP] 서브워드부터 문장 임베딩까지 - BPE, Doc2Vec, SBERT
단어를 어떻게 쪼갤지(BPE)부터, 문서와 문장을 어떻게 하나의 벡터로 표현할지(Doc2Vec, SBERT)까지 알아봅니다.
[RecSys] BERT4Rec - BERT로 순차 추천하기
양방향 Transformer와 Cloze task로 유저의 행동 시퀀스를 학습하는 BERT4Rec에 대해 알아봅니다.
[NLP] BERT로 QA 시스템과 NER 태거 만들기
BERT 위에 얇은 레이어 하나를 얹어 질의응답(QA) 시스템과 개체명 인식(NER) 태거를 만드는 방법에 대해 알아봅니다.
[NLP] Transformer와 BERT 다시 보기
지금의 NLP를 만든 두 모델, Transformer와 BERT의 구조를 처음부터 다시 짚어봅니다.
Factorization Machine
[BigData] 데이터 파티셔닝은 어떻게 Spark의 병렬화를 개선하는가
Spark 병렬 처리의 기본 단위인 파티션과, 이를 잘 다루기 위한 repartition, coalesce, partitionBy, 그리고 Skew 대처법에 대해 알아봅니다.
[RecSys] 온라인 행동 예측을 위한 Neural-network Field-aware Factorization Machine
Inmobi에서 온라인 유저 행동 예측을 위해 Neural-network Field-aware Factorization Machine을 적용한 사례를 알아봅니다.
[RecSys] Context-aware 추천 - 상황을 고려하는 추천 방법론
같은 유저라도 아침과 밤에 듣고 싶은 노래는 다르다! 상황(context)을 추천에 녹이는 방법들에 대해 알아봅니다.
[RecSys] xDeepFM - 명시적인 고차 피처 상호작용 학습하기
FM에서 출발해 DeepFM, DCN을 거쳐 CIN(Compressed Interaction Network)으로 명시적인 고차 피처 상호작용을 학습하는 xDeepFM에 대해 알아봅니다.
Agent Evaluation
[AICC] AI 컨택센터 에이전트 평가 연구 총정리 - LLM Judge부터 τ-Voice까지
상담 에이전트를 “무엇으로, 어떻게” 평가할지, 지난 3년간의 연구 흐름을 한 장의 지도로 정리해 봅니다.
[AICC] τ-Voice - Full-Duplex 음성 에이전트를 실제 상담 도메인에서 평가하기
말은 자연스럽게 하는데, 반품 처리도 제대로 할 수 있을까? τ²-bench를 음성으로 확장한 τ-Voice에 대해 알아봅니다.
[AICC] τ²-bench - 사용자도 도구를 쓰는 Dual-Control 환경
고객이 직접 휴대폰을 껐다 켜야 하는 상담, 에이전트는 얼마나 잘 “시킬” 수 있을까요? τ-bench의 후속작 τ²-bench를 알아봅니다.
[AICC] τ-bench - 도구, 에이전트, 사용자가 얽힌 상담 시나리오 벤치마크
고객과 대화하며 규정대로 도구를 호출해야 하는 상담 에이전트를, 어떻게 “믿을 만하게” 평가할 수 있을지 알아봅니다.
Benchmark
[AICC] AI 컨택센터 에이전트 평가 연구 총정리 - LLM Judge부터 τ-Voice까지
상담 에이전트를 “무엇으로, 어떻게” 평가할지, 지난 3년간의 연구 흐름을 한 장의 지도로 정리해 봅니다.
[AICC] τ²-bench - 사용자도 도구를 쓰는 Dual-Control 환경
고객이 직접 휴대폰을 껐다 켜야 하는 상담, 에이전트는 얼마나 잘 “시킬” 수 있을까요? τ-bench의 후속작 τ²-bench를 알아봅니다.
[AICC] 음성 에이전트는 어떻게 평가할까? - Full-Duplex와 턴테이킹 벤치마크
말을 알아듣는 것만으로는 부족한 음성 에이전트, 무엇을 어떻게 평가해야 하는지 세 편의 벤치마크 논문으로 알아봅니다.
[AICC] τ-bench - 도구, 에이전트, 사용자가 얽힌 상담 시나리오 벤치마크
고객과 대화하며 규정대로 도구를 호출해야 하는 상담 에이전트를, 어떻게 “믿을 만하게” 평가할 수 있을지 알아봅니다.
transformer
[LLM] Graphormer 훑어보기
그래프 단위에서 Transformer의 가능성을 검증한 Graphormer에 대해서 알아봅니다.
[NLP] Transformer와 BERT 다시 보기
지금의 NLP를 만든 두 모델, Transformer와 BERT의 구조를 처음부터 다시 짚어봅니다.
[NLP] Longformer: the long-document Transformer
기존 transformer의 input sequence 길이의 한계를 극복하고자 하는 시도인 longformer를 알아봅니다.
Deep Learning
[RecSys] 뉴럴넷 기반 추천시스템 서베이 페이퍼 리뷰
뉴럴넷 기반 추천 시스템 서베이 페이퍼 리뷰
[Deep Learning] 딥러닝 모델의 Calibration이란?
딥러닝 모델의 Calibration이란?
[Deep Learning] Liquid Neural Network란?
Liquid Neural Network란?
GNN
[RecSys] KGAT - 지식 그래프 어텐션 네트워크로 추천하기
유저-아이템 그래프와 지식 그래프를 하나로 합쳐, 고차 연결성(high-order connectivity)을 어텐션으로 학습하는 KGAT에 대해 알아봅니다.
[GNN] GNN으로 사용자-POI-UGC 추천하기
사용자, 장소(POI), 리뷰(UGC)로 이루어진 로컬 그래프 위에서 PinSAGE 계열 모델로 추천을 만드는 방법을 알아봅니다.
[Recsys] HAN(Heterogeneous Graph Attention Networks) paper review
Heterogeneous Network + Graph Attention Networks
Voice Agent
[AICC] AI 컨택센터 에이전트 평가 연구 총정리 - LLM Judge부터 τ-Voice까지
상담 에이전트를 “무엇으로, 어떻게” 평가할지, 지난 3년간의 연구 흐름을 한 장의 지도로 정리해 봅니다.
[AICC] τ-Voice - Full-Duplex 음성 에이전트를 실제 상담 도메인에서 평가하기
말은 자연스럽게 하는데, 반품 처리도 제대로 할 수 있을까? τ²-bench를 음성으로 확장한 τ-Voice에 대해 알아봅니다.
[AICC] 음성 에이전트는 어떻게 평가할까? - Full-Duplex와 턴테이킹 벤치마크
말을 알아듣는 것만으로는 부족한 음성 에이전트, 무엇을 어떻게 평가해야 하는지 세 편의 벤치마크 논문으로 알아봅니다.
PinSAGE
[GNN] GNN으로 사용자-POI-UGC 추천하기
사용자, 장소(POI), 리뷰(UGC)로 이루어진 로컬 그래프 위에서 PinSAGE 계열 모델로 추천을 만드는 방법을 알아봅니다.
[GNN] PinSAGE와 GAT - 추천시스템을 위한 GNN 2
수십억 노드 위에서 돌아가는 추천용 GNN인 PinSAGE와, 이웃의 중요도를 attention으로 학습하는 GAT에 대해 알아봅니다.
model deployment
[MLOps] 데이터 과학자를 위한 Docker 입문
“제 컴퓨터에서는 잘 돌아가는데요?”를 끝내기 위한 Docker 기초부터 Compose까지 알아봅니다.
[MLOps] MLflow란?
머신러닝 모델 학습 관리 및 배포를 지원하는 MLFlow에 대해 살펴봅니다.
Sequential Recommendation
[RecSys] RNN으로 세션 기반 추천하기 - GRU4Rec과 HRNN
유저 정보 없이 세션 안의 클릭 흐름만으로 다음 아이템을 맞히는 GRU4Rec, 그리고 이를 개인화로 확장한 HRNN에 대해 알아봅니다.
[RecSys] BERT4Rec - BERT로 순차 추천하기
양방향 Transformer와 Cloze task로 유저의 행동 시퀀스를 학습하는 BERT4Rec에 대해 알아봅니다.
CTR Prediction
[RecSys] RippleNet - 지식 그래프 위로 퍼져나가는 사용자 선호
수면에 떨어진 물방울처럼, 유저의 클릭 기록에서 시작된 선호가 지식 그래프 위로 퍼져나가는 RippleNet에 대해 알아봅니다.
[RecSys] xDeepFM - 명시적인 고차 피처 상호작용 학습하기
FM에서 출발해 DeepFM, DCN을 거쳐 CIN(Compressed Interaction Network)으로 명시적인 고차 피처 상호작용을 학습하는 xDeepFM에 대해 알아봅니다.
Survey Paper
[GNN] GNN 기반 추천시스템 서베이 페이퍼 리뷰
추천 시스템에 GNN을 어떻게, 그리고 왜 적용하는지 두 편의 서베이 논문을 통해 정리해 봅니다.
[RecSys] 뉴럴넷 기반 추천시스템 서베이 페이퍼 리뷰
뉴럴넷 기반 추천 시스템 서베이 페이퍼 리뷰
Dimensionality Reduction
[Deep Learning] t-SNE 논문 리뷰 - 고차원 데이터를 2차원에 펼치는 법
고차원 데이터 시각화의 표준 도구가 된 t-SNE가 어떻게 동작하는지, SNE부터 차근차근 알아봅니다.
[Deep Learning] 차원 축소 - PCA와 AutoEncoder
고차원 데이터를 차원축소 할 때는 AutoEncoder보다 PCA가 유리할 수 있음
Heterogeneous Networks
[GNN] DisenHAN - 분리된 표현으로 이종 그래프 추천하기
이종 그래프(HIN) 위에서 aspect별로 분리된(disentangled) 유저/아이템 임베딩을 학습하는 DisenHAN에 대해 알아봅니다.
[Recsys] HAN(Heterogeneous Graph Attention Networks) paper review
Heterogeneous Network + Graph Attention Networks
Pyspark
[BigData] 데이터 파티셔닝은 어떻게 Spark의 병렬화를 개선하는가
Spark 병렬 처리의 기본 단위인 파티션과, 이를 잘 다루기 위한 repartition, coalesce, partitionBy, 그리고 Skew 대처법에 대해 알아봅니다.
[BigData] (작성중) 데이터 과학자를 위한 Pyspark 튜토리얼
인-메모리 기반 분산 처리로 대용량 데이터를 빠르게 조작/분석할 수 있는 툴인 Pyspark에 대해 알아봅니다.
distributed computing
[BigData] 데이터 파티셔닝은 어떻게 Spark의 병렬화를 개선하는가
Spark 병렬 처리의 기본 단위인 파티션과, 이를 잘 다루기 위한 repartition, coalesce, partitionBy, 그리고 Skew 대처법에 대해 알아봅니다.
[BigData] (작성중) 데이터 과학자를 위한 Pyspark 튜토리얼
인-메모리 기반 분산 처리로 대용량 데이터를 빠르게 조작/분석할 수 있는 툴인 Pyspark에 대해 알아봅니다.
Graph Classification
[LLM] Graphormer 훑어보기
그래프 단위에서 Transformer의 가능성을 검증한 Graphormer에 대해서 알아봅니다.
[GNN] GIN(Graph Isomorphism Network) - GNN은 얼마나 강력한가?
GNN의 표현력을 WL test로 분석하고, 이론적으로 가장 강력한 GNN 구조인 GIN을 제안한 논문에 대해 알아봅니다.
Cold Start
[RecSys] 롱테일 이커머스 추천 Deep Dive
이력이 없는 롱테일 상품을 어떻게 추천할 수 있을까? 네이버 쇼핑의 cold item 추천 사례를 알아봅니다.
[RecSys] 추천시스템 3.0 - 딥러닝 이후, 바이어스와 그래프 그리고 인과관계
딥러닝 기반 추천(2.0)의 한계를 넘어, 그래프와 바이어스, 인과관계로 나아가는 추천시스템 3.0에 대해 알아봅니다.
Knowledge Graph
[RecSys] RippleNet - 지식 그래프 위로 퍼져나가는 사용자 선호
수면에 떨어진 물방울처럼, 유저의 클릭 기록에서 시작된 선호가 지식 그래프 위로 퍼져나가는 RippleNet에 대해 알아봅니다.
[RecSys] KGAT - 지식 그래프 어텐션 네트워크로 추천하기
유저-아이템 그래프와 지식 그래프를 하나로 합쳐, 고차 연결성(high-order connectivity)을 어텐션으로 학습하는 KGAT에 대해 알아봅니다.
Naive Bayes
[General ML Train set] batch 5. 로지스틱 회귀
결정 경계와 로지스틱 함수, Gradient Method, 그리고 나이브 베이즈와의 관계
[General ML Train set] batch 4. 나이브 베이즈 분류기
Optimal Classifier에서 출발해 조건부 독립, 그리고 나이브 베이즈 분류기까지
Conditional Independence
[General ML Train set] batch 7. 베이지안 네트워크 1 - 확률 개념과 Bayes Ball
확률의 기본 정리부터 베이지안 네트워크의 해석, 그리고 Bayes Ball 알고리즘까지
[General ML Train set] batch 4. 나이브 베이즈 분류기
Optimal Classifier에서 출발해 조건부 독립, 그리고 나이브 베이즈 분류기까지
Bayesian Network
[General ML Train set] batch 8. 베이지안 네트워크 2 - Factorization과 추론
Factorization, 추론 질문, Variable Elimination, 그리고 Clique Graph와 Belief Propagation
[General ML Train set] batch 7. 베이지안 네트워크 1 - 확률 개념과 Bayes Ball
확률의 기본 정리부터 베이지안 네트워크의 해석, 그리고 Bayes Ball 알고리즘까지
K-means
[General ML Train set] batch 10. EM 알고리즘 - GMM과 K-means, 그리고 EM의 유도
GMM을 EM으로 학습하고, EM이 왜 동작하는지 유도해 보기
[General ML Train set] batch 9. K-means 클러스터링과 Gaussian Mixture Model
비지도 학습의 첫걸음, K-means에서 Gaussian Mixture Model까지
Gaussian Mixture Model
[General ML Train set] batch 10. EM 알고리즘 - GMM과 K-means, 그리고 EM의 유도
GMM을 EM으로 학습하고, EM이 왜 동작하는지 유도해 보기
[General ML Train set] batch 9. K-means 클러스터링과 Gaussian Mixture Model
비지도 학습의 첫걸음, K-means에서 Gaussian Mixture Model까지
KL Divergence
[General ML Train set] batch 14. Variational Inference 1 - Variational Transform과 이론
복잡한 함수와 분포를 단순한 것으로 바꾸는 기술, Variational Inference
[General ML Train set] batch 10. EM 알고리즘 - GMM과 K-means, 그리고 EM의 유도
GMM을 EM으로 학습하고, EM이 왜 동작하는지 유도해 보기
AICC
[AICC] AI 컨택센터 에이전트 평가 연구 총정리 - LLM Judge부터 τ-Voice까지
상담 에이전트를 “무엇으로, 어떻게” 평가할지, 지난 3년간의 연구 흐름을 한 장의 지도로 정리해 봅니다.
[AICC] τ²-bench - 사용자도 도구를 쓰는 Dual-Control 환경
고객이 직접 휴대폰을 껐다 켜야 하는 상담, 에이전트는 얼마나 잘 “시킬” 수 있을까요? τ-bench의 후속작 τ²-bench를 알아봅니다.
MCMC
[General ML Train set] batch 13. Sampling Based Inference 2 - Metropolis-Hastings, Gibbs Sampling과 LDA
Metropolis-Hastings 알고리즘, Gibbs Sampling, 그리고 LDA의 Collapsed Gibbs Sampler
[General ML Train set] batch 12. Sampling Based Inference 1 - Forward, Rejection, Importance Sampling과 Markov Chain
샘플을 뽑아서 확률을 추론하기: Forward, Rejection, Importance Sampling과 Markov Chain
LDA
[General ML Train set] batch 15. Variational Inference 2 - 예제와 LDA
간단한 가우시안 모델로 따라가 보는 Mean-Field VI, 그리고 LDA의 Variational Inference
[General ML Train set] batch 13. Sampling Based Inference 2 - Metropolis-Hastings, Gibbs Sampling과 LDA
Metropolis-Hastings 알고리즘, Gibbs Sampling, 그리고 LDA의 Collapsed Gibbs Sampler
Variational Inference
[General ML Train set] batch 15. Variational Inference 2 - 예제와 LDA
간단한 가우시안 모델로 따라가 보는 Mean-Field VI, 그리고 LDA의 Variational Inference
[General ML Train set] batch 14. Variational Inference 1 - Variational Transform과 이론
복잡한 함수와 분포를 단순한 것으로 바꾸는 기술, Variational Inference
deep-learning
[Recsys] Next Item Recommendation with Self-Attentive Metric Learning
추천 문제를 해결하는 큰 갈래 중에, 고객 활동의 sequential한 정보를 활용하는 방법론 중 item-item 간의 상관관계를 self-attention 메커니즘을 사용해 파악하고자 한 접근을 살펴봅니다!
recommender-system
[Recsys] Next Item Recommendation with Self-Attentive Metric Learning
추천 문제를 해결하는 큰 갈래 중에, 고객 활동의 sequential한 정보를 활용하는 방법론 중 item-item 간의 상관관계를 self-attention 메커니즘을 사용해 파악하고자 한 접근을 살펴봅니다!
attention
[Recsys] Next Item Recommendation with Self-Attentive Metric Learning
추천 문제를 해결하는 큰 갈래 중에, 고객 활동의 sequential한 정보를 활용하는 방법론 중 item-item 간의 상관관계를 self-attention 메커니즘을 사용해 파악하고자 한 접근을 살펴봅니다!
Heterogeneous Graph Embedding
[GNN] MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding - Paper Review
Graph 분야의 Node Clustering, Node Prediction, Link Prediction task에서 SOTA를 기록한 MAGNN에 대해 알아봅니다.
Implementation
[Recsys] 그래프 & 자연어처리 기법으로 추천 시스템 개발하기 - pytorch
NLP와 Graph에서 사용되는 방법론을 적용해 높은 성능의 baseline 추천 시스템을 만들어 봅니다.
Introduction
[General ML Train set] batch 0. 인트로
일반적인 Machine Learning의 개념들을 하나씩 정리하는 시리즈입니다.
MLE
[General ML Train set] batch 1. MLE와 MAP
MLE(Maximum Likelihood Estimation)와 MAP(Maximum a Posteriori)
MAP
[General ML Train set] batch 1. MLE와 MAP
MLE(Maximum Likelihood Estimation)와 MAP(Maximum a Posteriori)
text summarization
[NLP] 주식 뉴스 요약 메일링 프로그램
다양한 NLP 태스크를 간단하게 구현할 수 있는 Pororo를 사용해, 관심 뉴스 종목의 요약문을 메일로 받는 프로그램을 colab 환경에서 구현합니다
Operating System
[CS] 멀티스레드 vs 멀티프로세싱, 그리고 Context Switching
프로세스와 스레드는 무엇이 다르고, 왜 멀티 프로세스 대신 멀티 스레드를 쓰는지 알아봅니다.
Multithreading
[CS] 멀티스레드 vs 멀티프로세싱, 그리고 Context Switching
프로세스와 스레드는 무엇이 다르고, 왜 멀티 프로세스 대신 멀티 스레드를 쓰는지 알아봅니다.
Multiprocessing
[CS] 멀티스레드 vs 멀티프로세싱, 그리고 Context Switching
프로세스와 스레드는 무엇이 다르고, 왜 멀티 프로세스 대신 멀티 스레드를 쓰는지 알아봅니다.
Python
[CS] 멀티스레드 vs 멀티프로세싱, 그리고 Context Switching
프로세스와 스레드는 무엇이 다르고, 왜 멀티 프로세스 대신 멀티 스레드를 쓰는지 알아봅니다.
GCN
[GNN] GCN과 GraphSAGE - 추천시스템을 위한 GNN 1
그래프 위에서 convolution을 한다는 것은 무슨 의미일까? GNN 기반 추천시스템의 뼈대가 되는 GCN과 GraphSAGE에 대해 알아봅니다.
GraphSAGE
[GNN] GCN과 GraphSAGE - 추천시스템을 위한 GNN 1
그래프 위에서 convolution을 한다는 것은 무슨 의미일까? GNN 기반 추천시스템의 뼈대가 되는 GCN과 GraphSAGE에 대해 알아봅니다.
DeepLearning
[Deep Learning] 비선형 함수를 사용하는 이유에 대한 시각적 설명
신경망 모델에서 비선형 활성화함수를 사용하는 이유에 대한 두 가지 접근을 알아봅니다.
PDP
[XAI] 설명 가능한 AI 개요와 PDP(Partial Dependence Plot)
XAI 방법론의 큰 그림을 정리하고, 가장 기본적인 global 설명 기법인 PDP에 대해 알아봅니다.
ICE
[XAI] 설명 가능한 AI 개요와 PDP(Partial Dependence Plot)
XAI 방법론의 큰 그림을 정리하고, 가장 기본적인 global 설명 기법인 PDP에 대해 알아봅니다.
Interpretability
[XAI] 설명 가능한 AI 개요와 PDP(Partial Dependence Plot)
XAI 방법론의 큰 그림을 정리하고, 가장 기본적인 global 설명 기법인 PDP에 대해 알아봅니다.
SHAP
[XAI] SHAP(SHapley Additive exPlanations) 알고리즘
게임이론의 Shapley value로 블랙박스 모델의 예측을 설명하는 SHAP 알고리즘에 대해 알아봅니다.
Shapley Value
[XAI] SHAP(SHapley Additive exPlanations) 알고리즘
게임이론의 Shapley value로 블랙박스 모델의 예측을 설명하는 SHAP 알고리즘에 대해 알아봅니다.
GAT
[GNN] PinSAGE와 GAT - 추천시스템을 위한 GNN 2
수십억 노드 위에서 돌아가는 추천용 GNN인 PinSAGE와, 이웃의 중요도를 attention으로 학습하는 GAT에 대해 알아봅니다.
Counterfactual
[XAI] Counterfactual Explanation - 무엇이 달랐다면 결과가 바뀌었을까?
“왜 이런 결과가 나왔나요?” 대신 “무엇을 바꾸면 결과가 달라지나요?”에 답하는 Counterfactual Explanation에 대해 알아봅니다.
DiCE
[XAI] Counterfactual Explanation - 무엇이 달랐다면 결과가 바뀌었을까?
“왜 이런 결과가 나왔나요?” 대신 “무엇을 바꾸면 결과가 달라지나요?”에 답하는 Counterfactual Explanation에 대해 알아봅니다.
Algorithmic Recourse
[XAI] Counterfactual Explanation - 무엇이 달랐다면 결과가 바뀌었을까?
“왜 이런 결과가 나왔나요?” 대신 “무엇을 바꾸면 결과가 달라지나요?”에 답하는 Counterfactual Explanation에 대해 알아봅니다.
implementation
[NLP] KoBERT Multilabel VOC 분류 모델 개발기
pretrained KoBERT 모델을 사용해 multi-label VOC(Voice of Customers) 분류기를 만들며 얻은 교훈을 공유합니다.
Probability
[General ML Train set] batch 2. 확률과 분포
확률(Probability)과 분포(Distribution)
Distribution
[General ML Train set] batch 2. 확률과 분포
확률(Probability)과 분포(Distribution)
mlflow
[MLOps] MLflow란?
머신러닝 모델 학습 관리 및 배포를 지원하는 MLFlow에 대해 살펴봅니다.
HPO
[MLOps] MLflow란?
머신러닝 모델 학습 관리 및 배포를 지원하는 MLFlow에 대해 살펴봅니다.
Causal Inference
[Causal Inference] 상관관계는 인과관계가 아니다 - 심슨의 역설과 RCT
심슨의 역설로 시작해서, 상관관계가 왜 인과관계가 아닌지, 그리고 무엇이 인과를 말해줄 수 있는지 알아봅니다.
Simpson's Paradox
[Causal Inference] 상관관계는 인과관계가 아니다 - 심슨의 역설과 RCT
심슨의 역설로 시작해서, 상관관계가 왜 인과관계가 아닌지, 그리고 무엇이 인과를 말해줄 수 있는지 알아봅니다.
RCT
[Causal Inference] 상관관계는 인과관계가 아니다 - 심슨의 역설과 RCT
심슨의 역설로 시작해서, 상관관계가 왜 인과관계가 아닌지, 그리고 무엇이 인과를 말해줄 수 있는지 알아봅니다.
Question Answering
[NLP] BERT로 QA 시스템과 NER 태거 만들기
BERT 위에 얇은 레이어 하나를 얹어 질의응답(QA) 시스템과 개체명 인식(NER) 태거를 만드는 방법에 대해 알아봅니다.
NER
[NLP] BERT로 QA 시스템과 NER 태거 만들기
BERT 위에 얇은 레이어 하나를 얹어 질의응답(QA) 시스템과 개체명 인식(NER) 태거를 만드는 방법에 대해 알아봅니다.
fine-tuning
[NLP] BERT로 QA 시스템과 NER 태거 만들기
BERT 위에 얇은 레이어 하나를 얹어 질의응답(QA) 시스템과 개체명 인식(NER) 태거를 만드는 방법에 대해 알아봅니다.
aws
[RecSys] Amazon Personalization 살펴보기
Amazon Personalization for the world
recommendation
[RecSys] Amazon Personalization 살펴보기
Amazon Personalization for the world
Liquid Neural Network
[Deep Learning] Liquid Neural Network란?
Liquid Neural Network란?
docker
[MLOps] 데이터 과학자를 위한 Docker 입문
“제 컴퓨터에서는 잘 돌아가는데요?”를 끝내기 위한 Docker 기초부터 Compose까지 알아봅니다.
docker compose
[MLOps] 데이터 과학자를 위한 Docker 입문
“제 컴퓨터에서는 잘 돌아가는데요?”를 끝내기 위한 Docker 기초부터 Compose까지 알아봅니다.
kubernetes
[MLOps] 쿠버네티스와 Kubeflow - 컨테이너 오케스트레이션부터 ML 파이프라인까지
마이크로서비스에서 출발해 쿠버네티스, 그리고 Kubeflow까지 알아봅니다.
kubeflow
[MLOps] 쿠버네티스와 Kubeflow - 컨테이너 오케스트레이션부터 ML 파이프라인까지
마이크로서비스에서 출발해 쿠버네티스, 그리고 Kubeflow까지 알아봅니다.
microservices
[MLOps] 쿠버네티스와 Kubeflow - 컨테이너 오케스트레이션부터 ML 파이프라인까지
마이크로서비스에서 출발해 쿠버네티스, 그리고 Kubeflow까지 알아봅니다.
container orchestration
[MLOps] 쿠버네티스와 Kubeflow - 컨테이너 오케스트레이션부터 ML 파이프라인까지
마이크로서비스에서 출발해 쿠버네티스, 그리고 Kubeflow까지 알아봅니다.
Feature Interaction
[RecSys] xDeepFM - 명시적인 고차 피처 상호작용 학습하기
FM에서 출발해 DeepFM, DCN을 거쳐 CIN(Compressed Interaction Network)으로 명시적인 고차 피처 상호작용을 학습하는 xDeepFM에 대해 알아봅니다.
Captum
[XAI] Captum으로 PyTorch 추천 모델 설명하기
PyTorch 해석가능성 라이브러리 Captum의 attribution 알고리즘과, 이를 임베딩 기반 추천 모델에 적용하는 방법에 대해 알아봅니다.
Integrated Gradients
[XAI] Captum으로 PyTorch 추천 모델 설명하기
PyTorch 해석가능성 라이브러리 Captum의 attribution 알고리즘과, 이를 임베딩 기반 추천 모델에 적용하는 방법에 대해 알아봅니다.
Calibration
[Deep Learning] 딥러닝 모델의 Calibration이란?
딥러닝 모델의 Calibration이란?
Tokenization
[NLP] 서브워드부터 문장 임베딩까지 - BPE, Doc2Vec, SBERT
단어를 어떻게 쪼갤지(BPE)부터, 문서와 문장을 어떻게 하나의 벡터로 표현할지(Doc2Vec, SBERT)까지 알아봅니다.
Embedding
[NLP] 서브워드부터 문장 임베딩까지 - BPE, Doc2Vec, SBERT
단어를 어떻게 쪼갤지(BPE)부터, 문서와 문장을 어떻게 하나의 벡터로 표현할지(Doc2Vec, SBERT)까지 알아봅니다.
Sentence Embedding
[NLP] 서브워드부터 문장 임베딩까지 - BPE, Doc2Vec, SBERT
단어를 어떻게 쪼갤지(BPE)부터, 문서와 문장을 어떻게 하나의 벡터로 표현할지(Doc2Vec, SBERT)까지 알아봅니다.
Session-based Recommendation
[RecSys] RNN으로 세션 기반 추천하기 - GRU4Rec과 HRNN
유저 정보 없이 세션 안의 클릭 흐름만으로 다음 아이템을 맞히는 GRU4Rec, 그리고 이를 개인화로 확장한 HRNN에 대해 알아봅니다.
RNN
[RecSys] RNN으로 세션 기반 추천하기 - GRU4Rec과 HRNN
유저 정보 없이 세션 안의 클릭 흐름만으로 다음 아이템을 맞히는 GRU4Rec, 그리고 이를 개인화로 확장한 HRNN에 대해 알아봅니다.
Context-aware Recommendation
[RecSys] Context-aware 추천 - 상황을 고려하는 추천 방법론
같은 유저라도 아침과 밤에 듣고 싶은 노래는 다르다! 상황(context)을 추천에 녹이는 방법들에 대해 알아봅니다.
Re-ranking
[RecSys] Context-aware 추천 - 상황을 고려하는 추천 방법론
같은 유저라도 아침과 밤에 듣고 싶은 노래는 다르다! 상황(context)을 추천에 녹이는 방법들에 대해 알아봅니다.
scikit-learn
[ML] 알아두면 쓸모있는 scikit-learn 팁 모음
매일 쓰는 scikit-learn, 그런데 아직 모르는 기능이 이렇게나 많았다니! 숨은 기능들을 주제별로 묶어 알아봅니다.
Pipeline
[ML] 알아두면 쓸모있는 scikit-learn 팁 모음
매일 쓰는 scikit-learn, 그런데 아직 모르는 기능이 이렇게나 많았다니! 숨은 기능들을 주제별로 묶어 알아봅니다.
Preprocessing
[ML] 알아두면 쓸모있는 scikit-learn 팁 모음
매일 쓰는 scikit-learn, 그런데 아직 모르는 기능이 이렇게나 많았다니! 숨은 기능들을 주제별로 묶어 알아봅니다.
Model Selection
[ML] 알아두면 쓸모있는 scikit-learn 팁 모음
매일 쓰는 scikit-learn, 그런데 아직 모르는 기능이 이렇게나 많았다니! 숨은 기능들을 주제별로 묶어 알아봅니다.
PCA
[Deep Learning] 차원 축소 - PCA와 AutoEncoder
고차원 데이터를 차원축소 할 때는 AutoEncoder보다 PCA가 유리할 수 있음
AutoEncoder
[Deep Learning] 차원 축소 - PCA와 AutoEncoder
고차원 데이터를 차원축소 할 때는 AutoEncoder보다 PCA가 유리할 수 있음
airflow
[MLOps] Airflow Introduction
Workflow & Data Pipeline 관리 플랫폼인 Airflow를 소개합니다.
MAB
[RecSys] Multi-Armed Bandits
최대의 이득을 찾는 전략을 학습하는 강화학습 방식의 추천 알고리즘인 MAB에 대해 살펴 봅니다.
Reinforcement Learning
[RecSys] Multi-Armed Bandits
최대의 이득을 찾는 전략을 학습하는 강화학습 방식의 추천 알고리즘인 MAB에 대해 살펴 봅니다.
Data Pipeline
[RecSys] 대용량 광고 추천 at Criteo
Criteo에서 매일 수십억건의 온라인 광고 추천을 수행하는 방식에 대해서 살펴봅니다.
data preprocessing
[BigData] (작성중) 데이터 과학자를 위한 Pyspark 튜토리얼
인-메모리 기반 분산 처리로 대용량 데이터를 빠르게 조작/분석할 수 있는 툴인 Pyspark에 대해 알아봅니다.
t-SNE
[Deep Learning] t-SNE 논문 리뷰 - 고차원 데이터를 2차원에 펼치는 법
고차원 데이터 시각화의 표준 도구가 된 t-SNE가 어떻게 동작하는지, SNE부터 차근차근 알아봅니다.
Visualization
[Deep Learning] t-SNE 논문 리뷰 - 고차원 데이터를 2차원에 펼치는 법
고차원 데이터 시각화의 표준 도구가 된 t-SNE가 어떻게 동작하는지, SNE부터 차근차근 알아봅니다.
Conversational Recommender Systems
[RecSys] 대화형 추천 시스템에서 사용자 피드백 이해하기
대화형 추천 시스템(CRS)에서 사용자가 남기는 피드백, 즉 critiquing을 어떻게 이끌어내고 이해할 수 있는지 알아봅니다.
Critiquing
[RecSys] 대화형 추천 시스템에서 사용자 피드백 이해하기
대화형 추천 시스템(CRS)에서 사용자가 남기는 피드백, 즉 critiquing을 어떻게 이끌어내고 이해할 수 있는지 알아봅니다.
User Study
[RecSys] 대화형 추천 시스템에서 사용자 피드백 이해하기
대화형 추천 시스템(CRS)에서 사용자가 남기는 피드백, 즉 critiquing을 어떻게 이끌어내고 이해할 수 있는지 알아봅니다.
WL test
[GNN] GIN(Graph Isomorphism Network) - GNN은 얼마나 강력한가?
GNN의 표현력을 WL test로 분석하고, 이론적으로 가장 강력한 GNN 구조인 GIN을 제안한 논문에 대해 알아봅니다.
GIN
[GNN] GIN(Graph Isomorphism Network) - GNN은 얼마나 강력한가?
GNN의 표현력을 WL test로 분석하고, 이론적으로 가장 강력한 GNN 구조인 GIN을 제안한 논문에 대해 알아봅니다.
Disentangled Representation
[GNN] DisenHAN - 분리된 표현으로 이종 그래프 추천하기
이종 그래프(HIN) 위에서 aspect별로 분리된(disentangled) 유저/아이템 임베딩을 학습하는 DisenHAN에 대해 알아봅니다.
Meta Learning
[GNN] MetaHIN - 메타러닝과 이종 정보 네트워크로 Cold-start 추천 풀기
메타러닝(MAML)과 HIN의 meta-path를 결합해 cold-start 추천 문제를 데이터와 모델 양쪽에서 풀어낸 MetaHIN에 대해 알아봅니다.
Heterogeneous Information Network
[GNN] MetaHIN - 메타러닝과 이종 정보 네트워크로 Cold-start 추천 풀기
메타러닝(MAML)과 HIN의 meta-path를 결합해 cold-start 추천 문제를 데이터와 모델 양쪽에서 풀어낸 MetaHIN에 대해 알아봅니다.
Cold-start
[GNN] MetaHIN - 메타러닝과 이종 정보 네트워크로 Cold-start 추천 풀기
메타러닝(MAML)과 HIN의 meta-path를 결합해 cold-start 추천 문제를 데이터와 모델 양쪽에서 풀어낸 MetaHIN에 대해 알아봅니다.
GNNExplainer
[GNN] GNNExplainer - GNN의 예측을 설명하기
GNN은 왜 이 노드를 이렇게 분류했을까? GNN의 예측을 subgraph와 node feature로 설명하는 GNNExplainer에 대해 알아봅니다.
Echo Chamber
[RecSys] 추천 시스템의 선호 증폭(Preference Amplification) 현상
추천과 피드백이 반복될수록 유저의 취향이 점점 극단으로 치닫는 현상, 선호 증폭에 대해 알아봅니다.
Filter Bubble
[RecSys] 추천 시스템의 선호 증폭(Preference Amplification) 현상
추천과 피드백이 반복될수록 유저의 취향이 점점 극단으로 치닫는 현상, 선호 증폭에 대해 알아봅니다.
Matrix Factorization
[RecSys] 추천 시스템의 선호 증폭(Preference Amplification) 현상
추천과 피드백이 반복될수록 유저의 취향이 점점 극단으로 치닫는 현상, 선호 증폭에 대해 알아봅니다.
System Design
[RecSys] 추천과 검색 시스템 디자인 - 2단계 구조와 멀티태스크 랭킹
산업용 추천/검색 시스템이 공통적으로 따르는 설계 패턴과, 그 랭킹 단계를 YouTube가 멀티태스크로 풀어낸 방법을 알아봅니다.
Multi-task Learning
[RecSys] 추천과 검색 시스템 디자인 - 2단계 구조와 멀티태스크 랭킹
산업용 추천/검색 시스템이 공통적으로 따르는 설계 패턴과, 그 랭킹 단계를 YouTube가 멀티태스크로 풀어낸 방법을 알아봅니다.
MMoE
[RecSys] 추천과 검색 시스템 디자인 - 2단계 구조와 멀티태스크 랭킹
산업용 추천/검색 시스템이 공통적으로 따르는 설계 패턴과, 그 랭킹 단계를 YouTube가 멀티태스크로 풀어낸 방법을 알아봅니다.
Popularity Bias
[RecSys] 추천시스템 3.0 - 딥러닝 이후, 바이어스와 그래프 그리고 인과관계
딥러닝 기반 추천(2.0)의 한계를 넘어, 그래프와 바이어스, 인과관계로 나아가는 추천시스템 3.0에 대해 알아봅니다.
Long Tail
[RecSys] 롱테일 이커머스 추천 Deep Dive
이력이 없는 롱테일 상품을 어떻게 추천할 수 있을까? 네이버 쇼핑의 cold item 추천 사례를 알아봅니다.
Partitioning
[BigData] 데이터 파티셔닝은 어떻게 Spark의 병렬화를 개선하는가
Spark 병렬 처리의 기본 단위인 파티션과, 이를 잘 다루기 위한 repartition, coalesce, partitionBy, 그리고 Skew 대처법에 대해 알아봅니다.
Graph Attention
[RecSys] KGAT - 지식 그래프 어텐션 네트워크로 추천하기
유저-아이템 그래프와 지식 그래프를 하나로 합쳐, 고차 연결성(high-order connectivity)을 어텐션으로 학습하는 KGAT에 대해 알아봅니다.
Preference Propagation
[RecSys] RippleNet - 지식 그래프 위로 퍼져나가는 사용자 선호
수면에 떨어진 물방울처럼, 유저의 클릭 기록에서 시작된 선호가 지식 그래프 위로 퍼져나가는 RippleNet에 대해 알아봅니다.
LangChain
[LLM] LangChain 스터디 노트 - LLM 애플리케이션의 구성 요소
LLM을 외부 데이터, 도구와 엮어 하나의 애플리케이션으로 만들어주는 프레임워크, LangChain의 핵심 구성 요소에 대해 알아봅니다.
RAG
[LLM] LangChain 스터디 노트 - LLM 애플리케이션의 구성 요소
LLM을 외부 데이터, 도구와 엮어 하나의 애플리케이션으로 만들어주는 프레임워크, LangChain의 핵심 구성 요소에 대해 알아봅니다.
LLM Agent
[LLM] LangChain 스터디 노트 - LLM 애플리케이션의 구성 요소
LLM을 외부 데이터, 도구와 엮어 하나의 애플리케이션으로 만들어주는 프레임워크, LangChain의 핵심 구성 요소에 대해 알아봅니다.
Prompt Engineering
[LLM] LangChain 스터디 노트 - LLM 애플리케이션의 구성 요소
LLM을 외부 데이터, 도구와 엮어 하나의 애플리케이션으로 만들어주는 프레임워크, LangChain의 핵심 구성 요소에 대해 알아봅니다.
PEFT
[LLM] PEFT 기법 - LoRA와 qLoRA
Open Source LLM의 민주화를 연 파인튜닝 기법인 LoRA와 QLoRA 기법에 대해서 알아봅니다.
LLM Finetuning
[LLM] PEFT 기법 - LoRA와 qLoRA
Open Source LLM의 민주화를 연 파인튜닝 기법인 LoRA와 QLoRA 기법에 대해서 알아봅니다.
quantization
[LLM] PEFT 기법 - LoRA와 qLoRA
Open Source LLM의 민주화를 연 파인튜닝 기법인 LoRA와 QLoRA 기법에 대해서 알아봅니다.
Decision Tree
[General ML Train set] batch 3. 기초 머신러닝 - 룰 기반 학습부터 Decision Tree, 선형 회귀까지
룰 기반 학습, Decision Tree와 엔트로피, 그리고 선형 회귀
Entropy
[General ML Train set] batch 3. 기초 머신러닝 - 룰 기반 학습부터 Decision Tree, 선형 회귀까지
룰 기반 학습, Decision Tree와 엔트로피, 그리고 선형 회귀
Information Gain
[General ML Train set] batch 3. 기초 머신러닝 - 룰 기반 학습부터 Decision Tree, 선형 회귀까지
룰 기반 학습, Decision Tree와 엔트로피, 그리고 선형 회귀
Linear Regression
[General ML Train set] batch 3. 기초 머신러닝 - 룰 기반 학습부터 Decision Tree, 선형 회귀까지
룰 기반 학습, Decision Tree와 엔트로피, 그리고 선형 회귀
Bayes Classifier
[General ML Train set] batch 4. 나이브 베이즈 분류기
Optimal Classifier에서 출발해 조건부 독립, 그리고 나이브 베이즈 분류기까지
Laplace Smoothing
[General ML Train set] batch 4. 나이브 베이즈 분류기
Optimal Classifier에서 출발해 조건부 독립, 그리고 나이브 베이즈 분류기까지
LLM-as-a-Judge
[AICC] LLM-as-a-Judge - LLM으로 LLM을 평가할 수 있을까?
사람 대신 LLM이 채점관이 되는 LLM-as-a-Judge, 그 가능성과 한계를 상담 QA 자동화 관점에서 알아봅니다.
LLM Evaluation
[AICC] LLM-as-a-Judge - LLM으로 LLM을 평가할 수 있을까?
사람 대신 LLM이 채점관이 되는 LLM-as-a-Judge, 그 가능성과 한계를 상담 QA 자동화 관점에서 알아봅니다.
상담 QA
[AICC] LLM-as-a-Judge - LLM으로 LLM을 평가할 수 있을까?
사람 대신 LLM이 채점관이 되는 LLM-as-a-Judge, 그 가능성과 한계를 상담 QA 자동화 관점에서 알아봅니다.
Logistic Regression
[General ML Train set] batch 5. 로지스틱 회귀
결정 경계와 로지스틱 함수, Gradient Method, 그리고 나이브 베이즈와의 관계
Gradient Descent
[General ML Train set] batch 5. 로지스틱 회귀
결정 경계와 로지스틱 함수, Gradient Method, 그리고 나이브 베이즈와의 관계
Generative vs Discriminative
[General ML Train set] batch 5. 로지스틱 회귀
결정 경계와 로지스틱 함수, Gradient Method, 그리고 나이브 베이즈와의 관계
Overfitting
[General ML Train set] batch 6. 학습, 검증과 정규화
오버피팅, Bias-Variance Trade-off, 교차 검증과 정규화
Bias-Variance Trade-off
[General ML Train set] batch 6. 학습, 검증과 정규화
오버피팅, Bias-Variance Trade-off, 교차 검증과 정규화
Cross Validation
[General ML Train set] batch 6. 학습, 검증과 정규화
오버피팅, Bias-Variance Trade-off, 교차 검증과 정규화
Regularization
[General ML Train set] batch 6. 학습, 검증과 정규화
오버피팅, Bias-Variance Trade-off, 교차 검증과 정규화
Tool Use
[AICC] τ-bench - 도구, 에이전트, 사용자가 얽힌 상담 시나리오 벤치마크
고객과 대화하며 규정대로 도구를 호출해야 하는 상담 에이전트를, 어떻게 “믿을 만하게” 평가할 수 있을지 알아봅니다.
pass^k
[AICC] τ-bench - 도구, 에이전트, 사용자가 얽힌 상담 시나리오 벤치마크
고객과 대화하며 규정대로 도구를 호출해야 하는 상담 에이전트를, 어떻게 “믿을 만하게” 평가할 수 있을지 알아봅니다.
Bayes Ball
[General ML Train set] batch 7. 베이지안 네트워크 1 - 확률 개념과 Bayes Ball
확률의 기본 정리부터 베이지안 네트워크의 해석, 그리고 Bayes Ball 알고리즘까지
D-separation
[General ML Train set] batch 7. 베이지안 네트워크 1 - 확률 개념과 Bayes Ball
확률의 기본 정리부터 베이지안 네트워크의 해석, 그리고 Bayes Ball 알고리즘까지
Variable Elimination
[General ML Train set] batch 8. 베이지안 네트워크 2 - Factorization과 추론
Factorization, 추론 질문, Variable Elimination, 그리고 Clique Graph와 Belief Propagation
Belief Propagation
[General ML Train set] batch 8. 베이지안 네트워크 2 - Factorization과 추론
Factorization, 추론 질문, Variable Elimination, 그리고 Clique Graph와 Belief Propagation
Clique Graph
[General ML Train set] batch 8. 베이지안 네트워크 2 - Factorization과 추론
Factorization, 추론 질문, Variable Elimination, 그리고 Clique Graph와 Belief Propagation
Clustering
[General ML Train set] batch 9. K-means 클러스터링과 Gaussian Mixture Model
비지도 학습의 첫걸음, K-means에서 Gaussian Mixture Model까지
Multivariate Gaussian
[General ML Train set] batch 9. K-means 클러스터링과 Gaussian Mixture Model
비지도 학습의 첫걸음, K-means에서 Gaussian Mixture Model까지
EM Algorithm
[General ML Train set] batch 10. EM 알고리즘 - GMM과 K-means, 그리고 EM의 유도
GMM을 EM으로 학습하고, EM이 왜 동작하는지 유도해 보기
Spoken Dialogue
[AICC] 음성 에이전트는 어떻게 평가할까? - Full-Duplex와 턴테이킹 벤치마크
말을 알아듣는 것만으로는 부족한 음성 에이전트, 무엇을 어떻게 평가해야 하는지 세 편의 벤치마크 논문으로 알아봅니다.
Turn-taking
[AICC] 음성 에이전트는 어떻게 평가할까? - Full-Duplex와 턴테이킹 벤치마크
말을 알아듣는 것만으로는 부족한 음성 에이전트, 무엇을 어떻게 평가해야 하는지 세 편의 벤치마크 논문으로 알아봅니다.
Viterbi
[General ML Train set] batch 11. 히든 마코프 모델(HMM)
시간 축 위의 잠재 변수 모델: Forward-Backward, Viterbi, 그리고 Baum-Welch
Forward-Backward
[General ML Train set] batch 11. 히든 마코프 모델(HMM)
시간 축 위의 잠재 변수 모델: Forward-Backward, Viterbi, 그리고 Baum-Welch
Baum-Welch
[General ML Train set] batch 11. 히든 마코프 모델(HMM)
시간 축 위의 잠재 변수 모델: Forward-Backward, Viterbi, 그리고 Baum-Welch
User Simulator
[AICC] τ²-bench - 사용자도 도구를 쓰는 Dual-Control 환경
고객이 직접 휴대폰을 껐다 켜야 하는 상담, 에이전트는 얼마나 잘 “시킬” 수 있을까요? τ-bench의 후속작 τ²-bench를 알아봅니다.
Sampling
[General ML Train set] batch 12. Sampling Based Inference 1 - Forward, Rejection, Importance Sampling과 Markov Chain
샘플을 뽑아서 확률을 추론하기: Forward, Rejection, Importance Sampling과 Markov Chain
Importance Sampling
[General ML Train set] batch 12. Sampling Based Inference 1 - Forward, Rejection, Importance Sampling과 Markov Chain
샘플을 뽑아서 확률을 추론하기: Forward, Rejection, Importance Sampling과 Markov Chain
Markov Chain
[General ML Train set] batch 12. Sampling Based Inference 1 - Forward, Rejection, Importance Sampling과 Markov Chain
샘플을 뽑아서 확률을 추론하기: Forward, Rejection, Importance Sampling과 Markov Chain
Metropolis-Hastings
[General ML Train set] batch 13. Sampling Based Inference 2 - Metropolis-Hastings, Gibbs Sampling과 LDA
Metropolis-Hastings 알고리즘, Gibbs Sampling, 그리고 LDA의 Collapsed Gibbs Sampler
Gibbs Sampling
[General ML Train set] batch 13. Sampling Based Inference 2 - Metropolis-Hastings, Gibbs Sampling과 LDA
Metropolis-Hastings 알고리즘, Gibbs Sampling, 그리고 LDA의 Collapsed Gibbs Sampler
ELBO
[General ML Train set] batch 14. Variational Inference 1 - Variational Transform과 이론
복잡한 함수와 분포를 단순한 것으로 바꾸는 기술, Variational Inference
Mean Field
[General ML Train set] batch 14. Variational Inference 1 - Variational Transform과 이론
복잡한 함수와 분포를 단순한 것으로 바꾸는 기술, Variational Inference
Mean-Field
[General ML Train set] batch 15. Variational Inference 2 - 예제와 LDA
간단한 가우시안 모델로 따라가 보는 Mean-Field VI, 그리고 LDA의 Variational Inference
CAVI
[General ML Train set] batch 15. Variational Inference 2 - 예제와 LDA
간단한 가우시안 모델로 따라가 보는 Mean-Field VI, 그리고 LDA의 Variational Inference
Full-Duplex
[AICC] τ-Voice - Full-Duplex 음성 에이전트를 실제 상담 도메인에서 평가하기
말은 자연스럽게 하는데, 반품 처리도 제대로 할 수 있을까? τ²-bench를 음성으로 확장한 τ-Voice에 대해 알아봅니다.
tau-bench
[AICC] τ-Voice - Full-Duplex 음성 에이전트를 실제 상담 도메인에서 평가하기
말은 자연스럽게 하는데, 반품 처리도 제대로 할 수 있을까? τ²-bench를 음성으로 확장한 τ-Voice에 대해 알아봅니다.
MoE
[LLM] MoE 학습 시 Expert 쏠림 현상은 어떻게 해결할까? - Load Balancing 기법 정리
일부 Expert에게만 토큰이 몰리는 MoE의 고질병, Load Imbalance를 해결하는 기법들에 대해 알아봅니다.
Load Balancing
[LLM] MoE 학습 시 Expert 쏠림 현상은 어떻게 해결할까? - Load Balancing 기법 정리
일부 Expert에게만 토큰이 몰리는 MoE의 고질병, Load Imbalance를 해결하는 기법들에 대해 알아봅니다.
LLM Training
[LLM] MoE 학습 시 Expert 쏠림 현상은 어떻게 해결할까? - Load Balancing 기법 정리
일부 Expert에게만 토큰이 몰리는 MoE의 고질병, Load Imbalance를 해결하는 기법들에 대해 알아봅니다.