dew's CSE Studying

본 글은 제가 졸업 프로젝트로 수행한 AdaModal-Fed: Overcoming Missing Modalities with Clustering and Cross-Attention in Federated Learning 연구 과정을 누구나 따라 할 수 있도록 튜토리얼 형태로 재구성한 실습형 가이드입니다.실제 구현 코드, 실험 구성, 전처리 방식, 클러스터링–교차주의(fusion)–지식증류(KD) 흐름까지 단계별로 설명합니다.이 글은 다음 평가 기준을 충족하도록 구성되었습니다:제출(10%) — 전체 파이프라인 정리 및 산출물 포함기술 내용(20%) — 모델 구조, 알고리즘, 실험 세부 항목 설명실행방법/결과(20%) — 설치 · 데이터 · 실행 코드 · 결과 분석 제공프로젝트 연관성(20%) — 실제 Ad..

3.2. 전체 시스템구현a) 전체 개요 본 연구에서 제안하는 시스템은 연합학습(Federated Learning) 기반의 의료 데이터 분석 플랫폼으로, 클라이언트 단에서의 멀티모달 데이터 처리와 중앙 서버의 글로벌 모델 업데이트 과정을 통해 missing modality 문제를 해결한다. b) 주요 구성 요소클라이언트(Client)클러스터링 모듈(Clustering Module)Knowledge Distillation 모듈Cross-Attention 기반 표현 학습 모듈연합학습 서버(Federated Server)c) 데이터 및 학습 흐름이미지-텍스트 모달리티가 동시에 존재하는 의료 데이터 - ROCO v2, MIMIC-CXR-jpg 사용(x-ray 사진-의사의 진단 pair)각 클라이언트는 로컬 데..

https://openaccess.thecvf.com/content/CVPR2024/papers/Xu_Prompt-Free_Diffusion_Taking_Text_out_of_Text-to-Image_Diffusion_Models_CVPR_2024_paper.pdf https://github.com/SHI-Labs/Prompt-Free-Diffusion GitHub - SHI-Labs/Prompt-Free-Diffusion: Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models, arxiv 2023Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Mode..

https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org정말정말 유명한 논문! 마침 인공지능 수업 시간에 Transformer&Attention 파트를 자세하게 다루게 되어 겸사겸사 읽는다!0..

연구실 인턴으로 만난 친구들과 함께하게 되어 지도교수님의 관심 분야인 #FL #AI #multi-modal 정도를 키워드로 잡고 관련 논문 분석을 했다

aka 졸업을 해보자...

https://openreview.net/forum?id=SI2hI0frk6 Transfusion: Predict the Next Token and Diffuse Images with One...We introduce Transfusion, a recipe for training a multi-modal model over discrete and continuous data. Transfusion combines the language modeling loss function (next token prediction) with...openreview.net학부생이 교수님과 석박사생들 앞에서 진행하는 논문 세미나.. 처음이라 두렵고 떨리는 마음이 한가득이지만,, 멋있게 해내고 싶은 건강한 도파민을 느끼며 ..

[강의영상]https://www.youtube.com/watch?v=vT1JzLTH4G4  [강의자료]https://cs231n.stanford.edu/slides/ Index of /slides cs231n.stanford.edu  공부 완료! CV의 역사에 대해 배웠어요~

이 논문은 CreamFL에 관한 논문이다! 진행중인 연구에 관해 진행한 topic관련 세미나에서 질문으로 들어왔던 부분이라 읽어본다 :)Abstract기존 multimodal FL의 문제점single modality 수준에서 모델을 합치는 방법에 의존한다서버와 클라이언트가 각 모달리티에서 동일한 모델 아키텍처를 갖는 것 제한model complexity, data capacity 측면에서 글로벌 모델을 제한다양한 task를 처리하는 것 어려움this paper"Cream FL" : Contrastive Representation Ensemble and Aggregation for Multimodal FL이질적인 모델 아키텍처&데이터 모달리티를 가진 클라이언트들이 public dataset에서만 지식을 공..

AbstractThe Internet of Things(IoT)정보통신기술 기반으로 모든 사물을 연결해 사람과 사물, 사물과 사물간에 정보를 교류하고 상호 소통하는 지능형 인프라 및 서비스 기술 FL로 기존 한계 극복Traditioinally - centralized data collection/processiong → IoT의 규모가 커지고, data privacy 문제가 중요해지면서 어렵Federated Learning(FL) - 데이터를 공유하지 않고도 IoT 디바이스에서 AI 모델을 학습할 수 있도록 지원하는 분산형 협력 AI 접근 방식 Introduction기존 AI 방식의 한계데이터 학습/모델링을 위해 기존 AI에서는 AI functions는 클라우드 서버/데이터 센터에 위치하였다 => IoT..