Personalized Federation Learning with Model-Contrastive Learning for Multi-Modal User Modeling in Human-Centric Metaverse

publication in IEEE Journal on Selected Areas in Communications

Personalized_Federated_Learning_With_Model-Contrastive_Learning_for_Multi-Modal_User_Modeling_in_Human-Centric_Metaverse (1).pdf

1.89MB

Abstract

background

• metaverse: 역할을 여러 개 가진 유저들이 가상의 서비스들과 상호작용하는 다양한 경험을 제공하는 것
• 메타버스에서 사용자의 다중 플랫폼 및 교차 공간 데이터/행동을 효과적으로 수집하고 모델링하는 것이 중요해졌다

suggestion

• Personalized Federated Learning with Model-Contrastive Learning(PFL-MCL) framework
  -human-centric 메타버스 환경에서 커뮤니케이션/상호작용을 증가시킨다
  -by 큰 스케일+이질적+멀티모달의 메타버스 데이터를 사용함으로써
• 전통적인 FL과의 차이
  -기존: multi-center aggregation 구조가 global에서 develop됨
  -hierarchical neural network structure(personalized 모듈과 federated 모듈을 포함하여 데이터 이질성과 모델이질성을 둘다 다룸): local에 설계되어 PFL의 성능 향상&메타버스의 독특한 특성을 향상

주요 기술

• 이중 반복 클러스터링: dynamically update된 여러 개의 aggregation center들과 함께 보다 정확한 초기화로 personalized global aggregation을 쉽게 함
• personalized multi-modal fusion network: 계산 비용을 낮추고 피쳐 차원을 낮추기 위해(hierarchical shift-window attention mechanism&bridge attention mechanisma(new)에 기반하여 cross-modal fusion을 더 효율적이게 하기 위함)
• MCL sheme: model convergence를 빠르게+local federated module과 global model 사이의 communication overload를 적게 하기 위해
• embedding layer: 전송된 global model이 각 client의 local 특성에 잘 적응되도록 하는 역할

성능

• 두 개의 실제 데이터셋을 기반으로 한 실험 결과, 제안된 PFL-MCL 모델이 기존 5개의 기준 모델에 비해 개인화 학습 전략에서 뛰어난 성능을 보여줌
• 특히, 메타버스 기반 스마트 애플리케이션에서 효율적인 통신 및 네트워킹을 실현

 

Introduction

기존 FL의 한계

• 기존 중앙 집중형 학습은 높은 계산 및 통신 요구사항과 개인화 부족의 문제가 있음.
• 연합 학습(FL)은 분산 모델 학습 및 사용자 프라이버시 보호에 성공적이지만, Non-IID data를 처리하는 데 한계가 있음.
• 전통적인 FL은 글로벌 모델 품질을 중시하며 사용자 간 특성과 차이를 잃어버리는 경향이 있음.

 

PFL

• 각 사용자에게 글로벌 모델에 기반한 personalized model을 구성할 수 있게 함
• 결과: personalized 특징을 보존(특히 메타버스에서!)

메타버스 데이터의 고유한 특징과 도전 과제

1. highly heterogeneous&multi-modal
   -issue of potential slow convergence
   -local model에 이런 데이터가 제대로 포함되어야 함
2.  실시간 learning&data 처리가 중요
   -동시에 빠른 convergence도 달성되어야 함

=>MCL(Model-Contrastive Learning): traditional contrastive learning을 모델 수준에서 제안해보겠다

• local model들 사이에 공통점을 쉽게 찾고
• fast convergence가 가능하도록
• PFL이 메타버스 데이터의 unique 특성을 잘 사용할 수 있도록~

연구 방향

• PFL framework를 설계 및 발전시키는 것
  -메타버스 환경에서 multi-modal 유저 모델링과 맞춤형 추천을 강화시키기 위함
  
• PFL with Model-Contrastive Learning(PFL-MCL)
  -human-centric communication&interaction in Metaverse-enabled smart applications
  
• multi-center aggregation structure
  -여러 개의 global model을 학습하고 
  -personalized module&federated module을 포함한 계층적 신경망 네트워크 구조를 설계
  -local에서의 데이터 이질성과 모델이질성 문제를 대룰 수 있도록
• MCL sheme의 추가: local training에서 model convergence를 가속화
• 2단계의 clustering scheme: PFL에서 multi-center global agrregation을 더 효율적으로 진행하기 위해서

Paper Summary

1. 새로운 PFL 프레임워크 설계
   -다중 센터 글로벌 집계 구조: 이중 단계 반복 클러스터링 기법을 활용→인간 중심 메타버스 환경에서 추천 정확도를 향상시키고 통신 오버헤드를 줄이며, 수렴 속도를 가속화
   -계층적 로컬 학습 구조: MCL(모델 대비 학습) 기법과 통합되어 효율성을 극대화
2. 다중 센터 글로벌 집계 메커니즘 개발
   -이중 단계 반복 클러스터링 알고리즘: 각 클라이언트의 가중치 변화를 기반으로 초기화를 정밀하게 수행하고, 개인화된 글로벌 집계를 위해 여러 집계 센터와 관련 클라이언트를 동적으로 업데이트하여 집계 효율성을 향상.
3. Personalized multi-modal fusion network 설계
   -계층적 shift-window attention 메커니즘: 사용자의 multi-modal 데이터의 고차원 입력을 융합하고 feature dimension을 효과적으로 줄이도록 개선
   -bridge attention mechanism: 이질적 데이터의 효율적인 교차 모달 융합을 지원하며, 계산 비용을 대폭 감소
4. MCL(모델 대비 학습) sheme 개발
   -로컬 클라이언트와 글로벌 모델 간 통신 비용을 줄이고 더 빠른 수렴을 지원
   -임베딩 레이어를 추가로 도입: 글로벌 모델이 각 클라이언트의 로컬 데이터에 더 잘 적응하도록 지원

 

Overview

1. Section II: 연합 학습(FL) 및 메타버스 응용에 관련된 최신 연구 요약
2. Section III: 연구 문제 및 PFL 기본 프레임워크 아키텍처 소개
3. Section IV: 제안된 모델의 구현 및 세부 메커니즘 및 알고리즘 설명
4. Section V: 실험 및 평가 결과
5. Section VI: 연구 결론 및 미래 연구 방향 제안

 

Related Works

A.Personalized Federated Learning

PFL은 personalization 전략들과 함께 data privacy challenges를 어떻게 다루는가? (especially when facing highly heterogeneous data in varying edge computing environments)

• Jin et al.: PFL framework+self-knowledge distillation sheme(local model이 global model로 initialized된 후, 이전에 personalized된 모델을 self-distillation 기술을 이용하여 지식 전이)
• Zhou et al.: 2-dimensional FL framework
  -training data가 충분하지 않은 데이터를 다룰 때 personalized human activity recognition을 용이하게 함
  -vertical FL+horizontal FL→이질적인 데이터에서 feature 추출&여라 개인들이 각각 암호화한 로컬모델을 합칠 때 사용
• Tashakori et al.: semi-supervised training scheme에 기반한 multi-sensory 분류를 위한 PFL 모델을 개발
  -cloud 서버의 hyper network의 각 유저들별로 personalized autoencoder을 고안
  -사용자 분포에 따라 레이블된 데이터셋을 활용해 로컬 학습에 전달될 일련의 기본 모델을 생성
•  Li et al.: cluster-based PFL sheme을 사용하여 similar preference를 가진 디바이스끼리 그루핑 후→hierarchical transfer learning을 통해 모델 정확도 향상
  -base station이 여러 개인 환경에서 정확도와 비용 최적화 문제를 해결
• Huang et al.: federated dual network
  -execution 네트워크: 이상적인 모델 업데이트 수행
  -evaluation 네트워크: 로컬 응용 시나리오에 적합한 personalized local model 생성
  -personalized update algorithm+optimal backtracking 대체 정책을 도입해 FL 과정에서의 정확도 저하와 안정성 문제 해결
• Farnia et al.: FL scheme에 optimal transport theory 포함시킴
  -여러 분포의 샘플을 글로벌 모델+학습된 optimal transport map을 결합한 common probability domain으로 전환
• Cao et al.: GAN을 활용하여 Non-IID data를 다루는 PFL sheme 제안
  -클라이언트가 각각 로컬모델 만듦+모델 구조 및 파라미터를 공유X
• Mills et al.: multi-task learning sheme+general iterative FL framework
  -non-federated private batch normalization layer for personalization
  -individual model accuracy & convergence speed 향상
• Yu et al.:online FL framework using a semi-supervised strategy
  -일관성 학습 상황에서 unsupervised gradient 계산 알고리즘 개발
  -concept drift와 수렴 불안정성을 개선

B. Contrastive Learning

• Chen et al.:
• Wu et al.
• Wang and Qi:
• Kermiche:
• Wang et al.:
• Zhu et al.:
• Liu et al.:
• Zhu et al.:
• He et al.:

C.Metaverse Applications

exceptional multi-dimensional & multi-sensory communication medium in end-edge-cloud environments

PFL in human-centric metaverse

A. Application Scenario and Problem Definition

단일 클라이언트가 직면한 문제: 제한된 데이터 접근과 컴퓨팅 자원의 제약, 실시간 데이터 처리, 개인정보 보호, 보안, 이질성 문제

=>이 이질성 문제를 어떻게 해결할 것인가? 각 유저들에게 personalized servicies를 제공하면서 분산된 모델학습의 성능증가+data privacy도 지킨다. 여기에 구체적으로 MCL framework를 포함시켜서 로컬 모델의 convergence speed를 가속화하고 실시간 요구를 받아들이며, 각 클라이언트에 맞춘 계층적 신경망 구조를 통해 개인화 설계를 용이하게 한다!

 

neural network model의 구성요소

W_p(.) personalized module	extract&fuse multi-modal feature vectors from the heterogeneous input data
W_F(.) federated module	contrastive learning strategy에 기반한 training&communication 효율을 높이면서 PFL에서의 cross-model fusion에 참여하는 이질적인 로컬모델의 참여를 쉽게 하기 위해

 

문제점

• 클라이언트가 로컬데이터로 모델을 업데이트시키려고 할 때, personalized local model이 aggregated global model에서 벗어날 수 있다
• 로컬모델이 글로벌모델 aggregation에 나중에 업로드될 경우 얘가 global model convergence를 방해해서 PFL에서의 학습효율을 떨어뜨릴 수 있다

해결

• multi-center global aggregation 메커니즘을 도입하여 유사한 클라이언트를 클러스터로 묶음
• two-stage clustering: 비슷한 W_F(.)를 반복을 사용하여 같은 센터로 보내기 위함
  [K=number of centers, m=number of clients]
  case 1) K=1일 때 기존 연합 학습과 동일하며, 이질적 특징을 잘 반영하지 못함 (=traditional FedAvg)
  case 2) K=m일 때(=모든 클라이언트가 각각 aggregation model을 가짐) =>이 경우 fl이라고 할 수 없고 피해야 하기 때문에 적절한 k값을 찾는 것이 핵심이라고 할 수 있다

MCL scheme

:model convergence 속도를 높임+Local model이 Global model과 너무 멀어지지 않게 함

-로컬모델의 Loss function&로컬모델-글로벌모델 사이 거리가 둘다 고려되어야 한다!

 

B. Overall Framework

local: hierarchical neural network structure

global: multi-center aggregation structure

 

local에서의 training

-personalized module

-federated module

Modeling and Implementation of PFL-MCL

A. Bridge Attention Based Multi-Modal Fusion

B. MCL Enhanced Local Training

C. Two-Stage Clustering Based Multi-center Global Aggregation