dew's CSE Studying
Federated Learning for Internet of Things: A Comprehensive Survey 본문
Federated Learning for Internet of Things: A Comprehensive Survey
dew₍ᐢ.ˬ.⑅ᐢ₎ 2025. 2. 4. 10:45Abstract
The Internet of Things(IoT)
정보통신기술 기반으로 모든 사물을 연결해 사람과 사물, 사물과 사물간에 정보를 교류하고 상호 소통하는 지능형 인프라 및 서비스 기술
FL로 기존 한계 극복
Traditioinally - centralized data collection/processiong → IoT의 규모가 커지고, data privacy 문제가 중요해지면서 어렵
Federated Learning(FL) - 데이터를 공유하지 않고도 IoT 디바이스에서 AI 모델을 학습할 수 있도록 지원하는 분산형 협력 AI 접근 방식
Introduction
기존 AI 방식의 한계
데이터 학습/모델링을 위해 기존 AI에서는 AI functions는 클라우드 서버/데이터 센터에 위치하였다 => IoT data explosion 문제
대규모 IoT 데이터를 원격 서버로 전송하는 것은 네트워크 자원의 부담과 지연(latency) 문제를 초래한다. 이를 제3자 서버에서 처리할 경우 데이터 유출이나 프라이버시 침해 문제가 발생한다.
Thus, efficient 하면서도 privacy-enhanced된 intelligent IoT networks&application이 필요!
Solution: FL
IoT devices가 aggregator(server)와 커뮤니케이션
- server가 먼저 글로벌 모델을 파라미터로 초기화시킴
- 각각의 디바이스들이 글로벌모델을 서버로부터 다운로드
- model update via SGD(stochastic gradient descent) (로컬 데이터셋 사용)
- 계산된 로컬 업데이트를 서버에게 업데이트 시켜줌
- aggregator은 모든 local model update를 합쳐서 새로운 글로벌모델 만듦
- 각 디바이스는 업데이트된 글로벌모델 다운로드
- global training이 끝날 때까지 다시 local update 진행
FL이 IoT에 끼치는 benefit
- Data Privacy Enhancement: FL에서는 raw data를 전송할 필요가 없으니 중간 유출이 사라진다→safe IoT
- Low-latency Network Communication: IoT data를 서버에게 전송할 필요가 없으므로 data offloading으로 발생하는 소통지연을 줄일 수 있다 +네트워크 자원 절약(data training에서의 spectrum and transmit power같은)
- Enhanced Learning Quality: IoT 네트워크의 다양한 데이터셋과 컴퓨팅 자원을 활용→학습 속도(수렴 속도)를 높이고 정확도 개선, 데이터가 부족하거나 계산 자원이 제한적인 중앙 집중형 AI의 한계를 극복, 분산 학습 방식으로 지능형 IoT 네트워크의 확장성을 지원
IoT applications
- smart health services: 여러 의료기관들이 환자 데이터 공유 없이 ML modeling 가능(AI model을 locally공유하고 훈련된 파라미터를 업로드하는 방식)
-다른 병원들끼리 collaborative healthcare이 가능해짐→Privacy를 지키면서 진단은 더 빠르고 정확하게! - transportation systems: 자율주행, 도로안전예측, 차량 감지 등
-collaborative data learning을 위해 차량과 road unit이 협력
A. Comparison and Our Contributions
기존 연구들과의 비교
key contributions
1)FL을 IoT nw에 적용하는 것에 관한 state-of-art survey 제공
2)FL을 IoT 서비스들에 적용하며 생긴 opportunities: IoT data sharing, data offloading, caching, attack detection, localization, mobile crowdsensing, IoT privacy/security
3)IoT application에서의 FL의 가능성: smart healthcare, smart transportation, UAVs, smart city, smart industry+FL을 도입할 때 사용되는 기술적 측면(contribution과 limitation)
4)research challenges&possible directions
B. Structure of the Survey
FL and IoT: State of the Art
A. Federated Learning
FL의 key concept를 소개해보고 IoT network에서 사용되는 몇몇 중요한 FL category들을 소개해보겠다!
1)Key FL Concept
IoT network에서의 FL 개념은 크게 두 가지로 나뉜다
- data clients(e.g.,IoT devices)
- aggregation server(base station(BS) or access point(AP)에 위치)
BS가 전체 data를 collect하기 못하기 때문에 IoT 유저들과 BS가 shared global model을 학습하도록 하는(당연 raw data는 유저 디바이스에 남긴채!) FL이 왕왕 중요해졌다.
general FL process
- System Initialization and Device Selection:
-aggregator이 IoT task를 선택하고 learning parameter 설정 해준다
-FL 과정에 참여하기 위해 IoT 디바이스의 subset도 선택해준다
-이러한 선택 요소들은 channel condition/local update의 중요성이 될 수 있다 - Distributed Local Training and Updates:
-training config가 끝나면 서버는 새로운 모델을 초기화해준다
-그 후 분산학습을 시작하기 위해 IoT client들에게 전송해준다
-각각의 client들은 각자의 데이터셋을 통해 로컬모델을 학습하고, loss function이 최소화되는 방향으로 업데이트를 계산한다(loss function은 FL 알고리즘마다 다르다)
-각 client는 서버에 aggregation을 위해 계산된 업데이트를 전송해준다 - Model Aggregation and Download:
-local client로부터 모든 model update를 collect하면, 서버가 합쳐서 아래 optimization problem 해결→new version의 gloabal model을 만든다
$$ (P1):\underset{w_k\in \kappa }{min}\frac{1}{K}\sum_{k=1}^{K}F(w_k) $$
subject to $(C1):w_1=w_2=...=w_\kappa =w_G$
2)FL Classifications
FL의 두 가지 큰 차원
-Data Partitioning
training data가 sample과 feature에 어떻게 분포되어있는지에 따라 또다시 세 가지로 나뉜다
- Horizontal FL(HFL): same feature space, different sample space
-client들은 local update를 계산하기 위해 same AI model을 각각 locally train시킴
-계산된 local update는 보안을 위해 암호화나 differential privacy techniques를 사용하여 maked됨
-서버가 합쳐서 new global model 계산
-서버가 다시 돌려줌
-loss function이 목표 accuracy에 도달할 때까지 반복
-ex)Wake-word detection(e.g.,스마트홈에서의 목소리 detection) - Vertical FL(VFL): different feature space, same sample space
-클라이언트들의 overlap되는 데이터 샘플을 모으기 위해 엔티티 정렬(entity alignment) 방식을 사용
-이렇게 모인 샘플들은 공통의 AI 모델을 학습하기 위해 암호화 기술을 사용해 합쳐진다
-e.g., 스마트 시티의 엔티티 간 공유모델(bank랑 hospital이 기록 공유해서 소비 기록 토대로 대출 결정할 수 있음) - Federated Trasfer Learning(FTL): different feature space, different sample space
-VFL 아키텍쳐의 샘플 스페이스를 확장하는 것이 목표+더 많은 client
-특징 변환: 서로 다른 특징 공간을 공통 표현(shared representation)으로 변환→변환된 데이터를 기반으로 공동 학습을 수행
-암호화된 모델 업데이트: privacy를 보호하기 위해 암호화 기술(ex랜덤 마스크)을 사용하여 모델 업데이트 단계에서 기울기(gradient)를 암호화
-글로벌 업데이트: 클라이언트들로부터 암호화된 업데이트를 받아 loss function를 최소화하여 글로벌 업데이트 수행
-e.g.,federated healthcare(여러나라의 의료 기록 통합)
-Networking structure
네트워킹 관점에 따라 두 가지 카테고리로 나뉜다
- Centralized FL(CFL): server가 aggregate&distribution을 담당하는 중요 요소이다
- Decentralized FL(DFL): central server가 없다
-모든 client가 p2p로 연결되어있다
-각 client가 own dataset으로 local training 수행→각 client는 neighbor한테 받은 model update를 갖고 model aggregation을 시행
-서버와의 통신이 여의치 않을 때
-p2p based communication인 블록체인과 결합 가능
B. Internet of Things
IoT의 목표: 광범위한 사물과 객체를 네트워크에 연결하여 고객 서비스와 스마트 애플리케이션을 지원하는 것
중요한 두 가지 측면
1)IoT Data Analysis
- IoT 네트워크에서 AI 기술은 데이터 분석 기능을 만들기 위해 IoT 기기로부터 수집된 데이터로 통합된다
- AI 기술의 장점: multiple processing layer로 데이터를 다양한 수준에서 표현 가능, 별도의 복잡한 특징 엔지니어링 없이도 자연 데이터에서 유용한 정보를 추출 가능, 다양한 데이터 처리 가능
- e.g., RNN: 다양한 길이의 데이터를 시간적 순서로 가공 가능
2)Intelligent Service Provision
- RNN: 도로 네트워크 그래프 사용→교통흐름 예측에 사용
-로드맵의 위상 배치→spatio-temporal graph - ML classifiers: intelligent indoor localization을 가능하게함(데이터는 룸세팅에서 센서를 통해 얻어짐)
- DL: human activity recognition
- RNN+LSTM: detection accuracy는 높이고 computational complexity는 낮추도록!
C. Visions of the Use of FL in IoT
전통적인 IoT system의 한계
- 집중화된 데이터 처리: IoT 기기의 기하급수적 증가와 대규모 네트워크의 데이터 분포로 인해 비효율적인 방법이 됨
FL의 IoT 적용 장점
- 분산형 지능형 IoT 서비스
-여러 IoT 기기의 계산 능력을 활용해 데이터 훈련 수행
-중앙 집중식 데이터 처리 없이 지역적으로 데이터 학습 가능 - 사용자와 네트워크 운영자 혜택
-낮은 통신 지연과 프라이버시 보호 제공
-네트워크 대역폭 절약 및 서버 자원 효율성 증대
