🏆Won 3rd Position at Distributed Hack Berlin by @exalsius and @flwrlabs on 14th - 15th November at Einstein Digital Center, Berlin.
I have provided all the details about the model built below in the thread 🧵
We worked on the Track 1 of the Hackathon which was to train the model on the NIH Lung Dataset which is been distributed around three hospital in the scenario and the model needs to be trained particularly to that hospital and then have the aggregated model by using the federated learning approach using flowerlabs.
The major constraint factor was of that each job of training will run only for 20 mins.
I built the EfficientNet-b0 with the pretrained network on the ImageNet 1K, as the focus point was to get the high accuracy in the less duration of the training time, the approaches used for building the model was Learning rate scheduler of 15% linear warmup + cosine decay (min_lr=0.05).
The starting with a small lr so training doesn’t explode early then slowly reduce lr so the model trains gently at the end as per the cosine decay. This approach stabilize the early training and prevents the swings in the lr that could destabilize the tuning.
I did the approach of preserving the pretrained filers structures while adapting the single channel input. Also, made sure of the fast learning of the new head with the careful bias bound.
The major thing which was to handle the catastrophic forgetting so I assigned the large lr for the new classifier and small lr for the pretrained backbone.
Also, Configured the Autocast and the GradScalar which eventually helped to halve the memory and double the throughput. Mixed precision training (FP16) with GradScaler was used.
To also maintain the stability and prevent from the exploiding gradients, the approach applied was to have the stronger clipping during the warmup and then hte lower clipping later on.
I did consider that most of the medical records are in imbalance in the nature so I applied the Focal Loss (gamma=2.0, alpha=1.0) with class weighting.
7,51 N
12
Nội dung trên trang này được cung cấp bởi các bên thứ ba. Trừ khi có quy định khác, OKX không phải là tác giả của bài viết được trích dẫn và không tuyên bố bất kỳ bản quyền nào trong các tài liệu. Nội dung được cung cấp chỉ nhằm mục đích thông tin và không thể hiện quan điểm của OKX. Nội dung này không nhằm chứng thực dưới bất kỳ hình thức nào và không được coi là lời khuyên đầu tư hoặc lời chào mời mua bán tài sản kỹ thuật số. Việc sử dụng AI nhằm cung cấp nội dung tóm tắt hoặc thông tin khác, nội dung do AI tạo ra có thể không chính xác hoặc không nhất quán. Vui lòng đọc bài viết trong liên kết để biết thêm chi tiết và thông tin. OKX không chịu trách nhiệm về nội dung được lưu trữ trên trang web của bên thứ ba. Việc nắm giữ tài sản kỹ thuật số, bao gồm stablecoin và NFT, có độ rủi ro cao và có thể biến động rất lớn. Bạn phải cân nhắc kỹ lưỡng xem việc giao dịch hoặc nắm giữ tài sản kỹ thuật số có phù hợp hay không dựa trên tình hình tài chính của bạn.