Skip to content
Merged
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"cells": [
{
{
"cell_type": "markdown",
"metadata": {},
"source": [
Expand Down Expand Up @@ -630,7 +630,7 @@
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.4"
"version": "3.7.5"
}
},
"nbformat": 4,
Expand Down
Original file line number Diff line number Diff line change
@@ -0,0 +1,230 @@
{
"cells": [
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"tags": [
"parameters"
]
},
"outputs": [],
"source": [
"epochs = 50"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# পর্ব 7 - ফেডারেটড্যাটাসেটের সাথে ফেডারেট লার্নিং\n",
"\n",
"এখানে আমরা ফেডারেটেড ডেটাসেট ব্যবহারের জন্য একটি নতুন সরঞ্জাম প্রবর্তন করি। আমরা একটি \"ফেডারেটড্যাটাসেট` ক্লাস তৈরি করেছি যা পাইটর্চ ডেটাসেট ক্লাসের মতো ব্যবহার করার উদ্দেশ্যে এবং এটি একটি ফেডারেশনযুক্ত ডেটা লোডার - ফেডারেটডাটাডোলোডারকে দেওয়া হয়েছে যা এটি ফেডারেশন ফ্যাশনে পুনরুত্থিত হবে।\n",
"\n",
"\n",
"লেখক:\n",
"- অ্যান্ড্রু ট্রস্ক - টুইটার: [@ আইয়ামট্রস্ক](https://twitter.com/iamtrask)\n",
"- থিও রাইফেল - গিটহাব: [@ ল্যারিফেল](https://github.com/LaRiffle)\n",
"\n",
"অনুবাদক:\n",
"- সায়ন্তন দাস - িটহাব: [@ucalyptus](https://github.com/ucalyptus)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"আমরা স্যান্ডবক্সটি ব্যবহার করি যা আমরা শেষ পাঠটি আবিষ্কার করেছি"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"import torch as th\n",
"import syft as sy\n",
"sy.create_sandbox(globals(), verbose=False)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"আমরা স্যান্ডবক্সটি ব্যবহার করি যা আমরা শেষ পাঠটি আবিষ্কার করেছি..."
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"boston_data = grid.search(\"#boston\", \"#data\")\n",
"boston_target = grid.search(\"#boston\", \"#target\")"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"আমরা একটি মডেল এবং একটি অপ্টিমাইজার লোড করি"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"n_features = boston_data['alice'][0].shape[1]\n",
"n_targets = 1\n",
"\n",
"model = th.nn.Linear(n_features, n_targets)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"এখানে আমরা একটি `ফেডারেটড্যাটাসেটে প্রাপ্ত ডেটা কাস্ট করেছি` কর্মীদের দেখুন যা ডেটা অংশ রয়েছে।"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"# Cast the result in BaseDatasets\n",
"datasets = []\n",
"for worker in boston_data.keys():\n",
" dataset = sy.BaseDataset(boston_data[worker][0], boston_target[worker][0])\n",
" datasets.append(dataset)\n",
"\n",
"# Build the FederatedDataset object\n",
"dataset = sy.FederatedDataset(datasets)\n",
"print(dataset.workers)\n",
"optimizers = {}\n",
"for worker in dataset.workers:\n",
" optimizers[worker] = th.optim.Adam(params=model.parameters(),lr=1e-2)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"আমরা এটিকে একটি `ফেডারেটেড ডেটা লোডার এ রেখেছি এবং বিকল্পগুলি নির্দিষ্ট করি"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"train_loader = sy.FederatedDataLoader(dataset, batch_size=32, shuffle=False, drop_last=False)"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"এবং অবশেষে আমরা যুগের উপর পুনরাবৃত্তি। খাঁটি এবং স্থানীয় পাইটর্চ প্রশিক্ষণের সাথে এটির তুলনা তুলনাযোগ্য দেখতে পাবেন!"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"for epoch in range(1, epochs + 1):\n",
" loss_accum = 0\n",
" for batch_idx, (data, target) in enumerate(train_loader):\n",
" model.send(data.location)\n",
" \n",
" optimizer = optimizers[data.location.id]\n",
" optimizer.zero_grad()\n",
" pred = model(data)\n",
" loss = ((pred.view(-1) - target)**2).mean()\n",
" loss.backward()\n",
" optimizer.step()\n",
" \n",
" model.get()\n",
" loss = loss.get()\n",
" \n",
" loss_accum += float(loss)\n",
" \n",
" if batch_idx % 8 == 0:\n",
" print('Train Epoch: {} [{}/{} ({:.0f}%)]\\tBatch loss: {:.6f}'.format(\n",
" epoch, batch_idx, len(train_loader),\n",
" 100. * batch_idx / len(train_loader), loss.item())) \n",
" \n",
" print('Total loss', loss_accum)\n"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# অভিনন্দন !!! - সম্প্রদায় যোগদানের সময়!\n",
"\n",
"এই নোটবুক টিউটোরিয়ালটি সম্পন্ন করার জন্য অভিনন্দন! আপনি যদি এটি উপভোগ করেন এবং গোপনীয়তা সংরক্ষণ, এআই এবং এআই সরবরাহ চেইনের (ডেটা) বিকেন্দ্রীভূত মালিকানার দিকে আন্দোলনে যোগ দিতে চান, আপনি নিম্নলিখিত উপায়ে এটি করতে পারেন!\n",
"\n",
"### গিটহাবে স্টার পাইসাইফ্ট\n",
"\n",
"আমাদের সম্প্রদায়কে সাহায্য করার সবচেয়ে সহজ উপায় হ'ল রেপোসকে অভিনীত করা! এটি আমরা যে শীতল সরঞ্জামগুলি তৈরি করছি তার সচেতনতা বাড়াতে সহায়তা করে।\n",
"\n",
"- [স্টার পাইসাইফ্ট](https://github.com/OpenMined/PySyft)\n",
"\n",
"### আমাদের স্ল্যাচে যোগ দিন!\n",
"\n",
"সর্বশেষতম অগ্রগতিতে আপ টু ডেট রাখার সর্বোত্তম উপায় হ'ল আমাদের সম্প্রদায়ে যোগদান করা! আপনি [http://slack.openmined.org](http://slack.openmined.org) এ ফর্মটি পূরণ করে এটি করতে পারেন\n",
"\n",
"### একটি কোড প্রকল্পে যোগদান করুন!\n",
"\n",
"আমাদের সম্প্রদায়ে অবদান রাখার সর্বোত্তম উপায় হ'ল কোড অবদানকারী হয়ে উঠুন! যে কোনও সময় আপনি পাইসাইফ্ট গিটহাব ইস্যু পৃষ্ঠাতে যেতে পারেন এবং \"প্রকল্পগুলি\" এর জন্য ফিল্টার করতে পারেন। এটি আপনাকে শীর্ষ স্তরের সমস্ত টিকিট দেখিয়ে দেবে যে আপনি কোন প্রকল্পগুলিতে যোগদান করতে পারেন তার একটি ওভারভিউ দেয়! আপনি যদি কোনও প্রকল্পে যোগ দিতে না চান তবে আপনি কিছুটা কোডিং করতে চান তবে আপনি আরও ভাল \"ওয়ান অফ\" মিনি-প্রকল্পগুলি \"ভাল প্রথম ইস্যু\" হিসাবে চিহ্নিত গিটহাব ইস্যুগুলি অনুসন্ধান করেও দেখতে পারেন।\n",
"\n",
"- [পাইসাইফ্ট প্রজেক্টস](https://github.com/OpenMined/PySyft/issues?q=is%3Aopen+is%3Aissue+label%3AProject)\n",
"- [ভাল প্রথম ইস্যুর টিকিট](https://github.com/OpenMined/PySyft/issues?q=is%3Aopen+is%3Aissue+label%3A%22good+first+issue%22)\n",
"\n",
"### দান করুন\n",
"\n",
"আপনার যদি আমাদের কোডবেসে অবদান রাখার সময় না থাকে তবে তবুও সমর্থন leণ দিতে চান, আপনি আমাদের ওপেন কালেক্টিভেরও ব্যাকের হয়ে উঠতে পারেন। সমস্ত অনুদান আমাদের ওয়েব হোস্টিং এবং অন্যান্য সম্প্রদায় ব্যয় যেমন হ্যাকাথনস এবং মেটআপগুলির দিকে যায়!\n",
"\n",
"[ওপেনমাইন্ডের মুক্ত সমাহারক পৃষ্ঠা](https://opencollective.com/openmined)"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
}
],
"metadata": {
"celltoolbar": "Tags",
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.7.5"
}
},
"nbformat": 4,
"nbformat_minor": 2
}