Bengali Tutorial Part Two

examples/tutorials/translations/bengali/Part 02 - Intro to Federated Learning.ipynb

@@ -0,0 +1,298 @@
+{
+ "cells": [
+
+
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# পর্ব 2: সংঘবদ্ধ শিক্ষার পরিচয়\n",
+    "\n",
+    "শেষ বিভাগে, আমরা পয়েন্টারটেন্সারগুলি সম্পর্কে শিখেছি, যা ডিপ লার্নিং সংরক্ষণের গোপনীয়তার জন্য আমাদের প্রয়োজনীয় অন্তর্নিহিত অবকাঠামো তৈরি করে। এই বিভাগে, আমরা কীভাবে গভীর শিক্ষার অ্যালগরিদম, ফেডারেটেড লার্নিং সংরক্ষণের জন্য আমাদের প্রথম গোপনীয়তা প্রয়োগ করতে এই বেসিক সরঞ্জামগুলি ব্যবহার করব তা দেখতে যাচ্ছি।\n",
+    "\n",
+    "লেখক:\n",
+    "- Andrew Trask - Twitter: [@iamtrask](https://twitter.com/iamtrask)\n",
+    "\n",
+    "অনুবাদক:\n",
+    "- Sayantan Das - Github: [@ucalyptus](https://github.com/ucalyptus)\n",
+    "\n",
+    "### ফেডারেটড লার্নিং কী?\n",
+    "\n",
+    "এটি ডিপ লার্নিং মডেলগুলি প্রশিক্ষণের একটি সহজ, শক্তিশালী উপায়। আপনি যদি প্রশিক্ষণের ডেটা সম্পর্কে চিন্তা করেন, এটি সর্বদা কোনও ধরণের সংগ্রহ প্রক্রিয়ার ফলাফল। লোকেরা (ডিভাইসের মাধ্যমে) বাস্তব বিশ্বে ইভেন্টগুলি রেকর্ড করে ডেটা উত্পন্ন করে। সাধারণত, এই ডেটাটি একক, কেন্দ্রীয় অবস্থানে সংযুক্ত করা হয় যাতে আপনি একটি মেশিন লার্নিং মডেলকে প্রশিক্ষণ দিতে পারেন। ফেডারেটেড লার্নিং এটিকে নিজের মাথায় ঘুরিয়ে দেয়!\n",
+    "\n",
+    "মডেলটিতে প্রশিক্ষণ ডেটা আনার পরিবর্তে (একটি কেন্দ্রীয় সার্ভার) আপনি মডেলটিকে প্রশিক্ষণের ডেটাতে নিয়ে আসুন (এটি যেখানেই থাকুক না কেন)।\n",
+    "\n",
+    "ধারণাটি হ'ল এটি যার দ্বারা ডেটা তৈরি করছে সে কেবলমাত্র স্থায়ী অনুলিপিটির মালিক হতে পারে এবং যার ফলে এটিতে কখন অ্যাক্সেস রয়েছে তা নিয়ন্ত্রণ বজায় রাখে। খুব সুন্দর, তাই না?"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# বিভাগ 2.1 - একটি খেলনা সংযুক্ত শিক্ষার উদাহরণ\n",
+    "\n",
+    "আসুন একটি খেলনা মডেলকে কেন্দ্রিক উপায়ে প্রশিক্ষণ দিয়ে শুরু করি। মডেলগুলি পাওয়ার সাথে সাথে এটি একটি সাধারণ। আমাদের প্রথম প্রয়োজন:\n",
+    "\n",
+    "- একটি খেলনা ডেটাসেট\n",
+    "- একজন মডেল\n",
+    "- ডেটা ফিট করার জন্য একটি মডেল প্রশিক্ষণের জন্য কিছু প্রাথমিক প্রশিক্ষণের যুক্তি।\n",
+    "\n",
+    "দ্রষ্টব্য: যদি এই এপিআইটি আপনার কাছে অপরিচিত হয় - তবে [ফাস্ট.ai](http://fast.ai) এ যান এবং এই টিউটোরিয়ালটি চালিয়ে যাওয়ার আগে তাদের কোর্সটি গ্রহণ করুন।"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import torch\n",
+    "from torch import nn\n",
+    "from torch import optim"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "\n",
+    "# A Toy Dataset\n",
+    "data = torch.tensor([[0,0],[0,1],[1,0],[1,1.]], requires_grad=True)\n",
+    "target = torch.tensor([[0],[0],[1],[1.]], requires_grad=True)\n",
+    "\n",
+    "# A Toy Model\n",
+    "model = nn.Linear(2,1)\n",
+    "\n",
+    "def train():\n",
+    "    # Training Logic\n",
+    "    opt = optim.SGD(params=model.parameters(),lr=0.1)\n",
+    "    for iter in range(20):\n",
+    "\n",
+    "        # 1) erase previous gradients (if they exist)\n",
+    "        opt.zero_grad()\n",
+    "\n",
+    "        # 2) make a prediction\n",
+    "        pred = model(data)\n",
+    "\n",
+    "        # 3) calculate how much we missed\n",
+    "        loss = ((pred - target)**2).sum()\n",
+    "\n",
+    "        # 4) figure out which weights caused us to miss\n",
+    "        loss.backward()\n",
+    "\n",
+    "        # 5) change those weights\n",
+    "        opt.step()\n",
+    "\n",
+    "        # 6) print our progress\n",
+    "        print(loss.data)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "train()"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "এবং সেখানে আপনি এটা আছে! আমরা প্রচলিত পদ্ধতিতে একটি বেসিক মডেলকে প্রশিক্ষণ দিয়েছি। আমাদের সমস্ত ডেটা আমাদের স্থানীয় মেশিনে একত্রিত হয় এবং আমরা এটি আমাদের মডেলটিতে আপডেট করতে ব্যবহার করতে পারি। ফেডারেটেড লার্নিং অবশ্য এইভাবে কাজ করে না। সুতরাং, ফেডারেট লার্নিংয়ের উপায়ে এটি করার জন্য এই উদাহরণটি সংশোধন করি!\n",
+    "\n",
+    "সুতরাং, আমাদের কী দরকার:\n",
+    "\n",
+    "- কয়েকজন শ্রমিক তৈরি করুন\n",
+    "- প্রতিটি কর্মীর উপর প্রশিক্ষণের ডেটা নির্দেশক পান\n",
+    "- সংঘবদ্ধ শিক্ষার জন্য প্রশিক্ষণের যুক্তি আপডেট করা\n",
+    "\n",
+    "     নতুন প্রশিক্ষণের পদক্ষেপ:\n",
+    "     - কর্মী সংশোধন করতে মডেল প্রেরণ করুন\n",
+    "     - সেখানে অবস্থিত ডেটা উপর প্রশিক্ষণ\n",
+    "     - মডেলটি ফিরে পাবেন এবং পরবর্তী কর্মীদের সাথে পুনরাবৃত্তি করুন"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import syft as sy\n",
+    "hook = sy.TorchHook(torch)\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# create a couple workers\n",
+    "\n",
+    "bob = sy.VirtualWorker(hook, id=\"bob\")\n",
+    "alice = sy.VirtualWorker(hook, id=\"alice\")\n"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# A Toy Dataset\n",
+    "data = torch.tensor([[0,0],[0,1],[1,0],[1,1.]], requires_grad=True)\n",
+    "target = torch.tensor([[0],[0],[1],[1.]], requires_grad=True)\n",
+    "\n",
+    "# get pointers to training data on each worker by\n",
+    "# sending some training data to bob and alice\n",
+    "data_bob = data[0:2]\n",
+    "target_bob = target[0:2]\n",
+    "\n",
+    "data_alice = data[2:]\n",
+    "target_alice = target[2:]\n",
+    "\n",
+    "# Iniitalize A Toy Model\n",
+    "model = nn.Linear(2,1)\n",
+    "\n",
+    "data_bob = data_bob.send(bob)\n",
+    "data_alice = data_alice.send(alice)\n",
+    "target_bob = target_bob.send(bob)\n",
+    "target_alice = target_alice.send(alice)\n",
+    "\n",
+    "# organize pointers into a list\n",
+    "datasets = [(data_bob,target_bob),(data_alice,target_alice)]\n",
+    "\n",
+    "opt = optim.SGD(params=model.parameters(),lr=0.1)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def train():\n",
+    "    # Training Logic\n",
+    "    opt = optim.SGD(params=model.parameters(),lr=0.1)\n",
+    "    for iter in range(10):\n",
+    "        \n",
+    "        # NEW) iterate through each worker's dataset\n",
+    "        for data,target in datasets:\n",
+    "            \n",
+    "            # NEW) send model to correct worker\n",
+    "            model.send(data.location)\n",
+    "\n",
+    "            # 1) erase previous gradients (if they exist)\n",
+    "            opt.zero_grad()\n",
+    "\n",
+    "            # 2) make a prediction\n",
+    "            pred = model(data)\n",
+    "\n",
+    "            # 3) calculate how much we missed\n",
+    "            loss = ((pred - target)**2).sum()\n",
+    "\n",
+    "            # 4) figure out which weights caused us to miss\n",
+    "            loss.backward()\n",
+    "\n",
+    "            # 5) change those weights\n",
+    "            opt.step()\n",
+    "            \n",
+    "            # NEW) get model (with gradients)\n",
+    "            model.get()\n",
+    "\n",
+    "            # 6) print our progress\n",
+    "            print(loss.get()) # NEW) slight edit... need to call .get() on loss\\\n",
+    "    \n",
+    "# federated averaging"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "train()"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## সাবাশ!\n",
+    "\n",
+    "ও ভয়েল! ফেডারেটেড লার্নিং ব্যবহার করে আমরা এখন একটি খুব সাধারণ ডিপ লার্নিং মডেল প্রশিক্ষণ দিচ্ছি! আমরা প্রতিটি কর্মীকে মডেল প্রেরণ করি, একটি নতুন গ্রেডিয়েন্ট উত্পন্ন করি এবং তারপরে গ্রেডিয়েন্টটি আমাদের স্থানীয় সার্ভারে ফিরিয়ে আনি যেখানে আমরা আমাদের বিশ্বব্যাপী মডেলটি আপডেট করি। এই প্রক্রিয়াতে কখনই আমরা অন্তর্নিহিত প্রশিক্ষণের ডেটা দেখতে বা দেখার জন্য অনুরোধ করি না! আমরা বব এবং অ্যালিসের গোপনীয়তা সংরক্ষণ করি !!!\n",
+    "\n",
+    "## এই উদাহরণের স্বল্পতা\n",
+    "\n",
+    "সুতরাং, যদিও এই উদাহরণটি ফেডারেটড লার্নিংয়ের একটি দুর্দান্ত ভূমিকা, এটির এখনও কিছু বড় ত্রুটি রয়েছে। সর্বাধিক উল্লেখযোগ্যভাবে, যখন আমরা `Model.get () call কল করি এবং বব বা অ্যালিসের কাছ থেকে আপডেট হওয়া মডেলটি পাই, তখন আমরা বব এবং অ্যালিসের প্রশিক্ষণের ডেটা সম্পর্কে তাদের গ্রেডিয়েন্টগুলি দেখে আসলে অনেক কিছু জানতে পারি। কিছু ক্ষেত্রে, আমরা তাদের প্রশিক্ষণের ডেটা পুরোপুরি পুনরুদ্ধার করতে পারি!\n",
+    "\n",
+    "তো, কী করার আছে? ঠিক আছে, লোকেদের প্রথম কৌশলটি নিয়োগ করা হয় ** কেন্দ্রীয় সার্ভারে আপলোড করার আগে একাধিক ব্যক্তির কাছে গ্রেডিয়েন্ট গড়ানো **। এই কৌশলটির জন্য পয়েন্টারটেন্সর অবজেক্টের আরও কিছু পরিশীলিত ব্যবহারের প্রয়োজন হবে। সুতরাং, পরবর্তী বিভাগে, আমরা আরও উন্নত পয়েন্টার কার্যকারিতা সম্পর্কে জানতে কিছুটা সময় নেব এবং তারপরে আমরা এই ফেডারেট লার্নিং উদাহরণটি আপগ্রেড করব"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# অভিনন্দন !!! - সম্প্রদায় যোগদানের সময়!\n",
+    "\n",
+    "এই নোটবুক টিউটোরিয়ালটি সম্পন্ন করার জন্য অভিনন্দন! আপনি যদি এটি উপভোগ করেন এবং গোপনীয়তা সংরক্ষণ, এআই এবং এআই সরবরাহ চেইনের (ডেটা) বিকেন্দ্রীভূত মালিকানার দিকে আন্দোলনে যোগ দিতে চান, আপনি নিম্নলিখিত উপায়ে এটি করতে পারেন!\n",
+    "\n",
+    "### গিটহাবে স্টার পাইসাইফ্ট\n",
+    "\n",
+    "আমাদের সম্প্রদায়কে সাহায্য করার সবচেয়ে সহজ উপায় হ'ল রেপোসকে অভিনীত করা! এটি আমরা যে শীতল সরঞ্জামগুলি তৈরি করছি তার সচেতনতা বাড়াতে সহায়তা করে।\n",
+    "\n",
+    "- [স্টার পাইসাইফ্ট](https://github.com/OpenMined/PySyft)\n",
+    "\n",
+    "### আমাদের স্ল্যাচে যোগ দিন!\n",
+    "\n",
+    "সর্বশেষতম অগ্রগতিতে আপ টু ডেট রাখার সর্বোত্তম উপায় হ'ল আমাদের সম্প্রদায়ে যোগদান করা! আপনি [http://slack.openmined.org](http://slack.openmined.org) এ ফর্মটি পূরণ করে এটি করতে পারেন\n",
+    "\n",
+    "### একটি কোড প্রকল্পে যোগদান করুন!\n",
+    "\n",
+    "আমাদের সম্প্রদায়ে অবদান রাখার সর্বোত্তম উপায় হ'ল কোড অবদানকারী হয়ে উঠুন! যে কোনও সময় আপনি পাইসাইফ্ট গিটহাব ইস্যু পৃষ্ঠাতে যেতে পারেন এবং \"প্রকল্পগুলি\" এর জন্য ফিল্টার করতে পারেন। এটি আপনাকে শীর্ষ স্তরের সমস্ত টিকিট দেখিয়ে দেবে যে আপনি কোন প্রকল্পগুলিতে যোগদান করতে পারেন তার একটি ওভারভিউ দেয়! আপনি যদি কোনও প্রকল্পে যোগ দিতে না চান তবে আপনি কিছুটা কোডিং করতে চান, আপনি আরও ভাল \"ওয়ান অফ\" মিনি-প্রকল্পগুলি গিটহাব ইস্যুগুলি \"ভাল প্রথম ইস্যু\" চিহ্নিত করে অনুসন্ধান করতে পারেন।\n",
+    "\n",
+    "- [PySyft Projects](https://github.com/OpenMined/PySyft/issues?q=is%3Aopen+is%3Aissue+label%3AProject)\n",
+    "- [Good First Issue Tickets](https://github.com/OpenMined/PySyft/issues?q=is%3Aopen+is%3Aissue+label%3A%22good+first+issue%22)\n",
+    "### দান করুন\n",
+    "\n",
+    "আপনার যদি আমাদের কোডবেসে অবদান রাখার সময় না থাকে তবে তবুও সমর্থন leণ দিতে চান, আপনি আমাদের ওপেন কালেক্টিভেরও ব্যাকের হয়ে উঠতে পারেন। সমস্ত অনুদান আমাদের ওয়েব হোস্টিং এবং অন্যান্য সম্প্রদায় ব্যয় যেমন হ্যাকাথনস এবং মেটআপগুলির দিকে যায়!\n",
+    "\n",
+    "[ওপেনমাইন্ডের মুক্ত সমাহারক পৃষ্ঠা](https://opencollective.com/openmined)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.7.4"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}