Jupyter Notebook

本稿は基本的には執筆中のC#とJupyter Notebookによるデータ分析クックブックからの抜粋になります。フルバージョンは技術書典で。 .NET Interactive とは .NET Interactiveはデータサイエンティスト向けにJupyter Notebook上に.NETの所謂REPLを提供してくれる仕組みです。 基本的には、以下の構造からなります。 Notebooks: Jupyter, nteract, and Visual Studio Code Code bots Devices like Raspberry Pi Embeddable script engines REPLs 環境の構築 本稿ではWindows 10 (201909)上に構築された、WSL上のUbuntu 18.04に環境を構築することを前提としている。 環境が異なる場合には、異なる設定がいるかもしれないことをあらかじめ記述しておきます。202010で現在、再検証中です。 Anaconda環境の構築 pyenvをインストールする git clone https://github.com/yyuu/pyenv.git ~/.pyenv echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc echo 'eval "$(pyenv init -)"' >> ~/.bashrc source ~/.bashrc Anacondaをインストールする pyenv install -l | grep ana pyenv install anaconda3-yyyy.MM pyenv rehash pyenv global anaconda3-yyyy.MM conda update conda conda init bash source ~/.bashrc .NET 5環境の構築 wget -nv https://packages.microsoft.com/config/ubuntu/18.04/packages-microsoft-prod.deb sudo dpkg -i packages-microsoft-prod.deb sudo add-apt-repository universe sudo apt update sudo apt install apt-transport-https -y sudo apt install dotnet-sdk-5.0 -y .NET InteractiveとJupyter Kernelのインストール dotnet tool install -g --add-source "https://pkgs.dev.azure.com/dnceng/public/_packaging/dotnet-tools/nuget/v3/index.json" Microsoft.dotnet-interactive dotnet interactive jupyter install Jupyterでの分析の実施 パッケージのロード まず、nugetから必要なパッケージを導入します。 ...

Introduction DLLABでIgnite 2020を受けての最新アップデートとして勉強会が開催されたので受講しました。 Program 時間 セッションテーマ 登壇者 14:00 - 14:15 イントロダクション/ Azure AI の全体像 樋口 拓人 Azure AI Product Marketing Manager 14:15 - 14:45 Azure Machine Learning 実験サービスとセキュリティ 女部田 啓太 AI プラットフォームには簡単にモデル開発ができるユーザビリティが求められます。一方で、学習データやモデルはセンシティブな情報を含むためセキュリティも考慮する必要があります。本セッションでは、Azure Machine Learning から遂に一般提供開始 GA になった「自動機械学習 AutoML」 とドラッグ&ドロップでパイプラインを構築する「デザイナー Designer」 を基礎からご説明いたします。また、大幅に進化したセキュリティ機能についてもご説明いたします。 Cloud Solution Architect 14:45 - 15:15 Azure Databricks アップデート 松崎 剛 現在、広く利用されている Azure Databricks における最近と今後のアップデートのうち、大きなアップデートである Runtime 7.x、Photon (コードネーム)、Redash、Workspace 2.0 (ニックネーム) を中心に、それらの機能や技術背景などを解説します。 Partner Cloud Solution Architect 15:15 - 15:30 休憩 15:30 - 16:00 Azure Cognitive Services/ Cognitive Search アップデート 石塚 航希 Azure Cognitive ServicesはAPI形式で利用可能な学習済みのAIパーツです。本セッションでは、Ignite2020で新たに発表された、物理空間を認識し様々なシナリオで応用可能なSpatial Analysisと、異常検知と要因分析を自動化するMetrics Advisorを中心にCognitive ServicesとCognitive Searchにおけるアップデート内容をご紹介します。 Solution Specialist 16:00 - 16:30 Azure Synapse Analytics アップデート 中里 浩之 Azure でデータ分析を行う際のハブになるサービスの一つが Azure Synapse Analytics です。昨年の Ignite 2019 での初披露から 1 年、着実にパワーアップを重ねており、データ分析はもちろんのこと、機械学習ワークロードでも活用頂けるようになってきています。 Cloud Solution Architect 本セッションでは Synapse Analytics の概要や最新動向について Ignite 2020 アップデート情報を交えてご紹介いたします。 16:30 - 16:40 クロージング と 今後の展開のご紹介 樋口 拓人 Content セッションとしては、ほぼ5セッションという大ボリュームになります。基本的な話題としては、 ...

前提条件 項目 内容 使用ディストリビューション Ubuntu 18.04 LTS Python 環境 Anaconda AnacondaでJupyter環境を構築する Python環境の構築はデータサイエンティストを目指す人のpython環境構築 2016を参考にして、一部のステップをアップデートしています。 環境構築方法 pyenvのインストール git clone https://github.com/yyuu/pyenv.git ~/.pyenv echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc echo 'eval "$(pyenv init -)"' >> ~/.bashrc source ~/.bashrc anacondaのインストール pyenv install -l | grep ana # 最新版を確認する pyenv install anaconda3-yyyy.MM # 先のステップで確認した最新版にする pyenv rehash pyenv global anaconda3-yyyy.MM conda update conda conda init bash # PowerShellの場合、powershellに変える source ~/.bashrc Windows Terminal Previewのインストール MicrosoftストアからWindows Terminalをインストールする。 ...

環境の選択 環境構築については、Windowsに限定しても、いくつかの選択肢があります。 Pythonについては、CPythonを標準の配布物から、Anaconda、Microsoft Storeなど 複数の入手経路があります、この文章ではいくつかの理由から、Anacondaを使用しています。 現在は、AnacondaをAnacondaのサイト上から入手していますが、 Anacondaはscoopのextraバケットにもあります。 scoopのインストール スタートからPowerShellを起動する PowerShellの設定変更 Set-ExecutionPolicy RemoteSigned -scope CurrentUser PowerShellからのScoopのインストール iex (new-object net.webclient).downloadstring('https://get.scoop.sh') gitのインストール scoop install git Anacondaのインストール Anaconda Individual Editionから最新版をインストールする。 Windows Terminalのインストール MicrosoftストアからWindows Terminalをインストールする。 Visual Studio Codeのインストール 公式サイトから最新版をダウンロードしてインストールする。

AnacondaでJupyter環境を構築する Python環境の構築はデータサイエンティストを目指す人のpython環境構築 2016を参考にして、一部のステップをアップデートしています。 アップデートの内容としては、参考記事では旧版のAnacondaがベースとなっているため、サーチパスを変更した結果、pyenvとAnacondaが一部競合を起こしていますが、これは現在のAnacondaでは解決している問題なので、変更を反映しています。また、それに伴い、bashの設定の変更をするためのステップを追加しています。 pyenvをインストールする git clone https://github.com/yyuu/pyenv.git ~/.pyenv echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc echo 'eval "$(pyenv init -)"' >> ~/.bashrc source ~/.bashrc Anacondaをインストールする pyenv install -l | grep ana # 最新版を確認する pyenv install anaconda3-yyyy.MM # 先のステップで確認した最新版にする pyenv rehash pyenv global anaconda3-yyyy.MM conda update conda conda init bash source ~/.bashrc dotnet coreをインストールする wget -nv https://packages.microsoft.com/config/ubuntu/18.04/packages-microsoft-prod.deb sudo dpkg -i packages-microsoft-prod.deb sudo add-apt-repository universe sudo apt update sudo apt install apt-transport-https -y sudo apt install dotnet-sdk-3.1 -y # 現状の最新版の3.1をインストールする IQ#をインストールする dotnet tool install -g Microsoft.Quantum.IQSharp echo 'export PATH="~/.dotnet/tools:$PATH"' >> ~/.bashrc # dotnet core へのパスを追加 source ~/.bashrc dotnet iqsharp install --user IQ#のインストールを確認する jupyter kernelspec list Available kernels: .net-csharp /home/nikeda/.local/share/jupyter/kernels/.net-csharp .net-fsharp /home/nikeda/.local/share/jupyter/kernels/.net-fsharp .net-powershell /home/nikeda/.local/share/jupyter/kernels/.net-powershell iqsharp /home/nikeda/.local/share/jupyter/kernels/iqsharp python3 /home/nikeda/.pyenv/versions/anaconda3-2019.07/share/jupyter/kernels/python3