GiNZAに本好きを食わせる

GiNZAに本好きの下克上のプロローグを食わせてエンティティ認識を試してみた。 本須 麗乃が本と須でぶった切れた。 なんか、国家安康 君臣豊楽っぽくてなんだかなぁ。 from ginza import * import codecs import spacy nlp = spacy.load("ja_ginza") # GiNZAモデルの読み込み ents = [] with codecs.open('N4830BU-1.txt', 'r', 'utf-8') as text: for line in text: doc = None try: doc = nlp(line.strip()) except: pass if doc: for ent in doc.ents: ents.append(ent) for ent in ents: print(ent.text, ent.label_) 須 麗乃 Person 22歳 Age 三度 Frequency 顔 Animal_Part ニヨニヨ Doctrine_Method_Other 一冊 N_Product 目 Animal_Part 教育学 Academic 民俗学 Academic 数学 Academic 物理 Academic 化学 Academic 生物学 Academic 芸術 Academic 体育 Academic 人類 Mammal 一冊 N_Product 日本 Country 日光 Domestic_Region 肌 Animal_Part 司書資格 Position_Vocation 大学図書館 Facility_Other 司書 Position_Vocation 一日 Period_Day 司書 Position_Vocation 人間 Mammal

4月 1, 2021 · 1 分 · 106 文字 · Me

OpenAI Example on python

OpenAIのAPIが使えるようになったので、噂のGPT-3を試してみた。 import configparser import openai config = configparser.ConfigParser() config.read('openai.config') openai.api_key = config["OPENAI"]["API_KEY"] response = openai.Completion.create( engine="davinci", prompt="人類は多くの問題を抱えていた。大量の破壊兵器・増えつづけた人口・国際的なテロ・国家間の極端な貧富の差・・・これら問題を解決する為にある計画が実現に向かう。 地球上すべての国家をある1つのコンピュータによって統括しようという大胆な計画。そしてその中央処理装置はMESIAと呼ばれていた。", temperature=0.7, max_tokens=60, top_p=1.0, frequency_penalty=0.0, presence_penalty=0.0 ) print(response) { "choices": [ { "finish_reason": "length", "index": 0, "logprobs": null, "text": " \u5927\u7fa9\u540d\u5206\u3068\u306f\u4f55\u304b\uff1f\u9053\u5fb3\u7684\u306b\u6b63\u5f53\u306a\u7406\u7531\u3068\u306f\uff1f\u7b54\u3048\u306f\u305f\u30601\u3064\u3002\u300c\u65b0\u3057\u3044\u751f\u547d\u4f53\u3092" } ], "created": 1616638002, "id": "cmpl-2h9gQIewmSimGqJ6AZgDAhqBLCSEh", "model": "davinci:2020-05-03", "object": "text_completion" } response_text = response["choices"][0]["text"] response_text ' 大義名分とは何か?道徳的に正当な理由とは?答えはただ1つ。「新しい生命体を'

3月 25, 2021 · 1 分 · 55 文字 · Me

Azure Text AnalyticsをPythonから呼び出す

import configparser from azure.core.credentials import AzureKeyCredential from azure.ai.textanalytics import TextAnalyticsClient import seaborn as sns import pandas as pd sns.set_style('white') config = configparser.ConfigParser() config.read('azure.config') endpoint = config['AZURE']['azure_endpoint'] key = config['AZURE']['azure_ai_key'] client = TextAnalyticsClient(endpoint=endpoint, credential=AzureKeyCredential(key)) documents = [ "iPhoneのマップやばいよ" ] result = client.analyze_sentiment(documents) docs = [doc for doc in result if not doc.is_error] doc = docs[0] confidience_scores = {key:value for key, value in doc.confidence_scores.items()} sentiment = pd.Series(confidience_scores) sentiment positive 0.07 neutral 0.90 negative 0.03 dtype: float64 sentiment.plot.bar() <AxesSubplot:>

3月 22, 2021 · 1 分 · 76 文字 · Me

DLLAB: 強化学習 Day 2021

Introduction DLLABで強化学習の勉強会が開催されたので受講しました。 Program 開催日: 2021/01/22 時間 セッションテーマ 登壇者 13:00 - 13:10 オープニング&イントロダクション 樋口拓人 (日本マイクロソフト株式会社 Azure AI プロダクトマーケティングマネージャー) 13:10 - 13:40 深層強化学習と実装例 牧野浩二(山梨大学工学部付属モノづくり教育実践センター准教授),西崎博光(山梨大学大学院総合研究部准教授) 13:45 - 14:15 深層強化学習を用いた複合機の搬送制御 菅井駿(コニカミノルタ株式会社) 14:20 - 14:50 これから強化学習を学びたい人へ 吉崎亮介(株式会社キカガク) 14:55 - 15:25 Azure ML 強化学習を用いた最新アルゴリズムの活用手法 大串和正、小川雄太郎(株式会社電通国際情報サービス) 15:30 - 17:00 Minecraft による強化学習の実践 - MineRL ステップ・バイ・ステップ ハンズオン 松崎剛(日本マイクロソフト株式会社) 17:00 - 17:10 クロージング 樋口拓人 (日本マイクロソフト株式会社 Azure AI プロダクトマーケティングマネージャー) Content セッション数はイントロダクションを除いて、5セッション。特にMinecraftによる強化学習の実践というハンズオンのボリュームが大きい 満足感の大きい勉強会になります。 強化学習はアカデミックでの経験としては深層強化学習以前の強化学習が中心になります。 深層強化学習は体形的に学びたいと思ってきましたがなかなか機会がない状態でした。 初学者向けにはキカガクさんの、これから強化学習を学びたい人へのセッションが良いと思います。また、 実際の事例としては、複合機の搬送制御の事例はなかなか興味深い内容でした。 今回のハンズオンもそうですが、強化学習における実装例としてはゲームを実行したものが多く、逆に実世界でどういった事例があるのか ということに関してはなかなか触れられることが難しいので、恐らくは先進的な事例になればなるほどその先進的な部分を明かしたいとは 思わないでしょうから。 今回の勉強会では強化学習の事例としては、Googleのデータセンターの冷却制御、大林組のビルの制振 (PoC)、Googleの半導体チップの設計などが出てきました。 ...

1月 24, 2021 · 1 分 · 90 文字 · Me

SphinxでKDPを発行するときの文字化け対策

この記事は、先の記事のつつきとなります。 とりあえず、速やかな対策として、Sphinxのオリジナルなepubテンプレートにクイックハックをしてみました。epubテンプレートはbasicテンプレートの派生なので、basicテンプレートからlayout.htmlをコピーして、xlayout.htmlとして、この中で、header生成を書き換え、書き換えたxalyout.htmlを継承するようにしています。 この私家版改修型、テーマはgithubに置いておきました。 https://github.com/naoyaikeda/kindle-epub-template になります。

1月 2, 2021 · 1 分 · 5 文字 · Me