めもちょー

メモ帳代わりに使っています。

2021-01-01から1年間の記事一覧

DjangoでBatchを実行できるようにする

DjangoとMySQLを接続する django_boostを使ってテンプレートでPythonの組み込み関数を使えるようにする インストール 準備 使い方 staticファイルが見つからないエラーが出る バッチ作成・登録 DjangoとMySQLを接続する まずはMySQLで専用のDBをつくる. CREA…

ジャルジャルデータベース作ってみた

Djangoの練習として奴DBというDBのvisualizerをつくりました。 「奴」とはジャルジャルのYouTubeチャンネルでジャルジャルが演じてるキャラクターのことです。 日々、演じてるキャラクターが変わるのでDB化したいなと考えていました。主な技術としては、Djan…

Deep Metric Learningによるアニメ顔画像認証器

Deep Metric Learning とは ニューラルネットワークの学習とは ニューラルネットワークの学習は次の通りです。まずデータをニューラルネットワークに入力し、続いてネットワークの出力を損失関数に入力し損失を出力します。損失は理想の出力からどれくらい離…

データ掲載サイトからのスクレイピングの個人的プラクティス

JavaScriptによるレンダリング避け スタッツサイトは, クライアントのレンダリングによって表が表示されているパターンが多いです. そのような場合は, seleniumなどでバックグラウンドでブラウザで操作しHTMLを取得するようにします. def get_soup_by_url(ur…

Photoshopを自動化してBarChartRaceの挿絵画像を作るプログラムを作った

ランキング1位の曲を取得する このような(タイトル, アーティスト名, Spotifyのページ, 画像のリンク)の情報を持ったTSVを用意する title artist table_img_url detail_url img_url Starboy The Weeknd, Daft Punk https://i.scdn.co/image/ab67616d000048…

SQLのパターン集

SQL

SQLで参考になったパターンを集めてみました。 重複レコードの削除 ランキングの求め方 col_1...col_nがすべてNULLのレコードを返す col_1...col_nのいずれかがNULLのレコードを返す 連番で欠けがあるかを確認する 連番のうち一番最初の欠損値 NULL同士も考…

NBAの選手・試合情報をAPIから取得する

特定の選手のスタッツを取得する方法 特定の試合を検索する方法 試合に関する情報を取得する方法 特定の選手のスタッツを取得する方法 選手のスタッツ情報とはbasketball-referenceで言うとコチラに当たります www.basketball-reference.comコチラのチュート…

トランザクションと同時実行制御

トランザクションとACID特性 ACID特性とはトランザクションが満たすべき特徴。 原始性(Atomicity) 一貫性(Consistency) 独立性(Isolation) 耐久性(Durability) 原始性(Atomicity) 一連のものとして定義された処理がすべて完了するか、一つも実行さ…

path.Path vs os.path

はじめに pathlibについて os.path vs pathlib 機能がシンプルなos.path よりオブジェクト指向に書けるpathlib.Path その他 参考 はじめに 業務でパスの結合にpathlib.Pathで扱っていたら、os.path.join()を使いましょうと指摘されました。 pathlib.Pathがos…

NBA選手の各スタッツのシーズン順位を算出してくれるクエリをスプレッドシートで生成する

成果物 クエリの出力結果をHTMLにするサービスにて表出力しスクショしたものです。 2020-21シーズンMVP候補の比較ポジションCでMVP受賞者の比較歴代MVPの比較 作成の経緯 選手の偉大さをスタッツから読み解きたい場合、技術の全体的な向上や戦術の流行の変化…

Chrome拡張でpopupとbackgroundの通信を行う

popup.htmlのid='tmpBtn'がクリックされた際にbackground.jsにオブジェクトを渡す処理です。 popup.js側の処理 document.getElementById("tmpBtn").onclick = function(e){ chrome.tabs.query({ active: true, lastFocusedWindow: true }, (tabs) => { let c…

SlackのIncoming-Webhookを使う

import slackweb import json slack = slackweb.Slack(url='https://hooks.slack.com/services/*****/*****/*****') # テキストのみを送信する場合 slack.notify(text='sample_text') # payload形式で送信する場合 attachments = [{'color':'danger', 'title…

はてなブログのコードデザインを変更する

CSS

はてなブログのコードのハイライトを変更する方法です。 このブログでは以下のように変更しました。 「デザイン」>「サイドバー」>「デザインCSS」の欄に下記を追加します。 .entry-content pre { margin: 0 0 10px; padding: 20px; border-radius: 2px; b…

GoogleスプレッドシートでMySQLのクエリを生成する

今回は、「MVP候補の選手の今シーズンの影響力を選手間や過去の選手と比較する」という課題に取り組みました。 そこで、Googleスプレッドシート(Excelでもよい)でMySQLのクエリを生成したらかなり便利だということに気が付きました。 作ったもの クエリの…

Ubuntu20.04でChromeのBookmarkフォルダの動画一覧をダウンロードする

Ubuntuでは下記のファイルパスにJSONとして保存されているようです。 ~/.config/google-chrome/Default/BookmarksブックマークバーのNBA/2020-21シーズン/* のブックマークにアクセスしたいときは下記のように書きます。 # file path file_path = '../../.co…

iframe内のhtmlファイルのDOMにアクセスする

JavaScript (jQuery)でDOMを操作する際、別のHTMLファイルを埋め込む<iframe>タグの編集の仕方 gist.github.com</iframe>

NBA statsから現状の動向を分析してみる

NBA statsのテーブルから分析ネタをSQLで書いたのでメモ 最も得点をした選手 01/12 00:00 JSTでのスタッツ mysql> SELECT P.player_name, floor(SPP.PTS * SPP.G), season FROM season_per_player AS SPP, player AS P WHERE P.player_id = SPP.player_id AN…