2017-09-30

【Python】Pythonで遊んだAPIまとめ - DMM ・ Tinder ・ Twitter ・ Slack -




こんにちは、アダルトサイエンティストのDAIです。会社ではJavaを書かなければならないのにもかかわらず、三大欲求に負けてPythonでエッチなことにしこしこ励んでいる毎日です。


僕のPythonデビューは2017年6月でした。今では立派にDMMのAPIを利用して自分専用のエッチなBotをつくり、徐々にアダルトサイエンティストとしてキャリアを形成してきました。


ここ4カ月ほど、自分が開発してきたコードをブログにアップしてきましたが、先日やたらDMM APIの記事はご好評をいただきました。こんなしょうもない記事が受けるのは、世の中のエンジニアがしょうもないスケベだからなのでしょうか。こんなものをブックマークするスケベエンジニアは全員仕事をやめてアダルトサイエンティストになるべきです。


DMM APIからR18データを取得してみた

こんにちは。スケベなエンジニアのDAIです。ここ最近、DMMにR18のAPIが存在することを聞き、Pythonでエッチなコードを書いてみようかと考えています。小学生の頃にエロ本を探しに行く感覚を思い出しますね。作りたいものは以下の通り。 「新人」とついたタイトルのAVをDMM APIから自動取得 XML・JSON形式でタイトル、画像、アフィリエイト付き動画URLを取得 ...

【Python】DMM Web APIでエッチなデータを取得し、Twitterで自動でえっちな投稿してみた

Pythonでエッチなプログラムを書いてみた こんにちは、 アダルトハッカーのDAIです。 前回、DMM Web APIを利用して、新人もののAVを取得 しました。今度は取得したXML形式のデータを使って、ツイッターに投稿してみました。(ちなみにツイッターの規定を読んだところ....



ということで、まだ見ぬアダルトサイエンティスト養成(?)のために、アダルトサイエンティストである僕が、APIで遊んだ成果物をまとめていきたいと思います。


2017-09-24

【Python】Slack Botの作り方まとめ - Webスクレイピング・定期実行の合わせ技 -

#背景


ちはっす。DAIです。
会社の同僚と自宅でよく作業会をやっています。音楽聞いて、料理食べて、あとはただコツコツとみんなでそれぞれが勉強するだけなのですが、とてもQOLが高いです。

#やりたいこと


チケットを譲ってくれる人を見つけられるサイトがあるそうです。ここの最新情報を毎日自動でSlackで更新するようにします。


おけぴチケット救済サービス(定価以下限定チケット掲示板)

ミュージカルや演劇、劇団四季、宝塚歌劇、クラシック、コンサート、ライブ等の空席救済を目的とした観劇鑑賞生活応援サイトです



そのサイトでは、自分の見たいタイトルの舞台の名前を入れると、そのチケットを渡してくれる人を探すことができるそうなのですが、毎日検索して確認するのが面倒だそうなので、これを毎日プログラムが取得して、まとめたデータをSlackに通知してくれたら便利じゃね?ってはなしになり、作ってみました。

スクレイピングをPythonでするときは、Cloud9・Selenium・Herokuで決まり!誰でもできるスクレイピングマニュアル



こんにちは、DAIです。


さて、Pythonでスクレイピングする際に必要になってくるSelenium。そしてこのスクレイピングプログラムを定期実行したい。これをCloud9上で実行したい人も多いのではないでしょうか。


昨日、久しぶりにCloud9上でSeleniumの環境構築を行ったのですが、どうも毎回調べてはエラーを繰り返して・・・・という感じだったので、一回Cloud9上でSeleniumの環境構築し、ディプロイするまでをまとめておきたいと思います。だれでも5分以内に同じ動作で、Cloud9上でSeleniumが利用できる環境をセットアップできることを目指します。

#対象者


・HTML/CSS/Javascript/jQuery/Git/Python基礎を学習したことがある人(そうでない人は、Pythonでスクレイピングとか、Slack自動更新とかやってみたい人が学ぶべき5つの言語を参照してから、また挑戦してみてください)


#TODO

  1. Cloud9でPython環境のセットアップ
    1. Cloud9アカウントの作成とPython環境のセットアップ
  2. Python2から3へのバージョンアップ
    1. $ sudo mv /usr/bin/python /usr/bin/python2
    2. $ sudo ln -s /usr/bin/python3 /usr/bin/python
    3. $ python --version
  3. Githubに登録し、新しいレポジトリの作成
  4. Bottleのインストールとサンプルプログラムの実行
    1. sudo pip install bottle
    2. すべてのファイルの削除
  5. Herokuアカウントの作成とログイン
  6. requirement.txtの作成と編集
    1. pip freeze | grep bottle > requirements.txt 
    2. echo web: python app.py > Procfile 
    3. echo "python-3.6.2" > runtime.txt
  7. Herokuにディプロイし起動
    1. git init 
    2. git add .
    3. git commit -am 'initial commit'
    4. git remote add origin git@github.com:[username]/[gitname].git
    5. git push origin master
    6. heroku login
    7. heroku create [herokuName]
    8. git push heroku master 
    9. xxx.herokuapp.com/hello/へアクセス
  8. Seleniumのインストール
    1. sudo pip install selenium
    2. requirement.txtにselenium==2.45.0
  9. サンプルコードの作成+コードのプッシュ
    1. seleniumTest.pyを作成
    2. コードのコピペ
    3. git add .
    4. git commit -am 'added'
    5. git push heroku master
  10. HerokuにPhantomJSのセットアップと、パスの設定
    1. heroku buildpacks:add --index 1 https://github.com/stomita/heroku-buildpack-phantomjs
    2. git push heroku master
  11. 稼働テスト:グーグルのタイトルを表示してみる
    1. heroku run python seleniumTest.py
  12. 定期実行プログラムを組む
    1. heroku addons:create scheduler:standard
    2. heroku addons:open scheduler
    3. 実行コマンドと実行間隔を設定


2017-09-23

【Python】DMM Web APIでエッチなデータを取得し、Twitterで自動でえっちな投稿してみた

Pythonでエッチなプログラムを書いてみた



こんにちは、アダルトハッカーのDAIです。前回、DMM Web APIを利用して、新人もののAVを取得しました。今度は取得したXML形式のデータを使って、ツイッターに投稿してみました。(ちなみにツイッターの規定を読んだところ、アダルトコンテンツの禁止条項はないようでした)

DMM APIの使い方まとめ ~登録方法から、データの取得まで~



こんにちは。スケベなエンジニアのDAIです。ここ最近、DMMにR18のAPIが存在することを聞き、Pythonでエッチなコードを書いてみようかと考えています。小学生の頃にエロ本を探しに行く感覚を思い出しますね。作りたいものは以下の通り。

  • 「新人」とついたタイトルのAVをDMM APIから自動取得
  • XML・JSON形式でタイトル、画像、アフィリエイト付き動画URLを取得
  • Tweepyで画像・アフィリエイトコード付きのツイートを投稿(今回は省略)
  • 一連の流れをすべて自動化する(今回は省略)

ということで、DMM APIの登録方法と、データの取得方法について解説していきたいと思います。


2017-09-21

人のキャリアにやたらケチつける人の3つの特徴



同年代の人とキャリアの話をすると、やたら他人にケチつける人が多くて、なんか悲しいですね。そういう人ってある程度共通の特徴がある気がするのでまとめてみました。


2017-09-17

Facebook広告効果を数字で検証してみた




こんにちは、新卒で金がないのに引っ越しで金を使い果たしたDAIです。


今回は、せっかくブログ収益が4万円を突破したので、もっとスケールさせるためにFacebook広告を利用してみようと思います。はじめてFacebook広告を利用したので、その時調べたことの覚書と、実際に集客効果の検証の結果をまとめていきます。バズ型のブログでFacebook広告を運用してみました。

目次

  • Facebook広告の効果(他記事参考)
  • 今回利用するブログと記事(The Academic Times)
    • 特徴
    • 過去の実績
  • Facebook広告
    • 費用
    • 期間
    • ターゲティング
  • 目標数値
    • いいね数
    • シェア数
    • アクセス数
    • 広告収益
  • 最終結果
  • 分析

2017-09-16

若者はもっとSNS中毒になるべきだと思う




フォロワー数やいいね数を気にしている若者は、本当にみっともないのだろうか。


SNS中毒になっている若者を、おっさんがディスる記事をよく見かける。「承認欲求の塊」とかなんだとか。僕は感情的にはとても納得できるし、確かに目の前にそういう人がいたら、気持ち悪いと思う。

しかし、今の時代、みっともないどころか、これからは超大事だなぁと思った出来事があった。


うんこしながらリツイートして5000円稼ぐインフルエンサー


先日、僕の好きな2chの管理人、ひろゆき氏の書評記事を書いて、ポストした。

『無敵の思考 ---誰でも得する人になれるコスパ最強のルール21』ひろゆきの書評を書いてみた

さて、今回読んだのは「無敵の思考」という本です。いままでひろゆき氏が対談などで言ってきたことを、一冊の本にまとめています。非常に読みやすくて、ひろゆき節がさく裂していてとても面白かったです。その中でも、特に面白かった部分を引用しながら、書評を書いていきたいと思います。

それからちょうど一カ月後、本人からそのポストがリツイートされた。





彼のリツイート後、僕の書評記事を紹介したツイートは100RTされた。そしてそれに応じて、Google広告は1000円収益化し、アマゾンで紹介した本は5冊売れた。

一方、きっと彼の本が1200円程度だったので、ひろゆき氏は印税で一冊1000円くらい儲かったのだろう。


僕が彼の記事を1200円で買って、彼の書評を1時間かけて書いた。そして儲けたお金が1000円程度。それでも収支200円のマイナスだ。それに対してひろゆき氏は、きっとトイレでうんこでもしながら自分の本の名前をエゴサーチして、その本の記事を見つけてRTしただけで5000円稼いだのだ。


もう一度言おう。彼はうんこしながらボタン一つで5000円稼いだのだ。しかも彼はこの本には一切時間をかけず、過去話した内容を編集者にまとめてもらっただけだと言っている。特に労力を使わなくても、自分の影響力をお金に変換しただけなのである


枯れない社会関係資本で変換される経済資本



本題に戻る。
よく、フォロワー数を気にしていたり、いいね数を気にしている若者はみっともないという記事を見かける。しかし本当にそうなのだろうか。


フォロワー数は超大事だと思う。影響力がある人は、今の時代お金になる。影響力一つで、うんこしてても5000円稼げるのだ。それに、一度気づいた社会関係資本は、永遠に経済資本に変換できるし、しかも社会関係資本は減らないのだ。


社会関係資本を定量化したらフォロワー数


今の時代、こういう枯れない社会関係資本は定量化される。それがいいねとフォロワー数だ。だから若者はいいね数やフォロワー数を気にしたほうがいいんじゃないかなぁなんて思ったし、公教育でYoutuber育成講座でも導入すればいいのではないかと思った。

【Python初心者向け】データの取得・操作・結合・グラフ化をStep by Stepでやってみる - pandas, matplotlib -



今回はデータの取得、整理、グラフ化までをすべてPythonを使ってやってみたいと思います。利用するのはPandasで、これさえあればデータの取得、整理、グラフ化までを全部行ってくれます。Step by stepで見ていきましょう。

目標物


働き方改革等、労働生産性について最近はよく議論されています。これに対して教育がどれほど関係しているのでしょうか。今回はPISAの教育データと、PISAの労働生産性データを相関分析するというシチュエーションを想定して、やってみます。
目標としては


  • 2015年度世界の労働生産性と数学学力の相関係数を取得し、散布図で示す
  • 続いて国語データを取得し、労働生産性と読解力データの散布図を示す


です。さっそくやってみましょう。

手順


  1. データの取得
    1. read_csv
  2. データの操作
    1. 必要な列だけ取得
    2. 重複する項目名の変更
    3. 条件に一致した値のみを取得する
    4. データを結合
    5. 結合したデータをCSVで保存
  3. データの描画
    1. 相関係数の取得
    2. Matplotlibで散布図を作成
  4. データの追加
    1. PISA国語データの取得
    2. 結合
    3. グラフ描画


データセット(CSV)としては以下のものを用意しました




2017-09-09

『Pythonによるスクレイピング&機械学習 開発テクニック』レビュー

『Pythonによるスクレイピング&機械学習 開発テクニック』を読了しました。



Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう』について、レビューします。


Amazonの紹介によると

機械学習の重要性は、日々高まっているものの、いったいどのように実務に取り入れたら良いのかという声を聞くようになりました。
本書では、実際にデータの集め方から、機械学習を活用するところまで、実践的なPythonのサ ンプルコードで紹介します。

と書いてありました。Pythonを利用して、データを集めて整理するところから始められる参考書はなかなかなかったので、これは!と思い『Pythonによるスクレイピング&機械学習 開発テクニック』を購入しました。実際に買ってみて試したうえでレビューしていきたいと思います。




目次


  • 買った経緯
  • こんな人におすすめ
  • 本の内容
  • できるようになったところ

買った経緯


私はもともと趣味でエクセルを使って、教育のオープンデータ分析をしていたのですが、どうしてもHTMLからデータを取ってくるのが面倒で、調べてみるとスクレイピングという技術を使えばわりとできそうだとわかりました。スクレイピングについてはこちら



「Webスクレイピングとは何ぞや?」という疑問が浮かんできたので調べてみた。 - おしい県でWebに携わって働く人のブログ

最近よく聞く、、、わけではありませんが、なんとなく自分の中で「Webスクレイピング」について知りたくなったので、ググったりして調べてみました。



調べてみるとデータを扱ったり機械学習に関してはPythonをよく使うみたいで、ちょうど両方扱っているみたいなので、購入しました。


ちなみにこの本を購入した時点では、ノンプログラマではありません(*HTML、CSS,
JS、jQuery、Rubyを1年学習済み)でしたが、Pythonは書いたことがありませんでしたので、ProgateのPythonコースと、ドットインストールのPythonコースを全部学んで、キャッチアップしてからスタートしました。

Progate(プロゲート) | Learn to code, learn to be creative.

Progateはオンラインでプログラミングを学べるサービスです。プログラミングを学んでWEBアプリケーションを作ろう。


Python 3入門 (全31回)

データ解析や機械学習などにも利用される、シンプルなオブジェクト指向型言語であるPythonについて見ていきます。

こんな人におすすめ


上記に書いたような、データサイエンス・機械学習に興味があるような人や、Pythonを使って何かやってみたいという人にはおすすめです。実際まったくの初心者でも、コードを移していくとスクレイピングできるコードを自分で作ったりできるようになります。


ただし、全くのプログラミング初心者では難しいので、基本的なHTML、CSS、Javascript、jQueryが理解できる程度の知識が必要です


というのも、どうしてもスクレイピングを利用するとなると、HTMLの力が知識が前提となってしまうからです。それを操作するCSS、Jsの知識は必要となります。無料でできるので、さきほどのProgateやドットインストールでキャッチアップしましょう。


また、僕のように機械学習エンジニアに興味があるくらいのレベルであれば、実際にコードを書いて学ぶことができるのでおすすめですが、機械学習はマシンのスペックゲーになることが多かったので、機械学習をちゃんとやりたい場合はちゃんとしたマシンを用意しないとだめですね。僕はノートパソコンで試したら死亡しました。


本の内容



目次はこんな内容となっています。(一部省略)


  1. クローリングとスクレイピング
    1. データのダウンロード
    2. Beautiful Soupでスクレイピング
    3. CSSセレクタについて
    4. リンク先をまるごとダウンロード
  2. 高度なスクレイピング
    1. ログインが必要なサイトからダウンロード
    2. ブラウザを経由したスクレイピング
    3. スクレイピング道場
    4. Web APIからのデータ取得
    5. Cronと定期実行なクローリング
  3. データソースと書式・設定
    1. テキストデータとバイナリデータ
    2. XMLの解析
    3. JSONの解析
    4. YAMLを解析する
    5. データベースについて
  4. 機械学習
    1. 機械学習とは
    2. 機械学習のはじめの一歩
    3. 画像の文字認識
    4. 外国語文書の判定
    5. サポートベクターマシンとは
    6. ランダムフォレストとは
    7. データの検証方法について
  5. 深層学習に挑戦してみよう
    1. 深層学習とは何か
    2. TensorFlowのインストール
    3. JupyterNoteBookのすすめ
    4. TensorFlowの基本をおさえよう
    5. TensorBoardで可視化しよう
    6. TensorFlowで深層学習に進もう
    7. Karasでもっとらくに深層学習をしよう
  6. テキスト解析とチャットボットの作成
    1. 日本語解析(形態素解析)について
    2. Words2Vecで文章をベクトル変換しよう
    3. ベイズの定理でテキストを分類しよう
    4. MLPでテキスト分類しよう
    5. 文書の類似度をn-gramで調べよう
    6. マルコフ連鎖やLSTMで文書を作成しよう
    7. チャットボットの作成
  7. 深層学習を実践してみよう
    1. 類似画像の検出をしよう
    2. CNNでCaltech101の画像分類をしよう
    3. 牛丼屋のメニューを画像判定しよう
    4. OPEN CVで顔認識
    5. 画像OCR・連続文字認識に挑戦しよう
  8. APPENDIX 作業の準備と環境構築
    1. Dockerで環境構築しよう
    2. Python + Anacondaで環境を整える


Pythonの環境構築から、スクレイピング、データの操作、APIの利用、機械学習等データサイエンスの基礎部分に関する内容が、ソースコードとともにかなり丁寧に解説されています。Amazonの本の紹介でもあった通り、Web上のデータをスクレイピングし、データベースに格納、必要なデータを機械学習でコーディングするという一連の作業がこの本を通して学べたと思います。


また、Python初心者も想定して、親切にもWindows、Mac両方で環境構築の説明ランがあります。WindowsとMacの両方の環境構築方法が記述してあります。なので、初心者でも十分進められると思います。最悪環境構築につまったら、Cloud9というWeb上で環境構築を行えるプラットフォームを利用すればなんとかなります。

たった3分で?!初心者向けPython開発環境構築3ステップ | 侍エンジニア塾ブログ | プログラミング入門者向け学習情報サイト

こんにちは!インストラクターの井上(@InoIno_iesa )です。 Python学習したい!そう思っても プログラミングを始めるところにすらたどり着けない という方もいらっしゃるかと思います。 実際、プログラミングの「環境構築」は中級者でも数時間・数日はまってしまう可能性のあるものです。 しかし、そんな 環境構築を一瞬で終わらせる方法 があります! ...


できるようになったこと、この本の知識を活かして試したこと


この本を使ってできるようになったこととしては、seleniumを利用した基礎的なスクレイピングと、APIの利用、pandasとsqliteを利用してデータベースをいじり、matliolibやnumpyでグラフ描写する力、cronを利用してスクレイピングを自動で定期実行などですね。


実際に試したこととしては、TinderのAPIをPython上で利用して、Facebook上の既婚者が利用していないか調べたり、そういう情報をデータベースに格納したりとか....

PythonでTinderのAPIをいじる

PythonでTinderのAPIを利用する TinderにはAPIがあるそうなので、さっそく利用してみた。 PythonはCloud9というクラウドで環境構築してある。 TinderのAPIを使うために必要なのはFacebookのアクセストークンと、Pynderというモジュール。 Pynderを準備 pythonでapiをいじるためのpynderをinstall $ sudo pip install pynder インストールされたみたい。 インストールされたか確認 apiいじるコードをgithubからコピペする https://github.com/charliewolf/pynder import pynder session = pynder.Session(facebook_id, facebook_auth_token) session.matches() # get users you have already been matched with session.update_location(LAT, LON) # updates latitude and longitude for your profile session.profile # your profile.


PythonでTinder APIを使ってネトストとサイバーナンパ師やってみた

Python TinderのAPI Pynderを利用する こんにちは。突然ですが、ナンパしたい。僕は陰キャラなので、歌舞伎町でナンパに繰り出すことなんてできない。 そういえば前回、 PythonでTinderのAPIをいじる で書いた通り、PythonでTinderのAPIをいじれた。原理的には自分のアカウントのFacebook access ...

pythonでsqlite3を利用してデータを挿入する

受験・教育学、心理学、社会学、プログラミング・書評とかで記事書いてます。


Cloud9上で実装したPythonスクリプトをHerokuにディプロイしてして定期実行する手段を生み出したり...


【Pythonで定期処理】 Cloud9を利用して、Seleniumでherokuから定期実行する

Python Cloud9を利用して、定期処理をherokuから行う Cloud9というIDEを利用して、PythonからSeleniumを利用し、あるサイトでいいねを自動化するプログラムを作った。 これを定期実行を行いたい。検索してみると、crontabを使えば定期実行ができるようだが、cloud9上では実行できないらしい。 ほかの代替案を考えたとき、 heroku ...


定期実行プログラムをかけるようになったから、Twitterのフォロワーを自動いいねしたりするプログラムを書いたり


【Python twitter】tweepyを利用してlike、follow、removeを実装したbotを作る

なぜやるか ・ブロガーをやっているので、自分のファンになってくれる可能性があるユーザーをフォローしたい。 ・そのユーザーのコメントにいいねして、後で見返したい。フォローしてきたスパムアカウントはりむーぶしたい。 ・毎日自分の手でやるのは社会人になってしまったので時間がない。ということで自動化したい。 - python 3 - Cloud9を利用 - すでにherokuにpythonプロジェクトをdeploy済みです。 deployまでは下の記事を参考にしてください! やりたいこと 0. とりあえずtwitter apiを使ってログインしてみる 1. それぞれのユーザー名を取得し、そのユーザーのコメントにいいねとフォローを行う 2. 自分のタイムラインからツイートを10つ取得し、上から下までいいねを行う 3.フォロワー数が100未満のユーザーはすべてりむーぶする 4. heroku schedulerを利用して、上記の機能を定期処理で自動化する 0. pythonのtwitter apiであるtweepyを利用してログインしてみる APIを利用して、ツイッターからの情報とるためには、最初に情報を準備しておかなければならない。詳しいことはこの記事に書いてあるので、参照してほしい。 # Tweepyライブラリをインポート import tweepy # 各種キーをセット CONSUMER_KEY = 'xxxxxxxx' CONSUMER_SECRET = 'xxxxxxxx' ACCESS_TOKEN = 'xxxxxxxx' ACCESS_SECRET = 'xxxxxxxx' auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET) auth.set_access_token(ACCESS_TOKEN, ACCESS_SECRET) #APIインスタンスを作成 api = tweepy.API(auth) PythonでTwitterを使う 〜Tweepyの紹介〜 http://kivantium.hateblo.jp/entry/2015/01/03/000225 Tweepyでpythonについて呟いたアカウントをフォローしまくってみた - 駆け出し眼鏡のプログラミング道場 http://taikomegane.hatenablog.jp/entry/2017/07/08/151110 1.


わりとやりたいことができるようになった感じですね。


アマゾンで最近見たら書店より少し安くなっていたので、

  • Pythonに興味がある
  • データサイエンスに興味がある
  • しかもなんか意味あることを実践的にやりたい
という人のは強くおすすめします!


Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう
クジラ飛行机
ソシム
売り上げランキング: 13,688

2017-09-08

「自分で考えるべきか人に聞くべきか」を判断する基準




最近悩んでいるテーマが、自分で考えるべきか人に聞くべきかという問題だ。


自分はわりと人に頼らず、自分でなんでもやろうとしてしまうタイプだったが、社会人になって「納期」が明確に存在するようになり、時間が無限にあった学生時代と比べて、この納期が「なんでも自分で考えるべき」という前提が覆えした。(時間で解決できなくなった)


そこで「どういう条件なら自分で考えるべきで、どういう条件なら人に聞くべきなのか」を考えている。個人的には人に聞くべきパターンを何個か想定してみた。


そもそも、自分で考えるメリットとは何か


自分の頭で考えるメリットとは何であろうか。おそらく、(1) 解答へ自分でたどり着けるので、問題を本質的に説明できるくらい理解できることと、(2) 正解がない状態でも論理的に解答までたどり着く能力になると思う。


(1) 解答へ自分でたどり着ければ、それは思考の全部の過程を説明することができるようになるので、その分理解が深まるだろう。
そして(2) 答えが存在しない状況でも、既存の知識をもとに仮説を立て、論理的に解決することができるようになるから、そういう未解決の課題に対しては、どうしても自分で考える力がないと難しそうである。


人に聞くべき判断基準は何か


基本的には、自分で考えたほうがよいが、人に聞くべき判断基準はなんだろうか。何個か考えてみた。

1. 知りたい分野のことを一切知らない時


よく先輩がやってたことだが、自分の知らない分野のことを学ぶときは、最初にその分野に一番詳しい人に概要を聞くという方法だ。


自分で考えるにも、自分が調べられる範囲は、そもそもこの分野のバックグラウンドの量に比例する。言葉を知らなかったり、システムをしらなければ自力で論理的に落とし込んでも大したものは出てこないから、最初に詳しい人から全体像を聞くのはよいのかもしれない。


2. 問題の原因がわからない時


そもそも何が原因なのかわからないので、アプローチができずに固まる場合は、人に聞いたほうがよい。というのも、自分で考えても原因が見つけられない場合のパターンとして、そもそも原因がを見つけるアプローチを知らなかったりするから、それだといくら考えても原因を特定できない。


例えばプログラミングだったらどこでエラーを吐いているのか知らなかったり、ログを出す方法だったり、適切な位置でログを出す方法だったり。


そう考えると、さっさと原因特定ができるメソッドを他人に聞いた方が時間を有効活用できそうだ。

3. 車輪の再発明が必要ない時


最後は車輪の再発明が必要ない時だ。


基本的に、自分の頭で考えることのメリットとしては、(1) 論理的に結論を導くことによってより深い理解ができること、または(2) 正解がない状況で正解を作り出せることにある。


しかし、例えばある程度解答への定石(思考パターンやフレームワーク)が決まっているものに関して、自分の頭を時間を大量に投資するのは費用対効果が低い。より深い理解を得るために、二次方程式の解をひたすら因数分解で解こうとするのが同じように、解の公式という一般的なフレームワークを利用し、ある程度構造を理解してから、後で証明したほうが理解も深まるだろうし、最速で高品質の解答を得られる。


最後に


ぱーと考えた感じ、


  1. 知りたい分野のことを何もしらない時
  2. 問題の原因がわからない時
  3. 車輪の再発明が必要ない時


の3つが考えられた。が、もっといい答えはないものだろうか。
先人の知恵をお借りしたいところです。

社会不適合者の自覚があるすべての人へ

社会不適合者の自覚があるすべての人へ



多くの人が、自分は社会不適合者だと自覚する瞬間があると思う。特に、多くの人が不適合なのではないかと自覚するのは、就活の時ではないだろうか。


ちなみに僕は少し早めで、大学2年生時に部活を除籍された時だった。実はその後の大学生活で僕は、社会で活躍するいわゆる社会適合者と、社会不適合者にあってきて、不適合者に対する考え方が変わった。今回は社会不適合者について書いてみようと思う

目次


  • そもそも適合すべき社会は、一つではない
  • 一般的な社会不適合者と適合者とは
  • 社会受容者ではなくても、社会適合者にはなれる
  • 社会不適合者の自覚がある人は、無理に万人ウケされようとしなくてよい


2017-09-05

『機械脳の時代(加藤エルテス)』脚本から興行収入を事前に予測できる?

機械脳の時代を読んでみました


人工知能、データサイエンス、機械学習等の話題が絶えないですが、今回は「機械脳の時代」という方を読んでみました。ちなみに著者の加藤さんは、NewsPicksのプロピッカーでもあります。


機械脳の時代―――データサイエンスは戦略・組織・仕事をどう変えるのか?
加藤 エルテス 聡志
ダイヤモンド社
売り上げランキング: 28,820


加藤エルテス 聡志

コンサルティングファーム(McKinsey)・米系メーカー等を経て、2014年に(社)データサイエンス研究所を創設。代表理事に就任。同年RISU Japan (risu-japan.com) 共同創業者・取締役に就任。 著書「機械脳の時代」(ダイヤモンド)、「日本製造業の戦略」(ダイヤモンド社・共著)、「プログラミングはロボットから始めよう」(小学館)、編集協力に「日本の未来について話そう」...


例のように書評を書いていこうと思います。

目次

  • 本書の概要
  • 統計学と機械学習の違い
    • 統計学
    • 機械学習
  • 機械学習でできること
    • 可視化
    • 分類
    • 予測
  • 機械学習が可能にした、驚くべき事例
    • 大手映画製作会社は英国のエパゴギクス社の事例
    • ギャンブル企業シーザーズ・エンターテインメントの事例
    • ポリフォニックHMI:ノラジョーンズを掘り当てる
    • Match.comの事例


2017-09-02

人事データを活用すると、何ができるのか  -『日本の人事を科学する』をまとめました -

『日本の人事を科学する』を読んでみました



僕はもともと教育学部だったのですが、教育の効果検証って面白いと思っています。その延長線上で、人事領域(採用等)におけるデータ活用や、HR Techに興味を持っていたのですが、つい最近この『日本の人事を科学する』という本を読み終えましたので、書評を書いていきたいと思います。


日本の人事を科学する 因果推論に基づくデータ活用
大湾 秀雄
日本経済新聞出版社
売り上げランキング: 54


大手ERP企業からの協力をもとに、さまざまな企業の人事データを東大と共同研究を行った結果をまとめています。


Amazonの紹介によると、

◆働き方改革の実行や、女性管理職の育成、労働生産性アップ、ストレスチェックなど、人事部門は、様々な課題について現状を正確に把握し、数値目標を立てて改善に取り組まねばならなくなった。本書は、多くの日本企業が抱えるこれらの人事上の課題を、データを使ってどのようなに分析し、活用すればよいのかを解説。
◆著者が、株式会社ワークスアプリケーションズや経済産業研究所(RIETI)と連携して行ってきた研究成果を活かし、具体的に、読者が自分の会社で使えるように解説する。

この本の構成としては、以下のようになっていましたが、特に面白かった部分(第1章 なぜ人事データの活用が必要かと、第5章 採用施策は、うまくいっているのか)について書評を書いていきたいです。


第1章 なぜ人事データの活用が必要か
第2章 統計的センスを身につける
第3章 女性活躍推進施策の効果をどう測ったら良いか。
第4章 働き方改革がなぜ必要か、どのように効果を測ったら良いか
第5章 採用施策は、うまくいっているのか
第6章 優秀な社員の定着率をあげるためには何が必要か
第7章 中間管理職の貢献をどう計測したら良いか
第8章 高齢化に対応した長期的施策を今から考えよう
第9章 人事におけるデータ活用はどう発展するか


2017年8月 ブログ運営報告

2016/09/02

私事ですが


・配属が決まりJAVAをごりごり書くエンジニアになりました。勉強してお金もらえるので、大企業ってすごいなと思いますが、実践をなかなか踏めないので少し焦ります。

・お酒飲みすぎて急性アルコール中毒で病院行きになりました。社会人になってみっともないですね。

・吉祥寺に引っ越しました。住みやすい街No1です。

・趣味でRとPythonで本格的に学習開始しました。フレックスタイム制を活かして、朝は趣味のPython、仕事はJavaという生活を繰り返しています。
 

注目の投稿

 PythonのTweepyを利用して、Twitter APIを利用している。 その中で、ハマったポイントをメモしておく。 まず、Searchに関して。 Twitter検索は、クライアントアプリ側では、全期間の検索が可能になっている。 一方で、APIを利用する際は、過去1週間しか...