Alpha Go Zeroの論文の翻訳 その5

うわぁ。

以前、下記を書いて、「まだまだ続くよ!」とか言ってましたが…

Alpha Go Zeroの論文の翻訳 その4

7月20日のことでした。(;^ω^)

もう4か月も経ってるやんけ!!!( ゚Д゚)

いやー、光陰矢の如し。7月末からいろんなことがあったなぁ…( ˊᵕˋ )

…と、ついつい楽しい夏の思い出を思い返しちゃいましたが、本題は、Alpha Go Zeroの論文の翻訳の最後を書くことでした。

仕事でもAIの開発を進めておりまして、少し詳しくなったと思います。

では、Go!

 

原文はこちら。

https://www.nature.com/articles/nature24270.epdf

 

前回の続きということで、付録的な、「METHODS」という部分の後半になります。

 

Domain knowledge というところからですね。ではGo!

 


 

Domain knowledge

 

Domain knowledgeとは、専門知識のことである。碁のプログラムでいえば、碁のうちかた、どうやって強い手を繰り出すか、というような専門知識のことである。

Alpha Go Zeroの一番の功績は、専門知識なくして人間を超える知力を達成したということにある。

この功績を明らかにすべく、Alpha Go Zeroが使っている専門知識をトレーニングプロシージャーやMCTS内にかかわらず、数え上げてみることにする。

これらは、ほかのゲーム(マルコフゲーム プレーヤーが1対1で進める手によって勝率などが左右される、オセロ・将棋・碁などのゲームの総称と思われ。)に使うときは、置き換えられるものである。

 

①ゲームのルール

Alpha Go Zeroはゲームのルールについては、完全に知っている。MCTSのポジションのシミュレーションや最終手を打った時のスコアをつけるのに使われている。

ゲームは両方のプレーヤーがパスしたときと722手進んだ時に終了する。また、プレーヤーはルールにのっとって、有効な手を打つ必要がある。

②スコアリング

Alpha Go ZeroではMCTSのシミュレーションとセルフプレイのトレーニングの最中にTromp-Taylorスコアリングを使っている。

なぜかというと、韓国式・日本式・中国式にせよ、人間のスコアリングはよく定義されてないからである。

ちなみにAlpha Go Zeroで採用しているのは中国式である。(この辺、私が囲碁わからないのでよくわからなかったです(;´・ω・))

③盤面

盤面は、19×19の画像的なイメージで扱われる。ニューラルネットワークはこのボードに合わせた形になっている。

④盤面の回転など

碁のルールは盤面を回転しても反転しても盤面の強さは変わらない。

それを利用して、MCTSの途中で、盤面の回転と、反転状態もデータの中に入れることができている。

komiっていうものを抜かせば、碁は色を取り換えてもなりたつ。色を変えても成り立つことにより、盤面をどちらのプレーヤーから見るか、と言ったことが成り立たせられる。

 

以上が、Alpha Go Zeroが使っている専門知識の全部である。Alpha Go Zeroがディープニューラルネットワークを使っているのは、MCTSの末端のノードを評価するときと、手を選択するときだけ。

ロールアウトポリシーも使ってないし、ツリーポリシーも使っていないし、MCTSは他のヒューリスティックだったり専門知識によるルールによって評価されたりもしない。

ルール違反の手は使わない。プレーヤーの「目」を埋めることもしない。(多分、碁の話と思われ)

 

このアルゴリズムはランダムな初期パラメーター(ニューラルネットワークに入れるやつ)で始められた。

ニューラルネットワークの構造は、先進的な画像認識の構造である。ハイパーパラメーターは学習の中で変わっていく。

MCTSの探索パラメーターは1個前にトレーニングしたニューラルネットワークを使ったセルフプレイを最適化するために、ガウス過程最適化(でいいのかな?)を使って選択されていく。

より大きい実行のために(40ブロック、40日かける実行)MCTSの探索パラメータはより小さい実行でトレーニングされたニューラルネットワーク(20ブロック、3日)を使って再最適化される。

トレーニングのアルゴリズムは人間が介在することなく、自主的にアップデートされていくのである。

 

Self-play training pipeline

 

Alpha Go Zeroのセルフプレイのトレーニングパイプラインは3つに分かれていて、全部が非同期で平行に動作する。

ニューラルネットワークのパラメーターΘは継続的にセルフプレイのデータで最適化されていく。

Alpha Go Zeroのプレーヤーαは継続的に評価されていく。

ベストなプレーヤーはセルフプレイのデータを生み出すために使われていく。

 


今日はここまで~ ハァハァ(*´Д`)

ハロウィンの話

だいぶハロウィンから経ってしまいましたが!

今年のハロウィンは、今までとは違う傾向で行こう!と決めまして(`・ω・´)

いつも、ドンキでなんか適当に買ってすましてたんですよね。

去年はCAでした↓

CAになってみた

4年前のやつ出てきたw その時はナースとか

ハロウィーン

 

なので、今年はついに!!念願のアニコスをしようと思ってたんですよ!!!(`・ω・´)

ウィッグ買って、カラコン買って~

「エッッ 誰?わかんなかった~」

と言われるような仮想で度肝を抜いてやるぜ!!( ̄ー ̄)ニヤリ とか色々考えてたのですが…。

…。

♪だが時はたち~

友人が毎年開催してくれるハロウィンパーリーがあるのですが、気づくとその数日前。

うわうわうわ やっぱり地毛/地目wでいけるやつにしよう!!

と方針転換をしまして(;^ω^)

黒髪、ロングでいけるキャラってなんだー??って一生懸命考えたあげく…。

なんとアニメイトまで行きまして。コスプレ衣装とか見たら天啓を受けるかと思ったんですが、、、売ってないのね。

…。

…。

結局コレッ!

わかる人にはわかる!(そりゃそうだ)

「魔法科高校の劣等生」というアニメの深雪ちゃんというキャラクターですo(>▽<)o

「魔法科高校の劣等生」はそこそこ好きで。特に、この衣装がかわいい!と思ってたんですよ~o(>▽<)o o(>▽<)o o(>▽<)o

amazonで9000円程度で、ポチって翌日届いて、無事ハロパで着られました💛

念願かなって大変うれし!

楽だったし!!あったかいし!w 魔法を使えるという設定なんで、これで魔女と言えなくもないし!!( ˊᵕˋ ) ハロウィンらしい!

意外と評判よかったです( ˊᵕˋ )

 

「あ、これ、見たことある!なんのアニメだっけ??」

ってよく言われましたw

「さすおに!さすおに!」

ってわかって声かけてくださる方もいて、うれしかったです💛

友人氏のハロウィンパーティーはいつも仮装のクォリティ高いっすw

 

渋谷も見学に行きましたよ~。

ここ3年ぐらい行ってますね。

しかし、今年は渋谷のハロウィン、実に評判悪かったですね…(´・ω・)

私が渋谷に行くのは、パリピとかそういうわけじゃなくって、すごいクリエイティビティーの高まりを感じるからです。

みんな誰に褒められるわけでもないし、何がもらえるわけでもないのに、すっごい創意工夫を凝らした仮装をしてらっしゃるんですよ。アイデアやかなり凝ったものとか。

それを見るのがとても楽しくって。

別にヤバい雰囲気とかありませんよ。大多数は普通の人々って感じです。

西武の裏の道(なんていうか知らないですが)をアンプとかいっぱい載せて大音量でEDMなどをかけて走ってる車とか何台もいたんですよ。

ああいうのって何目的でやってらっしゃるんでしょうかねー?

私の意見ですけど、ゴミの問題とかは、もっと自治体(渋谷区とか東京都とか)がなんとかしたらいいのではと思いますね。

 

ハロウィンを見に来てるのは、外国の方も多いんですよ。

昔、外国人の友人が多かった時代がありまして、結構

「日本は町にゴミ箱がない!!」「自分の国ではゴミなんて持って歩いたことがないのに!」

って言うんですよ。

あんまり悪気もなく、ごみの山を見て、ここに捨てていいんだ~って思って捨てている観光客も多いのかもしれません。

 

これね~ 昔、オウム真理教のテロがあったせいで、町からゴミ箱が消えちゃったのですが。

ゴミがとっちらかって翌朝大変!って言うぐらいなら、その日ぐらい仮ゴミ箱をわんさか設ければいいんじゃないの。

 

もちろん確信犯的にごみをポイ捨てする人もいるわけで、そういう人に、

「悪いことだから!ごみを持って帰ってくださいー!」

って言ったって、持って帰るとは思えません…。仕組みでカバーすればいいのではと思う。

 

税収が足りないんですよね~??

こんなに勝手に人が集まってきてくれるのに、どっちかというとチャンスと思うんですが。

外国の方が多ければ、純粋な収入になりますし!!

屋台とかじゃんじゃん出して、お酒、軽食とか売ったらいいんじゃないですかね??そしたら結局は自治体の収入も増えるわけですし。

ま、勝手な意見ですが。

 

学生さんの扶養控除 損益分岐点はいくら

去年から

「扶養控除引っかかるので、バイト入るの少なくしますね~(´ω`) 」

と学生さんに言われることが多くなりました。

私としては

「えっ。ああ、うん…。」

とかで済ませてたんですけど、一部には

「扶養とか考えてるよりも、稼いだ方がいいぜ!!オラオラァ!」

ということをいう方もいて、一体どういうことなのか、一度はっきりさせたいな~と思って調べました。

 

まずは調べました。ネットでね!!

そしたら、結構適当なこと書いてあるんですよ…( ゚Д゚) しかも、コピペサイトが多くて、大体どこも似たような適当な情報が載ってます。

なので、弊社の顧問税理士&社労士さんに確認して、金額をちゃんと計算した上で、どのぐらいの額なら損にならないのか、をちゃんと考えてみることにしました。

 

えー、下記はごく一般的な学生さんのケースで書きますので、レアケースとかは追いませんし、私自身はプログラマーで専門家ではないので、参考までにという感じです!!!

 

学生さんが扶養の対象から外れるのは、給与が103万円を超えてからです。

じゃあ、一体それでどれぐらい損するの??

それを計算していきます。

 

①親御さんが払う所得税

 

大きいのは、親御さんなど、あなたを扶養している人が納める税金が増えます。

で、ここが難しいのですが、親御さんの稼いでいる金額により、税率って違うんですよ。

その金額が330万円~700万円以下の場合、20%の所得税がかかります。

あなたの年齢が、その年12月31日現在の年齢が19歳以上23歳未満だとします。

その場合、親御さんが払うべき税金が、63万円、扶養に入っていることで税金の対象からその分を抜かれていることになります。

つまり、

63万円×20%=126,000円

が扶養で得をしていたのですが、これからは税金として支払う必要があります。

 

②親御さんが払う住民税

 

住民税というのもやっかいです。親御さんが支払っている住民税も、扶養から外れることで増えます。(´ω`)

住民税は大体10%です。

あなたの年齢が、その年12月31日現在の年齢が19歳以上23歳未満だとします。

45万円×10%=45,000円

が扶養で得をしていたのですが、これからは税金として支払う必要があります。

 

③学生さん自身が払う住民税

 

これは結構大きいですね。扶養から抜けると住民税を支払う必要が出てきます。

例えば年間120万円稼ぐとすると、給与所得控除65万円と、控除が33万円、住民税はざっくりいうと10%です。

120万円 – 65万円 – 33万円=220,000円

220,000円×10%=22,000円

ですね。

 

④学生さん自身が払う所得税

 

これは大した金額ではありません。

給与所得控除65万円と、基礎控除38万円がありますので、例えば年間120万円稼ぐとすると、所得税は5%です。

120万円-65万円-38万円=170,000円

170,000円×5%=8,500円

 

 

以上が扶養から外れることにによって、増えると思われる税金です。

ちなみに、扶養から外れると社会保険に加入しなければならないとか、社会保険費用を払わなきゃいけないと解説しているサイトもありますが、

扶養から外れると社会保険に加入しなければならないは間違い

 

です。社会保険に入る必要があるのは、学生さんとか主婦さんとか、年収とか関係なく、

「フルタイムで働く人の4分の3以上働く人は社会保険に入らないといけない」

ということになっております。(´ω`) 103万円を気にしている人は、おそらく4分の3以上働くとか心配しなくていい人だと思うので、今回考えないことにします。

 

上記の前提から、損益分岐点の計算をしてみます。損益分岐点とは、ここを超えれば損、ここを超えれば利益、という分岐点です。

 

まずは例として、学生さんの年間所得が120万円だとします。

そうすると、

① + ② + ③ + ④ = 201,500円

となり、年間所得が

120万円- 201,500円 = 998,500円

となってしまいます。。。ρ(。・_・、)

年間所得103万円の方が、マイナスがないので、お得ということですね!!

働く方が損するとは!どういうことや、工藤!!!

 

では、どこまでいけば損益分岐点なのでしょうか??

学生さんの年間所得をy円とします。

 

y  – 126,000円 ① –   45,000円 ② – ((y- 650,000円-330,000円)×0.1)③ -((y- 650,000円-380,000円)×0.05)④ > 103万円

y>1,361,764円

 

です。

つまり、136万円以上稼げば、扶養から外れる損をカバーできるということです。

 

…。

…。

けっこうあるね(;^ω^)

感想は人によるとは思いますが。。。

 

それにしても、気づいたんですよ!(`・ω・´)

なぜ、最近

「扶養が…」

と言われるようになったのか!!

 

それは… 学生さんの時給がうなぎのぼりだからです。どんどん上がる最低時給。

昔と比べて、働く時間が少なくても、すぐ扶養の範囲超えちゃうんですね。

 

むー。

政府さん、労働力不足は日本の問題とかって話で、主婦さんなどの扶養控除の額は引き上げられたんですよね。

しかし、学生さんはそのまま。

働く方が損するってどんな制度やねん。労働力不足を後押ししてる気がするんですが。

働きたいけど働けない方には、別の方法で補助などする方がいい気がしますけどね。

 

ちなみに、話が複雑になるのでここでは紹介しなかったのですが、勤労学生控除という制度もあります。

すると、130万円までは、所得税がかからないことになるそうです。

https://townwork.net/magazine/knowhow/taxes/42916/

 

エンジニアはなるべく技術記事を書いたほうがいい

ちょいちょい、Qiitaで関連する記事を見ましたので、私も激しく同意と思うところがありますので、書いておきます。

初心者はどんどん記事を書こう❕ただしOrganizationテメーはダメだ

 

エンジニアは全員技術記事を書くことを習慣化した方がいいぞ

 

新人エンジニアの私が圧倒的成長するためにやっていること

 

 

常々弊社のプログラマーたちに言ってるんですけど、ほんっと書いた方がいい。

これ、圧倒的一位は、

「自分のため」

 

です。(`・ω・´)

書くとね~ 理解が深まるんですよ!人に説明するためには、自分がわかってなきゃいけないですよね。

書くのは、さらにプラスアルファ的なところがあって、書いてると、

「あー、これどうなってるのかな?」

ってなって、調べたりするので、そういうことが理解を深めると思います。

 

で、自分のためというのはもう一つあって、未来の自分のためなんですよ。

 

実は、弊社でもOCテックノートってオウンドメディアをやってて、私もしょーもない記事を結構書いてます。

でも、後で自分の記事見てるの、多分自分が多いと思うwww

3日たてば、3日前に書いたコードのことを忘れますよねw

いわんや 3日前につまったエラー をや。

 

同じ人間ですからね、大体同じところで引っかかるんですよ(´ω`)

ですが、書いておくと、

「いやー、過去の自分エライ!!ほめてつかわす!」

という承認欲求も自給自足でき、もちろんエラーに悩む時間やイライラも減らせるので、一石三鳥です(*ฅ•ᗜ•*)❤(*•ᗜ•ฅ*)

 

2位、3位あたりが、見た人からアドバイスもらえるとか、転職時に有利とかですかね。

 

エンジニアがアウトプットするのがこんなにいいことずくめなんですけど、大体書けない&書かない理由が

①「大したことじゃないし、こんなの見ても価値がないと思うだろうから」

②「こんなレベルの低いことを書くと、自分のエンジニアレベルが低いと思われる」

③「めんどくさい」「時間がとられる」

 

まず、①から。

よっぽどくだらないことじゃなければ、書かないより書いた方がいいと思います。

要は他の人のためではないので。

そして、もとよりネット上の情報に、そんな期待は探すこっちもしていないので、大丈夫ですよ!!

 

②について。

レベルの低いこと問題ですが、レベルの低いことほど重要性が高いじゃないですか!!!!(`・ω・´)

というのは、初心者さんとかすそ野が広い層が見る情報になるってことは、IT業界全体への貢献度が高いわけですよ。

どうしてもプライドが許さなければ

「初心者のために書いてやってるんだ ドヤァ」

と心の中で思って書けばいいのです( ˘ω˘)

 

③について

子供のころ、日記とか書いたりしたと思いますが!夏休みの最後に書く、400字詰め原稿用紙3枚に書かなければいけない読書感想文ほどつらいものはなかったと記憶しています(´ω`)。

いきなり大作を書くのはそりゃ大変ですよ!!

まずは、ちょこっとした、軽いことから書いてみましょー。

 

Qiitaの記事を冒頭では紹介しましたが、Qiitaって「やってみた系」の重記事多いですよね。

私Qiitaはそんなに普段見ないんですよ。

なんかしらプログラム関連で知りたいことがあって、ググると、上から3個はQiitaということありますが、4個目のStackOverflowか5個目の公式サイト見ますね。

なんでかっていうと、Qiitaで上の方に来る記事は、「やってみた系」が圧倒的に多く、

A→B→C→D(これが知りたいこと)→E

だったりすると、ABCも流れになっていて、読まねばならず、知りたいことにたどり着くまで若干時間がかかるからです。

これってQiitaの文化なんですかね。

 

最後にですが、サードパーティーのメディアでやると、Qiitaの話で出したような、そのメディアの文化に影響されてしまうというのもありますが、そのサードパーティーのメディア消えたり人気なくなったらどうするのって問題もあるよね。

ミクシィしかり…

はてなブログしかり…

QiitaもTwitterもfacebookもInstagramも5年後あるかわかりませんよ?!

消えてはないけど、人気がなくなると、そのサービスの質がさがっちゃいますしね。。。

サービスっていつかは消えゆく運命なのですから…(´ω`)

 

誰かが言ってましたけどね、

「未来をコントロールする一番の手段は自分がやることだ」

って。なので、私推奨は自分のところのオウンドメディアがいいかなって思います。

 

 

 

 

Smart動態管理の少人数限定個別相談会をします☆彡

Smart動態管理も開発を重ね、多くの機能が実装されるようになりました。

ですが。

高機能ゆえに…。
「使い方がわからない…」
「こういうことをしたいのだけれど、どうやってしたらいいのかわからない…」
「Smart動態管理をもっと活用したい!」
そういう声をよくお聞きします。
そこで、少人数限定で、Smart動態管理についてのご相談会を開催することにいたしました。⊂(^-^)⊃
他社様での活用方法をご紹介頂いたり、Smart動態管理へのご意見・ご感想を頂くのもよい機会かと思われます。

【日時】:12月5日(水)16時~17時半
【場所】:JR横浜駅近隣の貸会議室(予定)
【参加費】:無料
【定員】:8名様まで(1社2名様まで)
【内容】:
・Smart動態管理の新機能のご紹介
・製品開発予定のご案内
・Smart動態管理についての活用方法、疑問のヒアリング
・意見交換
【提供物】:軽食、お飲み物をご提供します。
【持参して頂くもの】:お名刺1枚をお願いします。
【申し込み締め切り】:11月30日(金)まで・定員に達し次第、締め切らせていただきます。

※現時点でSmart動態管理をご契約いただいている、法人のお客様が対象です。

Smart動態管理の開発スタッフが、出席します。(ま、弊社のスタッフはほぼ全員開発スタッフなのですが…)

ぜひ、この機会にSmart動態管理に関する疑問を解消してください。
また、日ごろのご感想・ご不満・ご意見があれば、ぜひぶつけてください!
お申し込みは、こちらのメールアドレスあるいはお電話でお願い申し上げます。
admin@doutaikanri.com
045-306-9506 株式会社オンラインコンサルタント 担当:齊藤

私も参加する予定ですヾ(´ω`○).

 

お客様に疑問を解消して頂くのが一番ではありますが、弊社もお客様のお話をもっと聞いて課題を解決していかなければいけないと思うんですよね。

特に、運送・配送業界向けという、特定業界向けのアプリですから、やはり会社の中でパソコンにかじりついているだけではいけないかなと日々思います。

 

というわけで、お客様となるべくお会いする機会を作らねば、と今回の企画となりました。

ピザとか!お寿司とか!片手に、気軽にお話ができればと考えております。⊂(^-^)⊃

お申込みをお待ちしております!m(_ _)m

やはり俺のプログラマ生活は間違っている ー 宇宙人、未来人、プログラマ募集中(中途)

♪仕事探しはIndeed バイト探しもIndeed♪

ということで、Indeedで求人広告出しています。

やはり俺のプログラマ生活は間違っている ー 宇宙人、未来人、プログラマ募集中(中途) ー

 

広告と言っても、今のところ費用かけてないんですがwwww

 

会社を創業して以来、脈々と続けているあること…

それは、求人広告を出すときは、必ず「おかしな広告にする」

ってことがあります。

あるときは、まどマギのコスプレした子の写真を使ったり…。(注:この写真は私じゃないですよ( ˊᵕˋ ))

あるときは、ブルゾンちえみになってみたり…。

 

求人を検索する際に、IT系って大体、会社のロゴの前でにこっとかわいい女子が笑っている写真ばっかりが並ぶじゃないですか。

そこで、少しでも目に止まるためにやってることです。(`・ω・´)

弊社は泣く子も黙る零細企業ですが、それでも優秀な新卒さんが取れたりしているので、今のところ、効果はあると思ってます…。

 

しかし、Indeedはテキストだけなんですよね。

なので、とりあえずラノベのタイトル風にしました。最終的に変更したのはSですが。

 

応募来るかなぁ。

それとも、Indeedから怒られて削除されたりするのでしょうか。

というわけで、採用やってまーす!!₍ᐢ⑅•ᴗ•⑅ᐢ₎♡

 

弊社の採用情報ページはこちら。

 

謎の植物

だいぶ余談なんですが…。

うちで、写真のような植物をずっと花瓶に入れて飾ってます。

なんと、これ、もう1年以上になるんですよ!!!( ゚Д゚)

途中から根っこが生えているの図。

なんか?小学生の時にやってた、ヒヤシンスの水栽培みたいになってない?!( ゚Д゚)

去年の10月20日にやった、会社でリムジンパーティーした時にもらった花束の中にいた植物です。

1年前w

ずっと枯れないので、水だけ変えてて、はや1年。。。

植物の力、すごっ。