無料配送: 4月12日 - 13日 詳細を見る

最速の配達日: 4月 12日の月曜日, 8AM-12PMの間にお届けします。購入手続き画面でご都合のよい時間帯を選択してください。

在庫あり。
お使いのスマホ、タブレット、PCで読めるKindle版(電子書籍)もあります。在庫状況について

この商品は、Amazon.co.jp が販売、発送します。

中古品

￥2,590

+ ￥375 配送料

お届け日 (配送料: ￥375 ): 4月14日 - 16日 詳細を見る

中古商品: 非常に良い | 詳細

発売元 Forest Book shop（商品代＋配送料）2000円以上は安心の追跡番号付き！

この商品は1-Click注文できません。

この商品をお持ちですか？マーケットプレイスに出品する

裏表紙を表示表紙を表示

サンプルを聴く再生中... 一時停止 Audible オーディオエディションのサンプルをお聴きいただいています。

3点すべてのイメージを見る

機械学習スタートアップシリーズ Pythonで学ぶ強化学習 [改訂第2版] 入門から実践まで (KS情報科学専門書) (日本語) 単行本 – 2019/9/22

久保隆宏 (著)

17個の評価

その他の形式およびエディションを表示する他の形式およびエディションを非表示にする

価格

新品

中古品

Kindle版 (電子書籍)

"もう一度試してください。"

￥3,080

—

単行本

"もう一度試してください。"

￥3,080

￥2,790

￥2,590

「Pythonで強化学習が実装できる!」と好評を得た入門書の改訂版。読者からの要望・指摘を反映させた。主に、Policy GradientとA2Cの記述・実装を見直した。

・Pythonプログラミングとともに、ゼロからていねいに解説。
・コードが公開されているから、すぐ実践できる。
・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。

【おもな内容】

Day1 強化学習の位置づけを知る
強化学習とさまざまなキーワードの関係
強化学習のメリット・デメリット
強化学習における問題設定:Markov Decision Process

Day2 強化学習の解法(1): 環境から計画を立てる
価値の定義と算出: Bellman Equation
動的計画法による状態評価の学習: Value Iteration
動的計画法による戦略の学習: Policy Iteration
モデルベースとモデルフリーとの違い

Day3 強化学習の解法(2): 経験から計画を立てる
経験の蓄積と活用のバランス: Epsilon-Greedy法
計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference
経験を価値評価、戦略どちらの更新に利用するか:Valueベース vs Policyベース

Day4 強化学習に対するニューラルネットワークの適用
強化学習にニューラルネットワークを適用する
価値評価を、パラメーターを持った関数で実装する:Value Function Approximation
価値評価に深層学習を適用する:Deep Q-Network
戦略を、パラメーターを持った関数で実装する:Policy Gradient
戦略に深層学習を適用する:Advantage Actor Critic (A2C)
価値評価か、戦略か

Day5 強化学習の弱点
サンプル効率が悪い
局所最適な行動に陥る、過学習をすることが多い
再現性が低い
弱点を前提とした対応策

Day6 強化学習の弱点を克服するための手法
サンプル効率の悪さへの対応: モデルベースとの併用/表現学習
再現性の低さへの対応: 進化戦略
局所最適な行動/過学習への対応: 模倣学習/逆強化学習

Day7 強化学習の活用領域
行動の最適化
学習の最適化

本の長さ

304ページ
言語

日本語
出版社

講談社
発売日

2019/9/22
寸法

15 x 2 x 21 cm
ISBN-10

4065172519
ISBN-13

978-4065172513
すべての詳細を表示

よく一緒に購入されている商品

総額: ￥9,988

ポイントの合計: 102pt (1%)

これらの商品のうちの1つが他の商品より先に発送されます。詳細の表示

選択された商品をまとめて購入

対象商品:機械学習スタートアップシリーズ Pythonで学ぶ強化学習 [改訂第2版] 入門から実践まで (KS… - 久保隆宏単行本￥3,080
在庫あり。
この商品は、Amazon.co.jpが販売および発送します。
通常配送無料（一部の商品・注文方法等を除く）詳細
強化学習 (機械学習プロフェッショナルシリーズ) - 森村哲郎単行本￥3,300
在庫あり。
この商品は、Amazon.co.jpが販売および発送します。
通常配送無料（一部の商品・注文方法等を除く）詳細
つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ - 株式会社電通国際情報サービス小川雄太郎単行本（ソフトカバー）￥3,608
残り18点（入荷予定あり）
この商品は、Amazon.co.jpが販売および発送します。
通常配送無料（一部の商品・注文方法等を除く）詳細

この商品をチェックした人はこんな商品もチェックしています

ページ: 1 / 1 最初に戻るページ: 1 / 1

斎藤康毅
374
単行本（ソフトカバー）
- カテゴリ人工知能
￥3,740
37pt (1%)
斎藤康毅
61
単行本（ソフトカバー）
￥4,400
44pt (1%)
小川雄太郎
58
単行本（ソフトカバー）
￥3,828
38pt (1%)
布留川英一
22
単行本
￥3,520
35pt (1%)
須山敦志
32
単行本
￥3,080
33pt (1%)
森村哲郎
18
単行本
￥3,300
33pt (1%)

１分以内にKindleで機械学習スタートアップシリーズ　Ｐｙｔｈｏｎで学ぶ強化学習　［改訂第２版］　入門から実践まで (ＫＳ情報科学専門書) をお読みいただけます。

Kindle をお持ちでない場合、こちらから購入いただけます。 Kindle 無料アプリのダウンロードはこちら。

商品の説明

内容（「BOOK」データベースより）

Pythonプログラミングとともに、ゼロからていねいに解説。コードが公開されているから、すぐ実践できる。実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。

著者について

久保隆宏
TIS株式会社戦略技術センター所属。Twitter:@icoxfog417。
現在は、「人のための要約」を目指し、少ない学習データによる要約の作成・図表化に取り組む。また、論文のまとめを共有するarXivTimesの運営、『直感 Deep Learning』オライリージャパン(2018)の翻訳など、技術の普及を積極的に行っている。

登録情報

出版社 : 講談社; 改訂第2版 (2019/9/22)
発売日 : 2019/9/22
言語 : 日本語
単行本 : 304ページ
ISBN-10 : 4065172519
ISBN-13 : 978-4065172513
寸法 : 15 x 2 x 21 cm

Amazon 売れ筋ランキング: - 162,576位本 (の売れ筋ランキングを見る本)
- - 1,130位コンピュータ・IT関連の一般・入門書

カスタマーレビュー:
17個の評価

この商品を買った人はこんな商品も買っています

ページ: 1 / 1 最初に戻るページ: 1 / 1

カスタマーレビュー

星5つ		58%
星4つ 0% (0%)		0%
星3つ		23%
星2つ		5%
星1つ		14%

評価はどのように計算されますか?

この商品をレビュー

カスタマーレビューを書く

上位レビュー、対象国：日本

レビューのフィルタリング中に問題が発生しました。後でもう一度試してください。

aaa

コードを簡単に動かしたい需要は満たされないと思う。

2019年12月2日に日本でレビュー済み

Amazonで購入

あまりちゃんと読んでいませんが、colabのアニメーション非対応のコードだったので、macでminiconda等の環境構築を試みましたが、動かず３日無駄にしました。

自前でGPU積んだPCを用意するかAWSで有料の環境構築が必要です。
後で買った他の書籍だとcolabやtry jupyterでできるように書かれていました(後半は少し改変する必要がありましたが）。導入のところは簡単にできる様にして欲しかったです。

また改訂版で誤植を無くしてるはずなのに誤植が多いです。P.7ですでにtensorflowのバージョンが0.12->0.14へあげたと書かれていますが1.12->1.14かなと思うし、なんか誤植が多いイメージでした。
自分にはコードも分かりづらかったです。

説明はそこそこ丁寧かも、でもそれはwebの情報でまかなえる。
コードを簡単に動かしたかったのですがその需要は満たされなかったです。

8人のお客様がこれが役に立ったと考えています

役に立った

kouji

熱量がすごい

2020年6月22日に日本でレビュー済み

Amazonで購入

この方は、現時点で日本でトップレベルにAIの先端を知ってる人と言っていいと思う。
読んだ後から知ったのだけど、著者はarXivTimesなどを運営している人で、後日アイコンを見た時「あぁ、この人だったのか！」と分かった。AIを調べてたら定期的に必ずと言っていい程出てくる人で、いわゆる超人的に勉強してる人なんだと思う。この人が本を書いてるって知らなかった。その時、この本の熱量に納得がいった。
だからなのか、類書にありがちなPRML的な難解・無味乾燥な数式展開（ごめんなさい）ではなく、その先にある定性的理解を教えてくれた。

そして読み進めていくと分かるけど、実は深層強化学習に重きを置いている。
自分が知りたかったのはそこだったので、助かった。
このような本が先端ディープラーニングでも出てほしい。

7人のお客様がこれが役に立ったと考えています

役に立った

きょーーん

わかりやすいが、実践までできるとは思わない

2020年8月26日に日本でレビュー済み

Amazonで購入

個人の結論としては、
自分で実装するのではなく、知識を得るためには素晴らしい本だと思います。

強化学習の入門用としてこちらを購入しました。

強化学習の概要は、わかりやすく説明されており、初心者でも知ることができました。
そのため、強化学習についての話を聞いて、言っていることが分かると思います。
(数式が苦手な私も大丈夫でした)

実装の部分においては、numpy や tensorflow などのライブラリをよく知らないため、
ライブラリを多用するニュートラルネットワークの部分からわかりにくいと感じました。
github にサンプルコードがあるため、Python を触ったことがある方は、見てみると良いと思います。

ですが、強化学習について書いた日本語の本が少ないため、こういった本は非常にありがたいです。

4人のお客様がこれが役に立ったと考えています

役に立った

Amazon カスタマー

強化学習の初心者にもおすすめ、説明が丁寧なのでわかりやすいです！

2020年4月5日に日本でレビュー済み

Amazonで購入

こちらの書籍で強化学習を勉強中ですが、図やソースコードがたくさんあり、数式が少なめでわかりやすいと思いました。普段からPython・機械学習に親しんでいる方は、よりすんなり入ってくると思います。

機械学習とは? 強化学習とは? ディープラーニングとは? といった基礎から、深層強化学習である A2C まで丁寧に書かれていて、初心者にもおすすめです！

本では Open AI Gym のゲームを例に実装が進められていますが、私は Kaggle の Connect X コンペで本に載っているいくつかの手法を試してみました。理論から実践まで記載されているので、いろんなゲームに応用することが可能だと思いました。

1人のお客様がこれが役に立ったと考えています

役に立った

Amazonのお客様

強化学習に行き詰まったときに

2020年1月30日に日本でレビュー済み

Amazonで購入

強化学習の何らかに行き詰まったときに解決の糸口を探すのによい本です。うまく整理されているので、すでに学んだつもりの概念の見直しにも有用です。
私はDDPGの学習が進まなくて途方に暮れてたのですが、この本の説明をもとにTD学習の実装を見直したところうまくいきました！
数式の導出や実装を勉強するのは他を当たるのがいいです。本書のDDPGの実装はkeras-rlからですし、本文にも『Policyベースの手法は学習が安定しないことが多いため、勉強以外の場合はこうしたすでにテストされた実装の使用をおすすめします』とあります。

1人のお客様がこれが役に立ったと考えています

役に立った

のぶなが

分かりやすい

2020年11月23日に日本でレビュー済み

Amazonで購入

体系的にまとめられ、親切丁寧な説明で分かりやすい。この本に出会えてよかったです。

2019年12月24日に日本でレビュー済み

私は、機械学習はそこそこ知っているけれど強化学習についてはAlpha Zero や将棋のAIが話題になっていることを知っている程度の人間です。そんな私にとって、この本はとても理解しづらいです。

例えば動的計画法という言葉が序盤でよく使われますが、動的計画法が何なのか、という説明がありません。
そのため、『以降の解説は狭義の動的計画法についてである、ということを頭の片隅に置いていただければと思います』と書かれていますが、頭に残るのは「結局、動的計画法とは何なのか」ということばかりです。

A2Cの解説も、すでに理解してる人が読めば分かるけれど、そうでない人が読んでもさっぱり分からない構成になっています。著者が知っていることをただ羅列しているだけであって、初心者に理解してもらおうという工夫が感じられません。いわゆる「上空飛行的な専門書」です。初心者のところまで降りてきて説明してはくれません。ネットや他の本で調べて理解する必要があります。（あれ、この本の存在価値って…

読み進めていっても終始そのような感じで引っかかる点が多数あり、そのつど検索する羽目になります。

また、全体的に文章がこなれておらず、読みにくさに拍車が掛かっています。
英語も文法が雑でプログラムの内容が頭に入ってきません
（"Planner have to implements plan method" って…）。

改定第二版だから内容的には充実している本だろうと思い購入しましたが、非常に残念な思いです。

8人のお客様がこれが役に立ったと考えています

役に立った

かなえるゾウ

改訂内容は、期待していたほどのものではなかった

2019年12月5日に日本でレビュー済み

私にとって、強化学習に関する書籍としては最高にわかりやすい本書が、初版からわずか8ヶ月後に、「Policy Gradient（方策勾配法）」と「A2C」の内容を見直した改訂第2版を出すということで、その内容に期待していたが、その改定範囲は、思っていたよりかなり限定されたものでした。

特に、「A2C」に関しては、以下に関して、もう少し知見を得られることを期待していたのだが、言及されていませんでした。

１）もともとDQNに代表されるValueベースのアルゴリズムでは、基本的に状態価値または行動価値が最大になるように行動するので、過学習に陥りやすく、それを軽減するためにε-greedy法などがとられているが、本質的な解決策になっていないと考えられます。これに対して、「A2C」やその派生アルゴリズムは、「Policy Gradient」の手法を用いて、行動（方策）と状態価値を同時に求めるため、より最適な解を1ステップごとに得られることが期待できると思っていました。しかし、このトピックに関する十分な言及はありませんでした。

２）A2Cでは、Actor Advantageにもとづいた評価関数、行動のランダム性を評価するEntropy、状態価値の評価誤差(Critic)の負値の和が最小になるように、ネットワークのパラメータを求めているが、その詳細な手順（シーケンス）が知りたかったのですが、第2版でも詳細な説明はなく、今のところ、プログラムを綿密に追っていくしかありません。

4人のお客様がこれが役に立ったと考えています

役に立った

Amazon Advertising 商品の露出でお客様の関心と反応を引き出す	Audible（オーディブル）本は、聴こう。最初の1冊は無料	アマゾンウェブサービス（AWS）クラウドコンピューティングサービス	Amazonアウトレット訳あり商品をお手頃価格で販売	Amazonビジネス（法人購買）請求書払い法人価格・数量割引

AmazonGlobal 65か国/地域以上への海外配送がより簡単に	Book Depository 送料無料で世界中にお届け	Shopbop 世界中の厳選されたファッションアイテム	Amazon Second Chance 譲ったり、下取りに出したりして有効活用。

機械学習スタートアップシリーズ Pythonで学ぶ強化学習 [改訂第2版] 入門から実践まで (KS情報科学専門書) (日本語) 単行本 – 2019/9/22

よく一緒に購入されている商品

この商品をチェックした人はこんな商品もチェックしています

商品の説明

内容（「BOOK」データベースより）

著者について

登録情報

この商品を買った人はこんな商品も買っています

カスタマーレビュー

この商品をレビュー

上位レビュー、対象国： 日本

レビューのフィルタリング中に問題が発生しました。後でもう一度試してください。

上位レビュー、対象国：日本