自然言語処理モデル「BERT」のしくみと実装手法をPyTorchとGoogle Colaboratoryで学んでみよう！【本書の背景】近年、深層学習に基づく自然言語処理技術は飛躍的な発展を遂げており、翻訳、文章生成、文章のグルーピングなど様々な業務に利用されています。自然言語処理技術の中でも特に注目を集めているのが「BERT」です。【BERTとは】BERTは2018年の後半にGoogleから発表された、自然言語処理のための新たなディープラーニングのモデルです。「Transformer」がベースとなっており、様々な自然言語処理タスクに合わせて調整可能な汎用性があります。【本書の概要】PyTorchとGoogle Colaboratoryの環境を利用して、BERTの実装方法について解説します。具体的にはAttention、Transformerといった自然言語処理技術をベースに、BERTのしくみや実装方法についてサンプルを元に解説します。章末には演習を用意しています。...

●本書の特徴本書の著者陣は、自然言語処理のビジネス適用に豊富な経験を有しています。特にBERT については、多くのビジネス検証を行い、かつ、独自の応用技術の研究開発も進めている専門家集団です。技術面だけでなく、実務課題の解決に役立つ情報を提供できます。本書ではそうしたプロフェッショナル集団が、Attention 機構・Transformer アルゴリズム・BERT モデルの仕組みの詳解から、現場で使えるコードとノウハウを手引きします。この1冊で、自然言語処理とBERT の基礎を網羅するよう努めましたので、是非とも実践に直結する力を身に付けてください。●想定読者本書は主に以下のような方々を対象としています。・ AIや機械学習、自然言語処理に興味があり、自分で勉強している技術者・ 自然言語処理技術の業務適用を検討しているビジネス担当者・ 自然言語処理についてサンプル実装を必要としている技術担当者【前提とする知識やスキル】・ 機械学習について、入門書を読...

いま最も注目される最先端のフレームワークの実力を試してみよう！人間が書いたような自然な文章に加え、自然言語からプログラムのソースコードやWebページのレイアウトまでも生成したことで大きな話題になった「GPT-3」、そしてそれを画像処理に応用した「DALL-E」といった最先端の深層学習フレームワークがここ数年で登場してきました。本書では、注目を集めている「自然言語処理」「画像処理」「音声処理」の主要なフレームワークを取り上げ、実際にそれらの実力を試してみることができるように、インストールから各種設定、データセットの準備、学習・推論まで、ステップ・バイ・ステップでていねいに解説しました。さまざまな分野や今後の実務にも応用範囲が広がると期待されている最先端のAIを学ぶことができる1冊です。

※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。自然言語処理の標準モデル、BERTを使いこなせるようになる！　BERTはGoogleが2018年末に発表した自然言語処理モデルです。「文脈」を考慮した処理が特徴的であり、言語理解を評価する11個のタスクについて最高精度を達成し、今や標準的なモデルとしての地位を確立しています。　本書は、自然言語処理の近年における発展に大きな役割を果たし、かつ応用上も有用であるBERTの入門書です。前半で自然言語処理や機械学習について概説したのち、BERTによって実際にさまざまなタスクを解いていきます。具体的には、文章分類・固有表現抽出・文章校正・類似文章検索・データの可視化を扱います。データセットの処理から、ファインチューニング（BERTを特定の言...

［この電子書籍は固定型レイアウトです。リフロー型と異なりビューア機能が制限されます］固定型レイアウトはページを画像化した構造であるため、ページの拡大縮小を除く機能は利用できません。また、モノクロ表示の端末ではカラーページ部分で一部見づらい場合があります。日本語テキスト解析処理を快速プログラミング！単語／文書の分類、機械翻訳などを実装。自然言語処理は、検索エンジン、自動要約、機械翻訳、音声認識などで利用される技術です。PyTorchでは、特にTransformersというBERT系モデルを提供することで、より簡単にBERTを利用できるようになっています。本書では、自然言語処理で特に重要なディープラーニング技術であるword2vec、LSTM、seq2seq、そしてBERTを取り上げます。まず第1章でPyTorchの基本を説明します。そのあと各技術の考え方を説明し、PyTorchを使ったそれぞれのプログラミング手法を解説します。それら...

最新の自然言語処理(NLP)では、Transformerという種類のニューラルネットワークが使われるようになりました。TransformerはBERTやGPT2などのAIで採用され、NLP技術にブレークスルーをもたらしましたが、その特徴は、高い性能とさまざまな用途に使える汎用性の高さにあります。本書では、Transformerの構造を理解するためにBERTとGPT2を一から実装し、またNLPプログラムを作成するために必要となる、Transformerを拡張して応用AIを作成する方法を紹介します。Transformerの実装では、Transformerの中心となるSelf-Attention層の作成やテキストのエンコード方法など、最も基礎的な部分から、Pythonのコードをもとに解説をしています。また、学習では、事前学習と特定のタスクに向けたファインチューニングという、Transformerに特徴的な2段階のステップを、両方とも行います。ニューラルネットワークの実装は、TensorFlow 2を利用します。...