2024.08.19
論文紹介:Discovering Preference Optimization Algorithms with and for Large Language Models
Indexはじめに論文の概要LLMの選好最適化についてLLMの選好最適化とはどのように学習するのかデータセットのイメージ学習イメージ論文の背景となる課題意識論文での提案手法結果ケーススタディ実験MT-Benchの評価結果…
JOURNALについて
データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。
本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。
2024.08.19
Indexはじめに論文の概要LLMの選好最適化についてLLMの選好最適化とはどのように学習するのかデータセットのイメージ学習イメージ論文の背景となる課題意識論文での提案手法結果ケーススタディ実験MT-Benchの評価結果…
2024.08.14
IndexはじめにLLMのモデルマージの概観LLMのモデルマージの位置づけLLMのモデルマージとはLLMのモデルマージのアルゴリズムLLMのモデルマージの種類TIESについてDAREについて進化的モデルマージ進化的モデル…
2024.07.31
IndexはじめにvLLMとはvLLMの仕組み従来の推論プロセスにおける課題PagedAttention新しいKVキャッシュ管理手法効率的なメモリ共有バッチ処理についてStatic Batching(静的バッチ処理)Co…
2024.07.22
Indexはじめに1. 量子フーリエ変換の計算1.1. 量子フーリエ変換の導入1.2. 量子フーリエ変換の導出2. 量子フーリエ変換を行う量子回路2.1. 量子ゲートの導入2.2. 量子回路の作成ステップAステップBステ…
2024.05.17
※サムネイルはOpenArt.aiより取得。 Indexはじめに1. MLP vs KAN2. 高校数学でKANの利点を理解する2.1. n次関数の表現力2.2. MLPの変換方法2.3. KANの変換方法おわりに参考オ…
2024.03.29
Indexはじめに1. QUBOアニーリング2. Torch Tytan3. 実装3.1. 問題設定3.2. コードと解説3.3. おまけ4. おわりに参考オウンドメディアも運営しています はじめに データソリューション…
2024.03.07
Indexはじめにファインチューニングの活用イメージLLMのタスクInstruction Tuningファインチューニングの設計本記事のスコープファインチューニングの流れ1. データセットの準備2. モデルの選定3. 評…
2024.03.07
IndexはじめにLLMのカスタマイズ手法カスタマイズ手法の全体像1. 継続事前学習2. ベースモデルに対する事後学習ファインチューニングアライメント3. アライメント済みモデルへのカスタマイズRAG (Retrieva…
2024.01.15
IndexはじめにPCからドローンへの通信接続「モノ」とインターネットがつながる仕組み「ドローン」と「IoT」の関係いよいよプログラミングでドローン操作!アプリでの操作プログラミング(Python)での操作Control…
2023.12.26
IndexはじめにGeminiの概要モデルの種類モデルのアーキテクチャモデルの性能Geminiの環境構築手順Gemini APIの費用他モデルとの費用の比較Google Colabratoryでの環境構築Vertex A…