2024.10.25
論文紹介：Differential Transformer
Indexはじめに1. 概要2. 従来のTransformer3. Differential Transformer3.1. Differential Attention3.2. Differential Transfo…
Journal
JOURNALについて
データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。
本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。
2024.08.19
論文紹介：Discovering Preference Optimization Algorithms with and for Large Language Models
Indexはじめに論文の概要LLMの選好最適化についてLLMの選好最適化とはどのように学習するのかデータセットのイメージ学習イメージ論文の背景となる課題意識論文での提案手法結果ケーススタディ実験MT-Benchの評価結果…
2024.08.14
進化的モデルマージの理解と実装
IndexはじめにLLMのモデルマージの概観LLMのモデルマージの位置づけLLMのモデルマージとはLLMのモデルマージのアルゴリズムLLMのモデルマージの種類TIESについてDAREについて進化的モデルマージ進化的モデル…
2024.07.31
vLLMの仕組みをざっくりと理解する
IndexはじめにvLLMとはvLLMの仕組み従来の推論プロセスにおける課題PagedAttention新しいKVキャッシュ管理手法効率的なメモリ共有バッチ処理についてStatic Batching（静的バッチ処理）Co…
2024.07.22
量子フーリエ変換をていねいに解説
Indexはじめに1. 量子フーリエ変換の計算1.1. 量子フーリエ変換の導入1.2. 量子フーリエ変換の導出2. 量子フーリエ変換を行う量子回路2.1. 量子ゲートの導入2.2. 量子回路の作成ステップAステップBステ…
2024.05.17
KAN (Kolmogorov-Arnold Networks) の利点を単純化して理解する
※サムネイルはOpenArt.aiより取得。 Indexはじめに1. MLP vs KAN2. 高校数学でKANの利点を理解する2.1. n次関数の表現力2.2. MLPの変換方法2.3. KANの変換方法おわりに参考オ…
2024.03.29
Torch TytanによるQUBOアニーリング実装
Indexはじめに1. QUBOアニーリング2. Torch Tytan3. 実装3.1. 問題設定3.2. コードと解説3.3. おまけ4. おわりに参考オウンドメディアも運営しています はじめに データソリューション…
2024.03.07
LLMのファインチューニングを他手法との違いから理解する（Part 2）
Indexはじめにファインチューニングの活用イメージLLMのタスクInstruction Tuningファインチューニングの設計本記事のスコープファインチューニングの流れ1. データセットの準備2. モデルの選定3. 評…
2024.03.07
LLMのファインチューニングを他手法との違いから理解する（Part 1）
IndexはじめにLLMのカスタマイズ手法カスタマイズ手法の全体像1. 継続事前学習2. ベースモデルに対する事後学習ファインチューニングアライメント3. アライメント済みモデルへのカスタマイズRAG (Retrieva…
2024.01.15
空飛ぶコード – Pythonでドローンを自在に操る！
IndexはじめにPCからドローンへの通信接続「モノ」とインターネットがつながる仕組み「ドローン」と「IoT」の関係いよいよプログラミングでドローン操作！アプリでの操作プログラミング（Python）での操作Control…