2025.02.26
MBPS（混合ベイズ時系列結合）の実装
Indexはじめに１．論文紹介２．MBPS（混合時系列結合）2.1 ベイズ予測合成（BPS）数式変数利点例: ポアソン分布を用いたMBPS:MBPSが優れている理由３．複数か国での金融時系列予測各国の金融時系列データ詳細…
Journal
JOURNALについて
データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。
本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。
2024.12.25
LLMのモデルマージ手法
Indexはじめにモデルマージとはモデルマージの種別マージ対象による分類モデルマージの効果モデルマージの手法Editing Models with Task Arithmetic (2022-12-08)TIES-Mer…
2024.10.25
論文紹介：Differential Transformer
Indexはじめに1. 概要2. 従来のTransformer3. Differential Transformer3.1. Differential Attention3.2. Differential Transfo…
2024.08.19
論文紹介：Discovering Preference Optimization Algorithms with and for Large Language Models
Indexはじめに論文の概要LLMの選好最適化についてLLMの選好最適化とはどのように学習するのかデータセットのイメージ学習イメージ論文の背景となる課題意識論文での提案手法結果ケーススタディ実験MT-Benchの評価結果…
2024.08.14
進化的モデルマージの理解と実装
IndexはじめにLLMのモデルマージの概観LLMのモデルマージの位置づけLLMのモデルマージとはLLMのモデルマージのアルゴリズムLLMのモデルマージの種類TIESについてDAREについて進化的モデルマージ進化的モデル…
2024.07.31
vLLMの仕組みをざっくりと理解する
IndexはじめにvLLMとはvLLMの仕組み従来の推論プロセスにおける課題PagedAttention新しいKVキャッシュ管理手法効率的なメモリ共有バッチ処理についてStatic Batching（静的バッチ処理）Co…
2024.07.22
量子フーリエ変換をていねいに解説
Indexはじめに1. 量子フーリエ変換の計算1.1. 量子フーリエ変換の導入1.2. 量子フーリエ変換の導出2. 量子フーリエ変換を行う量子回路2.1. 量子ゲートの導入2.2. 量子回路の作成ステップAステップBステ…
2024.05.17
KAN (Kolmogorov-Arnold Networks) の利点を単純化して理解する
※サムネイルはOpenArt.aiより取得。 Indexはじめに1. MLP vs KAN2. 高校数学でKANの利点を理解する2.1. n次関数の表現力2.2. MLPの変換方法2.3. KANの変換方法おわりに参考オ…
2024.03.29
Torch TytanによるQUBOアニーリング実装
Indexはじめに1. QUBOアニーリング2. Torch Tytan3. 実装3.1. 問題設定3.2. コードと解説3.3. おまけ4. おわりに参考オウンドメディアも運営しています はじめに データソリューション…
2024.03.07
LLMのファインチューニングを他手法との違いから理解する（Part 2）
Indexはじめにファインチューニングの活用イメージLLMのタスクInstruction Tuningファインチューニングの設計本記事のスコープファインチューニングの流れ1. データセットの準備2. モデルの選定3. 評…